掌握 Python 數據清洗的七個必備技巧
作者：手把手PythonAI編程
很多小伙伴可能會覺得數據清洗枯燥，但實際上，掌握好數據清洗的技巧能大大提高效率。今天，我們就來聊聊Python數據清洗的7個必備技巧。
數據清洗是在數據分析和數據科學項目中的一個關鍵環節。很多小伙伴可能會覺得它枯燥，但實際上，掌握好數據清洗的技巧能大大提高效率。今天，我們就來聊聊Python數據清洗的七個必備技巧。
技巧一：去除重復值
首先，我們先從簡單的一環開始——去除重復值。想象一下，你的數據中有些行可能是完全一樣的，這在分析時會影響準確性。
示例代碼：
import pandas as pd
# 創建一個示例數據框
data = {'name': ['Tom', 'Jerry', 'Mike', 'Tom'],
'age': [25, 30, 40, 25]}
df = pd.DataFrame(data)
print("原始數據：")
print(df)
# 使用drop_duplicates方法刪除重復行
df_cleaned = df.drop_duplicates()
print("\n去重后的數據：")
print(df_cleaned)解釋：這里drop_duplicates()函數用來移除DataFrame中的重復行。
技巧二：缺失值處理
數據中的空值是非常常見的問題，我們可以選擇刪除或填充這些缺失值。
示例代碼：
# 在原數據幀基礎上添加一些缺失值
df_missing = df_cleaned.copy()
df_missing.loc[1, 'age'] = None
print("帶缺失值的數據：")
print(df_missing)
# 刪除包含空值的行
df_dropped = df_missing.dropna()
print("\n刪除含空值的行后：")
print(df_dropped)
# 或者用均值填充空值
mean_age = df['age'].mean()
df_filled = df_missing.fillna(mean_age)
print("\n用平均值填充后的數據：")
print(df_filled)技巧三：文本數據清洗
當我們的數據涉及大量文本時，需要進行清理以便更好地分析，比如轉換大小寫、移除空格等。
示例代碼：
text_data = {'text': [' Python ', ' JAVA ', 'c++']}
df_text = pd.DataFrame(text_data)
# 去除空格，并統一轉換為小寫
df_text['text'] = df_text['text'].str.strip().str.lower()
print("清理后的文本數據：")
print(df_text)技巧四：數據類型轉換
確保每一列的數據都是正確的類型對于后續操作是重要的。
示例代碼：
# 轉換年齡列為整數類型
df_dropped['age'] = df_dropped['age'].astype('int')
print("轉換數據類型的后：")
print(df_dropped.dtypes)技巧五：離群值檢測與處理
有時候，異常高或低的數值也被稱為離群值。它們可能影響模型的結果。
示例代碼：
from scipy import stats
data_with_outliers = [25, 30, 40, 25, 200]
z_scores = stats.zscore(data_with_outliers)
filtered_data = [d for d, z in zip(data_with_outliers, z_scores) if abs(z) < 2]
print("去除離群值后的數據：", filtered_data)技巧六：日期時間處理
日期和時間信息常需標準化以方便計算和分析。
示例代碼：
date_series = pd.Series(['2023-1-3', '2023/1/4', None])
cleaned_dates = pd.to_datetime(date_series, errors='coerce')
print("處理后的時間數據：")
print(cleaned_dates)技巧七：合并多個表
當你有多份數據表時，如何將他們組合在一起是關鍵。
示例代碼：
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'data': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'info': ['x', 'y', 'z']})
merged_df = pd.merge(df1, df2, on='key', how='inner')
print("合并后的數據：")
print(merged_df)實戰案例
假如你現在負責一家電商平臺的數據分析工作，需要處理用戶購買行為記錄的數據集。你需要先清理數據，包括去重、處理丟失值，接著分析用戶最常購買的類別等。可以嘗試利用今天學到的技術點逐一解決問題。
責任編輯：趙寧寧
來源：
手把手PythonAI編程
