圣人曾說過：數(shù)據(jù)和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。

再好的模型，如果沒有好的數(shù)據(jù)和特征質量，那訓練出來的效果也不會有所提高。數(shù)據(jù)質量對于數(shù)據(jù)分析而言是至關重要的，有時候它的意義會在某種程度上會勝過模型算法。

本篇開始分享如何使用Python進行數(shù)據(jù)分析，主要側重介紹一些分析的方法和技巧，而對于pandas和numpy等Pyhon計算包的使用會在問題中提及，但不詳細介紹。本篇我們來說說面對數(shù)據(jù)的缺失值，我們該如何處理。文末有博主總結的思維導圖。

首先我們應該知道：數(shù)據(jù)為什么缺失？數(shù)據(jù)的缺失是我們無法避免的，可能的原因有很多種，博主總結有以下三大類：

• 無意的：信息被遺漏，比如由于工作人員的疏忽，忘記而缺失；或者由于數(shù)據(jù)采集器等故障等原因造成的缺失，比如系統(tǒng)實時性要求較高的時候，機器來不及判斷和決策而造成缺失；

• 有意的：有些數(shù)據(jù)集在特征描述中會規(guī)定將缺失值也作為一種特征值，這時候缺失值就可以看作是一種特殊的特征值；

• 不存在：有些特征屬性根本就是不存在的，比如一個未婚者的配偶名字就沒法填寫，再如一個孩子的收入狀況也無法填寫；

總而言之，對于造成缺失值的原因，我們需要明確：是因為疏忽或遺漏無意而造成的，還是說故意造成的，或者說根本不存在。只有知道了它的來源，我們才能對癥下藥，做相應的處理。

在對缺失數(shù)據(jù)進行處理前，了解數(shù)據(jù)缺失的機制和形式是十分必要的。將數(shù)據(jù)集中不含缺失值的變量稱為完全變量，數(shù)據(jù)集中含有缺失值的變量稱為不完全變量。而從缺失的分布來將缺失可以分為完全隨機缺失，隨機缺失和完全非隨機缺失。

• 完全隨機缺失（missing completely at random,MCAR）：指的是數(shù)據(jù)的缺失是完全隨機的，不依賴于任何不完全變量或完全變量，不影響樣本的無偏性，如家庭地址缺失；

• 隨機缺失(missing at random,MAR)：指的是數(shù)據(jù)的缺失不是完全隨機的，即該類數(shù)據(jù)的缺失依賴于其他完全變量，如財務數(shù)據(jù)缺失情況與企業(yè)的大小有關；

• 非隨機缺失(missing not at random,MNAR)：指的是數(shù)據(jù)的缺失與不完全變量自身的取值有關，如高收入人群不原意提供家庭收入；

對于隨機缺失和非隨機缺失，直接刪除記錄是不合適的，原因上面已經給出。隨機缺失可以通過已知變量對缺失值進行估計，而非隨機缺失的非隨機性還沒有很好的解決辦法。

重點來了，對于各種類型數(shù)據(jù)的缺失，我們到底要如何處理呢？以下是處理缺失值的四種方法：刪除記錄，數(shù)據(jù)填補，和不處理。

1. 刪除記錄

#刪除數(shù)據(jù)表中含有空值的行
df.dropna(how='any')

2. 數(shù)據(jù)填補

對缺失值的插補大體可分為兩種：替換缺失值，擬合缺失值，虛擬變量。替換是通過數(shù)據(jù)中非缺失數(shù)據(jù)的相似性來填補，其核心思想是發(fā)現(xiàn)相同群體的共同特征，擬合是通過其他特征建模來填補，虛擬變量是衍生的新變量代替缺失值。

替換缺失值

• 均值插補：

#使用price均值對NA進行填充
df['price'].fillna(df['price'].mean())
df['price'].fillna(df['price'].median())

• 熱卡填補（Hot deck imputation）：

• K最近距離鄰法（K-means clustering）

擬合缺失值

擬合就是利用其它變量做模型的輸入進行缺失變量的預測，與我們正常建模的方法一樣，只是目標變量變?yōu)榱巳笔е怠?/strong>

注：如果其它特征變量與缺失變量無關，則預測的結果毫無意義。如果預測結果相當準確，則又說明這個變量完全沒有必要進行預測，因為這必然是與特征變量間存在重復信息。一般情況下，會介于兩者之間效果為最好，若強行填補缺失值之后引入了自相關，這會給后續(xù)分析造成障礙。

利用模型預測缺失變量的方法有很多，這里僅簡單介紹幾種。

• 回歸預測：

• 極大似然估計（Maximum likelyhood）：

• 多重插補（Mutiple imputation）：
  

• 隨機森林：

def?set_missing_ages(df):

????#?把已有的數(shù)值型特征取出來丟進Random?Forest?Regressor中
????age_df?=?df[['Age','Fare',?'Parch',?'SibSp',?'Pclass']]

????#?乘客分成已知年齡和未知年齡兩部分
????known_age?=?age_df[age_df.Age.notnull()].as_matrix()
????unknown_age?=?age_df[age_df.Age.isnull()].as_matrix()

????#?y即目標年齡
????y?=?known_age[:,?0]

????#?X即特征屬性值
????X?=?known_age[:,?1:]

????#?fit到RandomForestRegressor之中
????rfr?=?RandomForestRegressor(random_state=0,?n_estimators=2000,?n_jobs=-1)
????rfr.fit(X,?y)

????#?用得到的模型進行未知年齡結果預測
????predictedAges?=?rfr.predict(unknown_age[:,?1:])
#?????print?predictedAges
????#?用得到的預測結果填補原缺失數(shù)據(jù)
????df.loc[?(df.Age.isnull()),?'Age'?]?=?predictedAges?

????return?df,?rfr

虛擬變量

data_train['CabinCat']?=?data_train['Cabin'].copy()
data_train.loc[?(data_train.CabinCat.notnull()),?'CabinCat'?]?=?"No"
data_train.loc[?(data_train.CabinCat.isnull()),?'CabinCat'?]?=?"Yes"

fig,?ax?=?plt.subplots(figsize=(10,5))
sns.countplot(x='CabinCat',?hue='Survived',data=data_train)
plt.show()

data_train[['Cabin','CabinCat']].head(10)

3. 不處理

總而言之，大部分數(shù)據(jù)挖掘的預處理都會使用比較方便的方法來處理缺失值，比如均值法，但是效果上并一定好，因此還是需要根據(jù)不同的需要選擇合適的方法，并沒有一個解決所有問題的萬能方法。具體的方法采用還需要考慮多個方面的：

• 數(shù)據(jù)缺失的原因；

• 數(shù)據(jù)缺失值類型；

• 樣本的數(shù)據(jù)量；

• 數(shù)據(jù)缺失值隨機性等；

關于數(shù)據(jù)缺失值得思維導圖：

如果大家有任何好的其他方法，歡迎補充。

參考：

http://www.restore.ac.uk/PEAS/imputation.php

https://blog.csdn.net/lujiandong1/article/details/52654703

http://blog.sina.com.cn/s/blog_4b0f1da60101d8yb.html

https://www.cnblogs.com/Acceptyly/p/3985687.html

推薦閱讀：

【1】【Kaggle入門級競賽top5%排名經驗分享】— 分析篇