數(shù)據(jù)預處理之缺失值可視化處理

每次處理數(shù)據(jù)時，缺失值是必須要考慮的問題。但是手工查看每個變量的缺失值是非常麻煩的一件事情。

missingno 提供了一個靈活且易于使用的缺失數(shù)據(jù)可視化和實用程序的小工具集，使您可以快速直觀地總結數(shù)據(jù)集的完整性。

我們使用python來進行演練

1、首先安裝程序包并加載：

pip install missingno

import missingno as msno

2、導入訓練數(shù)據(jù)集

import pandas as pd
import numpy as ny
 
data=pd.read_csv("model.csv")

3、無效矩陣的數(shù)據(jù)密集顯示

msno.matrix(data, labels=True)

可以快速直觀地挑選出圖案的數(shù)據(jù)完成

我們可以一目了然的看到每個變量的缺失情況，

變量y,X9數(shù)據(jù)是完整的，其他變量都有不同程度的缺失，

尤其是X3，X5，X7等的缺失非常嚴重

4、條形圖

msno.bar(data)
msno.bar 是列的無效的簡單可視化：

利用條形圖可以更直觀的看出每個變量缺失的比例和數(shù)量情況。

5、熱圖相關性

 msno.heatmap(data)

missingno相關性熱圖措施無效的相關性：一個變量的存在或不存在如何強烈影響的另一個的存在：

我們看到X5與X1.1的缺失相關性為1，說明X5只要發(fā)生了缺失，那么X1.1也會缺失，

X7和X8的相關性為-1，說明X7缺失的值，那么X8沒有缺失；而X7沒有缺失時，X8為缺失。

6、樹狀圖

msno.dendrogram(data)

樹形圖使用層次聚類算法通過它們的無效性相關性（根據(jù)二進制距離測量）將變量彼此相加。在樹的每個步驟，基于哪個組合最小化剩余簇的距離來分割變量。變量集越單調(diào)，它們的總距離越接近零，并且它們的平均距離（y軸）越接近零。

總體上，圖標分為兩個大類，一類是數(shù)據(jù)比較完整的，一類是缺失值比較多的。

要解釋此圖表，要從上往下的角度閱讀。

左邊數(shù)據(jù)是比較完整的一類，Y和X9是完整的數(shù)據(jù)，沒有缺失值，所以他們的距離為0；相對于其他變量X11也是比較完整的，距離要比其他變量小，所以先把X11加進來。其他變量以此類推。

右邊是缺失值比較嚴重的，熱圖相關性里面我們看到了X5和X1.1的相關性系數(shù)為1，所以他們的距離為0，首先聚在一起；之后再跟其他進行計算距離，把距離較近的X7加進來，以此類推。

文章參考：https://blog.csdn.net/Andy_shenzl/article/details/81633356