作者：王茂霖，華中科技大學(xué)，Datawhale成員
來源：Datawhale

本文多圖，建議閱讀10+分鐘
本文作者與你分享數(shù)據(jù)挖掘的三把利器。

內(nèi)容概括

數(shù)據(jù)挖掘提分三板斧：

1. 金斧-數(shù)據(jù)清洗和特征工程

2. 銀斧-模型參數(shù)調(diào)節(jié)

3. 銅斧-模型集成

公眾號（DatapiTHU）后臺回復(fù)“20210420”獲取完整PPT下載

視頻地址：https://www.bilibili.com/video/BV1MU4y1h75G

Part 1 數(shù)據(jù)清洗和特征工程

一、關(guān)于數(shù)據(jù)清洗

1.缺失值處理：

2.異常值處理：

3.數(shù)據(jù)分桶：

4.數(shù)據(jù)標準化：在不同的問題中，標準化的意義不同

• 在回歸預(yù)測中，標準化是為了讓特征值有均等的權(quán)重；

• 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中，通過將數(shù)據(jù)標準化，能夠加速權(quán)重參數(shù)的收斂；

• 主成分分析中，需要對數(shù)據(jù)進行標準化處理；默認指標間權(quán)重相等，不考慮指標間差異和相互影響。

數(shù)據(jù)清洗的示例：

二、關(guān)于特征工程

1.特征構(gòu)造：

2.特征選擇：

特征工程的示例：

Part 2 模型參數(shù)調(diào)節(jié)

一、關(guān)于建模調(diào)參

1. 理解模型

2. 性能驗證

3. 模型調(diào)參

Part 3 模型集成

一、關(guān)于模型集成

1. 加權(quán)融合

2. Boosting/Bagging

3. Stacking/Blending

模型集成示例：

本文作者

王茂霖，Datawhale重要貢獻成員，Datawhale&天池數(shù)據(jù)挖掘?qū)W習(xí)賽開源內(nèi)容發(fā)起人，全網(wǎng)閱讀超10w。

參賽30余次，獲得BCIC-數(shù)字中國創(chuàng)新創(chuàng)業(yè)大賽亞軍，全球城市計算AI挑戰(zhàn)賽，Alibaba Cloud German AI Challenge等多項Top10。

訪問下方地址或點擊"閱讀原文"查看分享：

https://tianchi.aliyun.com/specials/promotion/allcompetition

更多學(xué)習(xí)資源大家可以前往天池學(xué)習(xí)平臺查看，完成從AI小白到AI新手、AI工程師和AI科學(xué)家的進階學(xué)習(xí)。

學(xué)習(xí)地址：https://tianchi.aliyun.com/course

編輯：黃繼彥

校對：王欣