【機(jī)器學(xué)習(xí)】異常檢測(cè)算法之(HBOS)-Histogram-based Outlier Score

HBOS全名為：Histogram-based Outlier Score。它是一種單變量方法的組合，不能對(duì)特征之間的依賴(lài)關(guān)系進(jìn)行建模，但是計(jì)算速度較快，對(duì)大數(shù)據(jù)集友好，其基本假設(shè)是數(shù)據(jù)集的每個(gè)維度相互獨(dú)立，然后對(duì)每個(gè)維度進(jìn)行區(qū)間(bin)劃分，區(qū)間的密度越高，異常評(píng)分越低。理解了這句話(huà)，基本就理解了這個(gè)算法。下面我專(zhuān)門(mén)畫(huà)了兩個(gè)圖來(lái)解釋這句話(huà)。

一、HBOS算法流程

1、靜態(tài)寬度直方圖

標(biāo)準(zhǔn)的直方圖構(gòu)建方法，在值范圍內(nèi)使用k個(gè)等寬箱，樣本落入每個(gè)箱的頻率（相對(duì)數(shù)量）作為密度（箱子高度）的估計(jì)，時(shí)間復(fù)雜度：O(n)

注意：等寬分箱，每個(gè)箱中的數(shù)據(jù)寬度相同，不是指數(shù)據(jù)個(gè)數(shù)相同。例如序列[5,10,11,13,15,35,50,55,72,92,204,215]，數(shù)據(jù)集中最大值是215，最小值是5，分成3個(gè)箱，故每個(gè)箱的寬度應(yīng)該為（215-5）/3=70，所以箱的寬度是70，這就要求箱中數(shù)據(jù)之差不能超過(guò)70，并且要把不超過(guò)70的數(shù)據(jù)全放在一起，最后的分箱結(jié)果如下：

箱一：5,10，11,13,15,35,50,55,72；箱二：92；箱三：204,215

這個(gè)是分5箱的圖

2、動(dòng)態(tài)寬度直方圖

首先對(duì)所有值進(jìn)行排序，然后固定數(shù)量的N/k 個(gè)連續(xù)值裝進(jìn)一個(gè)箱里，其中N是總實(shí)例數(shù)，k是箱個(gè)數(shù)，直方圖中的箱面積表示實(shí)例數(shù)，因?yàn)橄涞膶挾仁怯上渲械谝粋€(gè)值和最后一個(gè)值決定的，所有箱的面積都一樣，因此每一個(gè)箱的高度都是可計(jì)算的。這意味著跨度大的箱的高度低，即密度小，只有一種情況例外，超過(guò)k個(gè)數(shù)相等，此時(shí)允許在同一個(gè)箱里超過(guò)N/k值，時(shí)間復(fù)雜度：O(n×log(n))

還是用序列[5,10,11,13,15,35,50,55,72,92,204,215]舉例，也是假如分3箱，那么每箱都是4個(gè)，寬度為邊緣之差，第一個(gè)差為15-5=10，第二差為72-35=37，第三個(gè)箱寬為215-92=123，為了保持面積相等，所以導(dǎo)致后面的很矮，前面的比較高，如下圖所示（非嚴(yán)格按照規(guī)則）：

二、算法推導(dǎo)過(guò)程

對(duì)每個(gè)維度都計(jì)算了一個(gè)獨(dú)立的直方圖，其中每個(gè)箱子的高度表示密度的估計(jì)，然后為了使得最大高度為1（確保了每個(gè)特征與異常值得分的權(quán)重相等），對(duì)直方圖進(jìn)行歸一化處理。最后，每一個(gè)實(shí)例的HBOS值由以下公式計(jì)算：

推導(dǎo)過(guò)程：

假設(shè)樣本p第 i 個(gè)特征的概率密度為p i ( p ) ，則p的概率密度可以計(jì)算為，d為總的特征的個(gè)數(shù)：

兩邊取對(duì)數(shù)：

概率密度越大，異常評(píng)分越小，為了方便評(píng)分，兩邊乘以“-1”：

最后可得：

PyOD是一個(gè)可擴(kuò)展的Python工具包，用于檢測(cè)多變量數(shù)據(jù)中的異常值。它可以在一個(gè)詳細(xì)記錄API下訪(fǎng)問(wèn)大約20個(gè)離群值檢測(cè)算法。

三、應(yīng)用案例詳解

1、基本用法

from pyod.models.hbos HBOSHBOS(       n_bins=10,        alpha=0.1,        tol=0.5,        contamination=0.1       )

2、模型參數(shù)

n_bins：分箱的數(shù)量

alpha：用于防止邊緣溢出的正則項(xiàng)

tol：用于設(shè)置當(dāng)數(shù)據(jù)點(diǎn)落在箱子外時(shí)的寬容度

contamination：用于設(shè)置異常點(diǎn)的比例

3、應(yīng)用案例

#導(dǎo)入包from pyod.utils.data import generate_data,evaluate_print
# 樣本的生成X_train, y_train, X_test, y_test = generate_data(n_train=200, n_test=100, contamination=0.1)
X_train.shape(200, 2)
X_test.shape(100, 2)
from pyod.models import hbosfrom pyod.utils.example import visualize 
# 模型訓(xùn)練clf = hbos.HBOS()clf.fit(X_train)y_train_pred = clf.labels_y_train_socres = clf.decision_scores_
#返回未知數(shù)據(jù)上的分類(lèi)標(biāo)簽 (0: 正常值, 1: 異常值)y_test_pred = clf.predict(X_test)  # 返回未知數(shù)據(jù)上的異常值 (分值越大越異常)y_test_scores = clf.decision_function(X_test) 
print(y_test_pred)array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,       0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1])
print(y_test_scores)array([1.94607743, 1.94607743, 1.94607743, 3.18758465, 2.99449223,       1.94607743, 3.18758465, 2.99449223, 1.94607743, 3.18758465,       1.94607743, 1.94607743, 3.18758465, 1.94607743, 1.94607743,       1.94607743, 3.18758465, 1.94607743, 2.99449223, 1.94607743,       1.94607743, 1.94607743, 1.94607743, 3.18758465, 3.18758465,       2.99449223, 1.94607743, 1.94607743, 1.94607743, 3.18758465,       1.94607743, 2.99449223, 1.94607743, 1.94607743, 1.94607743,       1.94607743, 2.99449223, 1.94607743, 1.94607743, 1.94607743,       1.94607743, 1.94607743, 3.18758465, 1.94607743, 1.94607743,       2.99449223, 2.99449223, 3.18758465, 2.99449223, 1.94607743,       1.94607743, 1.94607743, 1.94607743, 1.94607743, 3.18758465,       1.94607743, 3.18758465, 3.18758465, 1.94607743, 1.94607743,       1.94607743, 2.99449223, 3.18758465, 2.99449223, 1.94607743,       1.94607743, 3.18758465, 1.94607743, 1.94607743, 1.94607743,       1.94607743, 1.94607743, 1.94607743, 2.99449223, 1.94607743,       2.99449223, 1.94607743, 3.18758465, 3.18758465, 1.94607743,       2.99449223, 2.99449223, 1.94607743, 1.94607743, 1.94607743,       1.94607743, 2.99449223, 1.94607743, 3.18758465, 1.94607743,       6.36222028, 6.47923046, 6.5608128 , 6.52101746, 6.36222028,       6.52015473, 6.44010653, 5.30002108, 6.47923046, 6.51944504])
# 模型評(píng)估clf_name = 'HBOS'evaluate_print(clf_name, y_test, y_test_scores)HBOS ROC:1.0, precision @ rank n:1.0
# 模型可視化visualize(clf_name,           X_train, y_train,           X_test, y_test,           y_train_pred,y_test_pred,           show_figure=True,           save_figure=False         )

四、總?? 結(jié)

HBOS這個(gè)算法原理簡(jiǎn)單，復(fù)雜度低，在大數(shù)據(jù)場(chǎng)景比較好用，但是異常識(shí)別的效果一般，且針對(duì)特征間比較獨(dú)立的場(chǎng)景，簡(jiǎn)單點(diǎn)講該算法就是把數(shù)據(jù)劃分為多個(gè)區(qū)間，然后根據(jù)每個(gè)區(qū)間的頻次根據(jù)概率密度函數(shù)轉(zhuǎn)化為對(duì)應(yīng)的出現(xiàn)概率，在將這個(gè)概率轉(zhuǎn)化為異常分?jǐn)?shù)，以此來(lái)區(qū)分異常數(shù)據(jù)

因此HBOS在全局異常檢測(cè)問(wèn)題上表現(xiàn)良好，但在局部異常的檢測(cè)上效果一般。


往期精彩回顧




適合初學(xué)者入門(mén)人工智能的路線(xiàn)及資料下載
(圖文+視頻)機(jī)器學(xué)習(xí)入門(mén)系列下載
中國(guó)大學(xué)慕課《機(jī)器學(xué)習(xí)》（黃海廣主講）
機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專(zhuān)輯
AI基礎(chǔ)下載
機(jī)器學(xué)習(xí)交流qq群955171419，加入微信群請(qǐng)掃碼：

點(diǎn)贊

評(píng)論

舉報(bào)

【機(jī)器學(xué)習(xí)】異常檢測(cè)算法之(HBOS)-Histogram-based Outlier Score

1、靜態(tài)寬度直方圖

2、動(dòng)態(tài)寬度直方圖

二、算法推導(dǎo)過(guò)程

三、應(yīng)用案例詳解