天天综合日日,色婷婷综合久久精品一区二区三区,日本一级无码视频,欧美一級黃色A片免費看,女的张开腿让男的捅,中国A级毛片免费观看,91成人福利,日韩高清无码网址

上次分享了非常牛逼的不需要介質(zhì)就能進(jìn)行團(tuán)伙挖掘的算法，大家都說是個(gè)好算法，但是實(shí)現(xiàn)細(xì)節(jié)還是有些問題。文章傳送門：SynchroTrap-基于松散行為相似度的欺詐賬戶檢測算法

由此可見，風(fēng)控的實(shí)踐大于算法，就像繪畫，給我同樣的材料，打死我都成不了梵高。所以風(fēng)控一定要多看多試驗(yàn)。我這里用一個(gè)簡單的數(shù)據(jù)集，具體的把實(shí)現(xiàn)過程分享出來，并圖解每一步的原理，希望對大家有幫助。

一、梳理已有或者想應(yīng)用的場景

首先需要梳理滿足該算法數(shù)據(jù)條件的場景，最少的條件就是：用戶+時(shí)間戳。舉例一些具體的場景，大家感官更明顯。

用戶下單環(huán)節(jié)（A、B用戶多天總是在較短的時(shí)間內(nèi)購買商家A，然后是商家B）

用戶A ?2021-11-16 21:22:02 ? 商家A
用戶B ?2021-11-16 21:32:02 ? 商家A
······
用戶A ?2021-11-18 11:18:02 ? ?商家B
用戶B ?2021-11-18 11:54:01 ? ?商家B

某個(gè)領(lǐng)券環(huán)節(jié)（A、B用戶多天總是在較短的時(shí)間內(nèi)去領(lǐng)券）

用戶A ?2021-11-16 21:22:02 ? 活動A
用戶B ?2021-11-16 21:32:02 ? 活動A
······
用戶A ?2021-11-18 11:18:02 ? ?活動B
用戶B ?2021-11-18 11:54:01 ? ?活動B

還有更多的環(huán)節(jié)，都可能存在這種同步行為

電商的評價(jià)環(huán)節(jié)

拼多多的砍價(jià)活動

抖音的點(diǎn)贊/關(guān)注

微信的投票

上述一系列的活動，存在一些利益群體，控制大量的賬號，并且在不同的時(shí)間，同時(shí)去完成上述的任務(wù)，則可能存在同步行為，我們就可以構(gòu)建圖網(wǎng)絡(luò)，把他們一網(wǎng)打盡。

我們本次使用評價(jià)數(shù)據(jù)進(jìn)行講解，數(shù)據(jù)格式如下?

二、數(shù)據(jù)處理環(huán)節(jié)

面對大規(guī)模的數(shù)據(jù)，我一般都是按場景-天進(jìn)行拆分，然后天-場景進(jìn)行合并，最后得出一個(gè)更大規(guī)模的圖。可以多場景日志數(shù)據(jù)聚合到一起進(jìn)行挖掘，也可以單一場景計(jì)算完了在聚合，我建議第二種方法，計(jì)算量更小，并且算完一個(gè)場景就能夠落地應(yīng)用了，項(xiàng)目時(shí)間不會太長。

最難處理的就是時(shí)間差這個(gè)環(huán)節(jié)，下面我們開始：

1、首先我們需要做的就是把時(shí)間離散化（我按小時(shí)計(jì)算）

具體的就是以當(dāng)前小時(shí)為中心，向前一小時(shí)，向后一小，我寫了函數(shù)，可以直接使用。如下的例子。0點(diǎn)分為了（23,0）（0,1），23為前一天的。

2021-11-16 00:03:32
20211115(23#00) ?20211116(00#01)

函數(shù)寫好了后，對每個(gè)時(shí)間應(yīng)用。

import datetimedef Time2Str(tsm):    t1 = datetime.datetime.fromisoformat(tsm)    t0 = t1-datetime.timedelta(days=0, hours=1)    t2 = t1+datetime.timedelta(days=0, hours=1)    str1 = t0.strftime("%Y%m%d")+'(' +str(t0.hour).rjust(2,'0')+'#'+str(t1.hour).rjust(2,'0')+')'    str2 = t1.strftime("%Y%m%d")+'(' +str(t1.hour).rjust(2,'0')+'#'+str(t2.hour).rjust(2,'0')+')'    return str1+';'+str2
Time2Str('2021-11-16?15:51:39')#測試下'20211116(14#15);20211116(15#16)'

我們把上面的數(shù)據(jù)系統(tǒng)化，后面的案例好用

import pandas as pddf = pd.DataFrame({    'Buy':['BUY_03','BUY_02','BUY_01','BUY_04','BUY_03','BUY_02','BUY_01','BUY_04'],    'Times':['2021-11-16 00:03:32','2021-11-16 00:12:23','2021-11-16 00:22:07','2021-11-16 21:10:24',\    '2021-11-16 21:18:05','2021-11-16 21:22:02','2021-11-16 21:42:57','2021-11-16 23:51:39'],    'Seller':['Y','Y','Y','E','E','E','E','Y']    })# 時(shí)間離散化df['tsm'] = df['Times'].apply(Time2Str)

2、對數(shù)據(jù)進(jìn)行裂變，一行變兩行，這一步是關(guān)鍵，需要重點(diǎn)理解

離散化以后，需要一行變多行，為的就是同一個(gè)小時(shí)內(nèi)的兩個(gè)對象能夠匹配，一行變多行的代碼如下。SQL的話，也是對應(yīng)的函數(shù)的，比Pandas簡單很多

df = df.set_index(["Buy", "Times",'Seller'])["tsm"].str.split(";", expand=True)\    .stack().reset_index(drop=True, level=-1).reset_index().rename(columns={0: "tsm"})print(df)

3、數(shù)據(jù)表進(jìn)行自我匹配，并還需要作差，時(shí)間限定小于自己的閾值

對于變完之后的數(shù)據(jù)，進(jìn)行匹配，加了時(shí)間約束和商家約束，['Seller','tsm']，當(dāng)然你也可以只加時(shí)間約束，不加商家約束。約束計(jì)算完了，還需要進(jìn)一步計(jì)算，其實(shí)匹配完的是2小時(shí)內(nèi)的，還需要作差計(jì)算一小時(shí)內(nèi)的，不滿足條件的排除，并且把自己和自己匹配的也要排除，沒啥意義。計(jì)算完了得到下面的結(jié)果。

df_0 = pd.merge(df,df,on =['Seller','tsm'],how='inner')df_1 = df_0[df_0['Buy_x']!=df_0['Buy_y']]df_1['diff'] = (pd.to_datetime(df_0['Times_x'])-\pd.to_datetime(df_0['Times_y'])).dt.seconds/3600/24

4、一天的數(shù)據(jù)聚合就得到下面的結(jié)果了

匹配得到的是明細(xì)數(shù)據(jù)，還需要進(jìn)行聚合，得到兩個(gè)用戶相交的次數(shù)，就可以得到再當(dāng)天的一個(gè)關(guān)聯(lián)情況了。如下圖所示：

# 數(shù)據(jù)聚合df_1.groupby(['Buy_x','Buy_y']).agg({'Seller': pd.Series.nunique}).reset_index()

5、多天的數(shù)據(jù)聚合

多天數(shù)據(jù)進(jìn)行聚合，假如我們的閾值是大于2，那標(biāo)黃的部分，就將被舍棄掉

6、總體相似度計(jì)算

聚合了，還要進(jìn)行相似度計(jì)算，分別計(jì)算每個(gè)用戶出現(xiàn)的總次數(shù)。為什么要計(jì)算這個(gè)呢，舉一個(gè)極端的例子，假如用戶A自己出現(xiàn)了一萬次，與B共同出現(xiàn)了5次，那這可能是巧合，但是如果A總共出現(xiàn)了5次，且5次都和B出現(xiàn)，那他倆是團(tuán)伙的概率要大很多。

按上面的數(shù)據(jù)，我們還要單獨(dú)計(jì)算X出現(xiàn)的次數(shù)，Y出現(xiàn)的次數(shù)，并且X+Y-X∩Y求出并集，就可以用杰卡德算法進(jìn)行相似度計(jì)算了，把相似度低的排除即可