一次聯(lián)合建模分析
最近雷帥慢銀行著實愁壞了，行內(nèi)消費信貸業(yè)務(wù)新增客戶越來越少，活躍度也越來越低了。
疫情長期結(jié)束不了，消費下滑經(jīng)濟(jì)下行，監(jiān)管持續(xù)趨嚴(yán)，資產(chǎn)規(guī)模和質(zhì)量都開始面臨很大的增長壓力。
雷帥慢銀行尋思，這么下去不是辦法，形勢再差，也要人為，得主動出擊去找優(yōu)質(zhì)資產(chǎn)。
怎么找，流量和質(zhì)量都掌控在互聯(lián)網(wǎng)大廠手上。
于是，找到了雷帥快大廠，你把優(yōu)質(zhì)用戶給我，我們來做款產(chǎn)品，一起分潤。
互聯(lián)網(wǎng)公司都是在做流量變現(xiàn)，雷帥快大廠就爽快同意了。
win-win。
那快大廠怎么把優(yōu)質(zhì)用戶給慢銀行呢？
快大廠雖然自己也做消費信貸業(yè)務(wù)，也有內(nèi)部風(fēng)險評分。但風(fēng)險是由用戶和產(chǎn)品決定的，慢銀行想要的是適合他們產(chǎn)品的優(yōu)質(zhì)用戶，快大廠的優(yōu)質(zhì)用戶雖然不錯，但不是最優(yōu)。
這就是合作中最重要的一環(huán)，聯(lián)合建模。
慢銀行提供一批有風(fēng)險表現(xiàn)的用戶給快大廠去匹配特征，風(fēng)險是慢銀行的，特征是快大廠的。
由慢銀行同學(xué)去建模，有了模型之后就可以對快大廠的流量做精準(zhǔn)風(fēng)險評估了。
一般來說，誰用模型誰建模。
于是慢銀行和快大廠分別成立了一個小組，兩方各自指定了個負(fù)責(zé)人，專項對接該模型開發(fā)工作。
01
立項會議
小組成立之后，馬上開了一次語音會議，聊這個模型怎么建。
兩方負(fù)責(zé)人先拉了個微信群，把慢銀行和快大廠這次聯(lián)合建模相關(guān)的人員都拉進(jìn)去了。
慢銀行一堆問題就跟機(jī)關(guān)槍一樣發(fā)射了，
你們有多少特征，能回溯到什么時候？
需要用什么主鍵去匹配特征？
你們的數(shù)據(jù)能不能傳給我們，我們直接在行內(nèi)建模？
我們要建xgb模型，你們xgb模型怎么部署？
……
快大廠不爽了，你們急個毛線，
我們數(shù)據(jù)多著呢，近兩年都可以回溯，身份證和手機(jī)號做主鍵，我們上千個特征不出庫，我們準(zhǔn)備好電腦和建模環(huán)境，你們帶著標(biāo)簽過來。
你們準(zhǔn)備多少樣本建模，最好多帶點？
你們自己怎么定義標(biāo)簽的？
你們準(zhǔn)備建幾個模型，輸出幾個字段？
一來二回，都覺得對方不給力。
慢銀行嫌快大廠特征數(shù)據(jù)不出庫，還要他們派模型同學(xué)駐場建模。
快大廠嫌慢銀行能帶出的樣本太少了，建模效果不好的話還要怪?jǐn)?shù)據(jù)質(zhì)量。
但好歹，一些事情還是確定下來了。
慢銀行指定了一個模型同學(xué)（慢A），快大廠也指定了個同學(xué)（快B）。
然后，慢A去準(zhǔn)備建模需要的10w樣本，走申請流程帶出。
快B就去準(zhǔn)備了兩臺電腦，搭建建模環(huán)境。
02
數(shù)據(jù)準(zhǔn)備
慢A同學(xué)在慢銀行苦心經(jīng)營，找了許多人開了許多會，終于確定了如何選取這10w樣本。
又潛心寫了幾行代碼抽取這些樣本，還請同事幫忙review一下這幾段sql。
然后走起了漫無邊際的審批流程，匹配加密的主鍵，樣本出庫等。
這個時候的慢A覺得自己是張騫。
此時，快B同學(xué)在快大廠申請了兩臺舊電腦，確保了無網(wǎng)絡(luò)訪問權(quán)限，然后安裝了下必備的Python包。
然后開始準(zhǔn)備怎么做都有問題的特征，從特征庫里選擇了幾張合適的穩(wěn)定有效的特征表，開始做一些脫敏處理。
變量的值要脫敏，例如分段處理，變量的含義也要做脫敏，巴不得改名為變量1、變量2……。
無所不用其極，這個時候的快B覺得自己是SB。
最后，還要計算變量的分布，確保分段處理后的變量分布逐月穩(wěn)定且合理。
03
無窮無盡的拉扯
許多天以后，慢A終于準(zhǔn)備好了樣本，快B被慢銀行罵了幾次SB后，變量的含義還是沒改，不過加了一個維度列。
這些加密的主鍵被發(fā)送到快B，匹配了早已不知道是什么的特征。
終于，慢A帶著這10w個好壞樣本，不情不愿地來到了快大廠的所在地，快B給安排了工位，電腦桌面放好了10w個樣本的匹配結(jié)果。
慢A開始了無腦的數(shù)據(jù)分析，統(tǒng)計了數(shù)據(jù)的匹配情況，對著f1、f2……的特征強壓著內(nèi)心的怒火。
在旁邊拿出了自己帶來的電腦，連上熱點，開始了百度一下。
找出了早已備好的計算woe、iv的代碼塊，對著所有的變量跑了一通，篩出了一些區(qū)分度高的變量后，又看了他們的風(fēng)險分布。
問天，這個單增的變量是不是應(yīng)該單增；問地，這個單減的變量是不是應(yīng)該單減；問自己，這個U型分布變量是個什么鬼。最后問快B，快說，我有刀。
時間無情的流逝。
模型終于建好了，慢A算了幾個KS，不由得想罵人，怎么有點低，怎么波動這么大。
找快B，找慢銀行，多方討論，也沒有什么高招，只好就這樣。
然后定了個閾值做了一些業(yè)務(wù)指標(biāo)的測算，出了一個報告。
慢A把成果發(fā)送回了慢銀行，進(jìn)行了遠(yuǎn)程匯報……
最后，模型就這么定了。
這個階段慢A很煩躁。
04
模型部署
慢A把模型文件和模型變量交給快B之后，就逃也似的離開了快大廠。
此時的快B覺得氣定神閑，上線過很多個模型之后，誰還會把這這當(dāng)回事呢。
然后不緊不慢地打開了慢A給的文件，差點沒吐血。
這些變量咋還被再次處理了，給的變量都被分段好了，還合并分組干什么，不知道xgb是二叉樹嘛。
怎么入模了這么多變量。
模型文件一解析，又發(fā)現(xiàn)這樹怎么長這樣，這xgb參數(shù)也太扯淡了。
快B大叫一聲不好，一個電話打給了慢A，慢A說有些變量分組人數(shù)太少就合并了，參數(shù)是網(wǎng)格搜索找出來的。
快B很吐血，這意味著，要多一層特征處理作業(yè)，這一步很容易出錯。另外，模型打分作業(yè)耗時久，需監(jiān)控的變量多。
因為徒增了這些工作，重要但不緊急的模型部署變成了重要又緊急的todo。
但好歹，模型文件給到了快大廠，離線打分總遠(yuǎn)遠(yuǎn)好于實時打分。
模型終于被部署好了，并經(jīng)過了一致性校驗。
這個階段快B很暴躁。
05
我說
有件事情特別重要，而很多建模的同學(xué)并沒有意識到。
離線打分再把分?jǐn)?shù)推送至線上接口，會比推送特征線上實時計算分?jǐn)?shù)容易地多。
前者，模型復(fù)雜度就不太重要，計算作業(yè)再耗時也不是什么大問題。
但后者，就注定不能用太多變量，不能讓模型過于復(fù)雜，因為推送幾百個特征至線上是很困難的，保證接口響應(yīng)速度是很吃資源的，驗證分?jǐn)?shù)的一致性也是更不容易的。
這決定了你如何去做特征工程，如何去訓(xùn)練模型。
所以，最為要緊的事情是，在啟動建模前就必須想清楚最終將如何上線應(yīng)用。
負(fù)責(zé)建模的A和B同學(xué)，一定要清楚這個流程，即使他們本人還沒有這些經(jīng)驗，也需要有人告知并提醒他們。
并且保持一定頻率的交流。
如果你們在聯(lián)合建模，或者任何建模，確保你有辦法知曉更全的信息。如果沒辦法，我可以盡一點綿力。
推薦閱讀
歡迎長按掃碼關(guān)注「數(shù)據(jù)管道」