【新智元導讀】近日，國際模式識別大會（ICPR 2020）拉開帷幕，各個workshop也公布了各項挑戰(zhàn)賽的結果，來自中國的DeepBlueAI 團隊斬獲了由ICPR 2020、Kaggle和JDAI等聯(lián)合舉辦大規(guī)模商品圖像識別挑戰(zhàn)賽冠軍。
隨著互聯(lián)網(wǎng)技術和電子商務的迅猛發(fā)展，人們的購物方式逐步由傳統(tǒng)實體店購物變?yōu)榫W(wǎng)絡購物。為了充分滿足客戶海量、多樣化的網(wǎng)上購物需求，人工智能零售系統(tǒng)需要快速地從圖像和視頻中自動識別出產(chǎn)品的存貨單元(Stock Keeping Unit，SKU)級別的類別，然而，許多SKU級別的產(chǎn)品都是細粒度的，可以看出它們在視覺上是相似的。JDAI構建了一個名為Products-10K[1]的產(chǎn)品識別數(shù)據(jù)集，這是迄今為止最大的一個產(chǎn)品識別數(shù)據(jù)集，其中包含了約10000種經(jīng)常被中國消費者購買的產(chǎn)品，涵蓋了時尚、3C、食品、保健、家居用品等全品類。該賽題由JDAI和ICPR 2020、Kaggle等聯(lián)合舉辦，要求參數(shù)者開發(fā)算法基于提供的產(chǎn)品圖片進行細粒度分類。
DeepBlueAI團隊通過數(shù)據(jù)分析，網(wǎng)絡結構設計以及l(fā)oss改進等逐步優(yōu)化算法，最好的單模在Public & Private上的分數(shù)分別是0.70918/0.73618，均超過了第2名最好的成績，并且通過模型集成的方法，取得Public & Private第一名的成績，領先第2名兩個百分點。?
該賽題提供了約150000張圖片，10000個細粒度的SKU級別的標簽，以及360個組別標簽，經(jīng)過數(shù)據(jù)分析可以總結該數(shù)據(jù)集有以下特點：雖然提供了150000張圖片，但是由于類別數(shù)比較多，大部分類別的圖片數(shù)量都少于20張；大部分類別在視覺上比較相似；如下圖所示，每一行雖然看起來十分相似，但是卻屬于不同的SKU標簽。
同一個細粒度標簽下的圖片包含了商店場景和消費者場景，商店場景的背景比較簡單，消費者場景背景比較復雜；如下圖所示，每一列都屬于同一個SKU標簽，大部分商店場景圖片都是白色背景，但消費者拍攝的圖片背景比較多樣化。
本次競賽方案采用了resnest[2]作為基礎骨架網(wǎng)絡進行特征提取，并且使用了GeM pooling[3]對骨架網(wǎng)絡最后一層特征進行池化，基于池化的向量進行group和SKU-level的多任務分類，分類器采用了CircleSoftmax[4]調(diào)整類間間距，并且在每一個分類器之前引入了一個BNNeck[5]的結構。Loss上采用了FocalLoss[6]和CrossEntropy Loss聯(lián)合訓練的方式。數(shù)據(jù)增強上，采用了常規(guī)的翻轉、隨機擦除、顏色增強、AugMix[7]等
Generalized Mean Pooling (GeM Pooling)假設是CNN提取后的第k個特征圖，是第k個特征圖池化后的結果。則GeM Pooling[3]的計算過程可由下式表示：
GeM Pooling可以看作Average Pooling和Max Pooling的延申，當p=1時，GeM Pooling退化成Average Pooling，當p無窮大時，GeM pooling 等效于Max Pooling.
在分類器的選擇上，使用了全連接層構建基線模型，通過數(shù)據(jù)分析發(fā)現(xiàn)該數(shù)據(jù)集存在類內(nèi)距離大，類間距離小等特點，因此借鑒了人臉識別常用的分類器CosFace[8]和CircleSoftmax[4]，通過在訓練過程中引入調(diào)整分類超平面的方式，使得測試時的不同類別的特征更容易區(qū)分。如下圖，分別是Cosface[8]和CircleSoftmax[4]的訓練測試過程。
CosFace訓練測試過程
CircleSoftmax訓練測試過程
Loss設計
Loss設計上使用了Focal Loss[6]和CrossEntropy Loss聯(lián)合訓練的方案，避免了Focal Loss需要調(diào)整超參和過度放大困難樣本權重的問題。
以上是DeepBlueAI團隊參賽的優(yōu)化路線圖，首先通過水平翻轉增強以及resnest50構建了基線模型，取得Public榜單61.26的成績；通過在池化層后面引入BNNeck，數(shù)據(jù)增強上引入隨機擦除，并把平均池化層替換層GeM Pooling層，取得了Public榜單約68的成績；通過替換分類器為CircleSoftmax以及聯(lián)合FocalLoss損失進行訓練的策略，取得了Public榜單69的成績；通過增大分辨率以及增加網(wǎng)絡層數(shù)，聯(lián)合組別信息進行訓練，取得了單模Public榜單約71的成績；最后通過模型集成，取得了Public榜單73.01的成績，并且在該賽題排名第一。?
DeepBlueAI團隊針對大規(guī)模細粒度商品圖像識別任務，通過數(shù)據(jù)分析、數(shù)據(jù)增強、網(wǎng)絡結構設計以及l(fā)oss改進等設計了一個簡單的細粒度圖像識別算法。該算法取得了Public & Private第一名的成績，領先第2名兩個百分點，有望幫助人工智能零售系統(tǒng)快速并準確地從圖像和視頻中自動識別出產(chǎn)品的存貨單元級別的類別，優(yōu)化消費者的購物體驗。?
羅志鵬，DeepBlue Technology北京AI研發(fā)中心負責人，畢業(yè)于北京大學，曾任職于微軟亞太研發(fā)集團?，F(xiàn)主要負責公司AI平臺相關研發(fā)工作，帶領團隊已在CVPR、ICCV、ECCV、KDD、NeurIPS、SIGIR、AAAI等數(shù)十個世界頂級會議挑戰(zhàn)賽中獲得二十多項冠軍，以一作在KDD、WWW等國際頂會上發(fā)表論文，具有多年跨領域的人工智能研究和實戰(zhàn)經(jīng)驗。?
?
參考文獻：
1. Bai Y, Chen Y, Yu W, et al. Products-10K: A Large-scale Product Recognition Dataset[J]. arXiv preprint arXiv:2008.10545, 2020.
2. Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks[J]. arXiv preprint arXiv:2004.08955, 2020.
3. Radenovi? F, Tolias G, Chum O. Fine-tuning CNN image retrieval with no human annotation[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(7): 1655-1668.
4. Sun Y, Cheng C, Zhang Y, et al. Circle loss: A unified perspective of pair similarity optimization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6398-6407.
5. Luo, H., Gu, Y., Liao, X., Lai, S., Jiang, W.: Bag of tricks and a strong baseline for deep person re-identification (2019).
6. Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.
7. Hendrycks D, Mu N, Cubuk E D, et al. Augmix: A simple data processing method to improve robustness and uncertainty[J]. arXiv preprint arXiv:1912.02781, 2019.
8. Wang H, Wang Y, Zhou Z, et al. Cosface: Large margin cosine loss for deep face recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5265-5274.
