↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

來(lái)源丨機(jī)器之心

編輯丨極市平臺(tái)

極市導(dǎo)讀

目前，關(guān)于少樣本學(xué)習(xí)（FSL）的研究綜述還比較少。張長(zhǎng)水等人總結(jié)了本世紀(jì)初以來(lái)的300余篇相關(guān)論文，完成了一篇詳盡的綜述文章，構(gòu)建出FSL完整知識(shí)體系。>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿

少樣本學(xué)習(xí)（FSL）是機(jī)器學(xué)習(xí)領(lǐng)域中重要且有難度的課題?；谏倭繕颖具M(jìn)行學(xué)習(xí)和泛化的能力是區(qū)分人工智能和人類智能的重要分界線，因?yàn)槿祟愅軌蚧谝粋€(gè)或少量樣本建立對(duì)新事物的認(rèn)知，而機(jī)器學(xué)習(xí)算法通常需要數(shù)百或數(shù)千個(gè)監(jiān)督樣本才能實(shí)現(xiàn)泛化。

少樣本學(xué)習(xí)的研究可以追溯到 21 世紀(jì)初，近年來(lái)隨著深度學(xué)習(xí)技術(shù)的發(fā)展它也受到廣泛的關(guān)注，但是目前關(guān)于 FSL 的綜述文章較少。清華大學(xué)教授、IEEE Fellow 張長(zhǎng)水等人廣泛閱讀和總結(jié)了自 21 世紀(jì)初到 2019 年的 300 余篇論文，寫(xiě)了一篇關(guān)于 FSL 的綜述文章。

論文鏈接：https://arxiv.org/pdf/2009.02653.pdf

這篇綜述文章回顧了 FSL 的演進(jìn)歷史和當(dāng)前進(jìn)展，將 FSL 方法分為基于生成模型和基于判別模型兩大類，并重點(diǎn)介紹了基于元學(xué)習(xí)的 FSL 方法。

此外，本文還總結(jié)了近期出現(xiàn)的多個(gè) FSL 擴(kuò)展性主題及其最新進(jìn)展，并介紹了 FSL 在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、音頻、強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)、數(shù)據(jù)分析等熱點(diǎn)研究領(lǐng)域中的應(yīng)用。

最后，本文討論了 FSL 的未來(lái)趨勢(shì)，希望能為后續(xù)研究提供指引。

該綜述文章的新穎之處和主要貢獻(xiàn)包括：

對(duì)自 21 世紀(jì)初至 2019 年的 300 余篇 FSL 主題論文進(jìn)行了更加全面及時(shí)的綜述，涵蓋從早期 Congealing 模型 [29] 到近期元學(xué)習(xí)方法的所有 FSL 方法。詳盡的闡述有利于掌握 FSL 的整體發(fā)展脈絡(luò)，構(gòu)建 FSL 的完整知識(shí)結(jié)構(gòu)體系。

該論文提供了易于理解的層次分類，根據(jù)建模原則將現(xiàn)有的 FSL 方法分為基于生成模型的方法和基于判別模型的方法。在每一個(gè)類別中，又基于泛化性進(jìn)行細(xì)分。

該論文重點(diǎn)介紹目前主流的 FSL 方法，即基于元學(xué)習(xí)的 FSL 方法，并將其分為五個(gè)大類：Learn-to-Measure、Learn-to-Finetune、Learn-to-Parameterize、Learn-to-Adjust 和 Learn-to-Remember。此外，該綜述文章還揭示了多種元學(xué)習(xí) FSL 方法之間的底層發(fā)展關(guān)系。

該論文在原版 FSL 之外，還總結(jié)了近期出現(xiàn)的多個(gè)擴(kuò)展性研究主題及其進(jìn)展。這些主題包括：半監(jiān)督 FSL、無(wú)監(jiān)督 FSL、跨域 FSL、通用 FSL 和多模態(tài) FSL，它們很有挑戰(zhàn)性，且為解決方案賦予了實(shí)際意義，可用于許多現(xiàn)實(shí)機(jī)器學(xué)習(xí)問(wèn)題。而之前的綜述文章很少涉及這類擴(kuò)展性主題。

該論文廣泛地總結(jié)了現(xiàn)有 FSL 方法在多個(gè)領(lǐng)域的應(yīng)用，如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、音頻、強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)、數(shù)據(jù)分析等，還概括了當(dāng)前 FSL 方法在基準(zhǔn)數(shù)據(jù)集上的性能，以為后續(xù)研究提供指引。

文章結(jié)構(gòu)：

第二章：概述 FSL 發(fā)展歷史、符號(hào)和定義，以及對(duì)現(xiàn)有 FSL 方法進(jìn)行分類；
第三章：介紹第一類 FSL 方法——基于生成模型的方法；
第四章：介紹第二類 FSL 方法——基于判別模型的方法；
第五章：總結(jié) FSL 的多個(gè)擴(kuò)展性主題；
第六章：介紹 FSL 在多個(gè)領(lǐng)域中的應(yīng)用，及基準(zhǔn)性能；
第七章：探討 FSL 的未來(lái)方向。

下圖 1 展示了該綜述文章的主要內(nèi)容，包括 FSL 的發(fā)展過(guò)程、方法分類、擴(kuò)展性主題和應(yīng)用。

這篇綜述文章篇幅較長(zhǎng)，共有 30 頁(yè)內(nèi)容，參考文獻(xiàn)多達(dá) 414 篇。我們僅選取部分概括性的圖表進(jìn)行展示，詳情參見(jiàn)原論文。

基于生成模型的 FSL 方法

下表 1 總結(jié)了第一類 FSL 方法——基于生成模型的 FSL 方法：

基于判別模型的 FSL 方法

本文將基于判別模型的 FSL 方法分為四類：增強(qiáng)、度量學(xué)習(xí)、元學(xué)習(xí)和其他方法，并重點(diǎn)介紹了元學(xué)習(xí)方法。

下圖 2 概括了基于增強(qiáng)的 FSL 方法的通用框架：

下表 2 則總結(jié)了監(jiān)督式和無(wú)監(jiān)督式增強(qiáng)方法：

下圖 8 展示了基于度量學(xué)習(xí)的 FSL 方法的通用框架：

下表 3 則總結(jié)了基于度量學(xué)習(xí)的 FSL 方法的主要特征：

元學(xué)習(xí)

下圖 12 展示了基于元學(xué)習(xí)的 FSL 方法的通用框架：

此外，這部分還介紹了基于元學(xué)習(xí)的 FSL 方法的五個(gè)子類別：Learn-to-Measure (L2M)、Learn-to-Finetune (L2F)、Learn-to-Parameterize (L2P)、Learn-to-Adjust (L2A) 和 Learn-to-Remember (L2R)。

下圖 13 展示了不同 L2M 方法之間的發(fā)展關(guān)系：

許多近期提出的 Learn-to-Finetune 方法屬于 MAML 變體，下圖 16 展示了 MAML 與其變體之間的關(guān)系：

下表 4 總結(jié)了 Learnto-Parameterize 方法：

下表 5 總結(jié)了 Learn-to-Adjust 方法：

下圖 22 展示了 Learn-to-Remember 方法的通用框架：

FSL 方法的應(yīng)用領(lǐng)域

下表 9 總結(jié)了 FSL 方法在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、音頻、強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)、數(shù)據(jù)分析等領(lǐng)域的應(yīng)用：

推薦閱讀

撥開(kāi)算力的迷霧：聊聊不同 GPU 計(jì)算能力的上限
CVPR 2020 SLAM挑戰(zhàn)賽冠軍方案解讀，搞定超難數(shù)據(jù)集TartanAir
CVPR 2020 | 騰訊推出超強(qiáng)少樣本目標(biāo)檢測(cè)算法，公開(kāi)千類少樣本檢測(cè)訓(xùn)練集FSOD

回復(fù)“煉丹師“參與測(cè)評(píng)，領(lǐng)取CV電子書(shū)大禮包

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開(kāi)發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??

少樣本學(xué)習(xí)（FSL）2000-2019年發(fā)展綜述：涵蓋所有主流FSL方法

基于生成模型的 FSL 方法

基于判別模型的 FSL 方法

元學(xué)習(xí)

FSL 方法的應(yīng)用領(lǐng)域