周志華教授團(tuán)隊(duì)深耕演化學(xué)習(xí)

演化算法（Evolutionary Algorithms，EA）是指一大類受自然演化啟發(fā)的啟發(fā)式隨機(jī)優(yōu)化算法，通過(guò)考慮“突變重組”和“自然選擇”這兩個(gè)關(guān)鍵因素來(lái)模擬自然演化過(guò)程。演化算法有很多種實(shí)現(xiàn)方法，如遺傳算法(genetic algorithm)、遺傳編程(genetic programming，GP)、演化策略(evolutionary strategy) ，等等。

而在機(jī)器學(xué)習(xí)領(lǐng)域，一些復(fù)雜的學(xué)習(xí)問(wèn)題往往歸結(jié)為復(fù)雜優(yōu)化問(wèn)題，演化算法這種強(qiáng)大的優(yōu)化工具常常取得不錯(cuò)的結(jié)果。然而，在什么條件下、為什么能取得這樣的結(jié)果，人們并不清楚。因而在崇尚理論的機(jī)器學(xué)習(xí)研究群體中間，演化算法難以得到認(rèn)可，僅僅被作為”啟發(fā)式”方法使用，未能得到從理論到算法、再到應(yīng)用的蓬勃發(fā)展。

南京大學(xué)周志華教授在二十多年前與合作者提出了了一種利用常見(jiàn)演化算法的”選擇性集成” 學(xué)習(xí)方法，對(duì)于一組學(xué)習(xí)器，該方法能產(chǎn)生僅包含少量個(gè)體、泛化性能卻超越全體學(xué)習(xí)器集成的模型。自此他深受演化算法應(yīng)用成效的鼓舞，相信它不是”魔法”。周志華堅(jiān)信利用演化算法求解機(jī)器學(xué)習(xí)中的復(fù)雜優(yōu)化問(wèn)題——也就是演化學(xué)習(xí)，一定能建立起相應(yīng)的理論基礎(chǔ)，于是下定決心開(kāi)展起這個(gè)方向的研究?，F(xiàn)在已經(jīng)分別是南京大學(xué)教授和副教授的俞揚(yáng)博士和錢超博士，分別于2004年、2009年加入了鉆研演化學(xué)習(xí)理論與算法的行列。

周志華教授               俞揚(yáng)教授                 錢超副教授

 

二十年彈指一揮間，在周志華教授團(tuán)隊(duì)的努力下，演化學(xué)習(xí)研究取得了體系性的成果。用團(tuán)隊(duì)俞揚(yáng)教授的話說(shuō)，就是”從理論、算法、到應(yīng)用效果都能打通……回答了一個(gè)長(zhǎng)久以來(lái)演化計(jì)算領(lǐng)域面臨的核心挑戰(zhàn)：”有什么問(wèn)題能證明是以往算法做不到而演化算法能做到的”。這背后付出的艱辛，可以想象。

俞揚(yáng)教授就團(tuán)隊(duì)演化學(xué)習(xí)著作在知乎發(fā)帖

 

功夫不負(fù)有心人，在理論、算法和應(yīng)用效果明朗之后，演化學(xué)習(xí)不再是冷板凳。2019年4月周志華、俞揚(yáng)、錢超的英文書(shū)Evolutionary Learning: Advances in Theories and Algorithms出版，反響熱烈，引發(fā)了出版中文版的呼聲，在Springer電子書(shū)平臺(tái)下載量迄今也已超過(guò)三萬(wàn)。

在英文書(shū)出版商簽返中文版權(quán)后，周志華團(tuán)隊(duì)開(kāi)始利用疫情下各種活動(dòng)減少的窗口期，推敲出了中文版書(shū)稿，幾經(jīng)校改，終于快要和讀者見(jiàn)面：《演化學(xué)習(xí)：理論與算法進(jìn)展》。該書(shū)還在預(yù)售期間時(shí)，媒體首發(fā)文章的閱讀數(shù)就超過(guò)了2.7萬(wàn)。本文將對(duì)其主要內(nèi)容進(jìn)行梳理介紹。

周志華教授團(tuán)隊(duì)《演化學(xué)習(xí)：理論與算法進(jìn)展》一書(shū)封面

 

《演化學(xué)習(xí)：理論與算法進(jìn)展》一書(shū)出版

這本書(shū)由四部分組成：預(yù)備知識(shí)、分析方法、理論透視、學(xué)習(xí)算法。

 

第一部分簡(jiǎn)要介紹演化學(xué)習(xí)和一些關(guān)于理論研究的預(yù)備知識(shí)，對(duì)機(jī)器學(xué)習(xí)、演化學(xué)習(xí)、多目標(biāo)優(yōu)化、演化算法、偽布爾函數(shù)及一些衡量標(biāo)準(zhǔn)和分析工具等進(jìn)行簡(jiǎn)單介紹。

 

為了分析運(yùn)行時(shí)間復(fù)雜度（running time complexity）和近似能力（approximation ability）這兩個(gè)關(guān)于隨機(jī)搜索啟發(fā)式（randomized search heuristics）的最重要的理論性質(zhì)[Neumannand Witt，2010; Auger andDoerr，2011]，本書(shū)第二部分給出了分析演化算法運(yùn)行時(shí)間界（bound）的兩種通用方法，即收斂分析法（convergence-based analysis）和調(diào)換分析法（switch analysis），以及刻畫(huà)演化算法近似性能的一般框架SEIP。這些為獲得本書(shū)后續(xù)介紹的一些理論結(jié)果提供了通用工具。

收斂分析法示意

 

第三部分給出了關(guān)于演化算法的一系列理論結(jié)果。本書(shū)先探討了如何辨識(shí)一個(gè)問(wèn)題類（problem class）中關(guān)于某個(gè)給定演化算法的邊界問(wèn)題（boundary problem），即找到對(duì)于這個(gè)算法最簡(jiǎn)單和最困難的問(wèn)題。然后，本書(shū)探討了演化算法關(guān)鍵技術(shù)要素對(duì)其性能的影響，包括交叉算子、解的表示、非精確適應(yīng)度評(píng)估（fitness evaluation）和種群的影響等。最后，本書(shū)考察了演化算法在求解機(jī)器學(xué)習(xí)任務(wù)中常見(jiàn)的約束優(yōu)化（constrained optimization）問(wèn)題時(shí)的性能。

 

第四部分給出了一系列基于理論結(jié)果啟發(fā)的具有一定理論保障的演化學(xué)習(xí)算法。本書(shū)先考慮選擇性集成（selective ensemble）任務(wù)，即嘗試選擇出個(gè)體學(xué)習(xí)器子集以獲得更好的泛化性能，給出的帕累托優(yōu)化（Pareto optimization）算法在優(yōu)化泛化性能的同時(shí)最小化學(xué)習(xí)器數(shù)目，其性能顯著優(yōu)于其他著名的選擇性集成算法。然后，本書(shū)研究了更具一般性的子集選擇（subset selection） 問(wèn)題，即選擇有限項(xiàng)來(lái)優(yōu)化一個(gè)給定的目標(biāo)函數(shù)。本書(shū)給出的帕累托優(yōu)化算法可獲得目前已知的最佳多項(xiàng)式時(shí)間近似保證（polynomial-time approximation guarantee）。本書(shū)進(jìn)一步為兩個(gè)擴(kuò)展子集選擇問(wèn)題給出了帕累托優(yōu)化算法的變種，均可獲得目前已知的最佳多項(xiàng)式時(shí)間近似保證。最后，考慮到實(shí)際學(xué)習(xí)任務(wù)通常是帶噪的且規(guī)模很大，本書(shū)還為子集選擇問(wèn)題給出了相應(yīng)的容噪和并行算法。

集成學(xué)習(xí)和選擇性集成的一般結(jié)構(gòu)

 

作者希望第二部分的通用理論工具能為有興趣探索演化學(xué)習(xí)理論基礎(chǔ)的讀者提供幫助，第三部分的理論結(jié)果能加深讀者對(duì)演化學(xué)習(xí)過(guò)程行為的理解且提供一些關(guān)于算法設(shè)計(jì)的洞察，第四部分的算法能在多種機(jī)器學(xué)習(xí)應(yīng)用中發(fā)揮作用。

 

演化學(xué)習(xí)前景展望

演化計(jì)算從20世紀(jì)六七十年代在歐美逐漸被提出、匯聚成共識(shí)，之后經(jīng)歷了較為快速的發(fā)展。已經(jīng)在模式識(shí)別、圖象處理、人工智能、經(jīng)濟(jì)管理、機(jī)械工程、電氣工程、通訊、生物學(xué)等眾多領(lǐng)域都獲得了較為成功的應(yīng)用，如利用進(jìn)化算法研究小生境理論和生物物種的形成，通信網(wǎng)絡(luò)的優(yōu)化設(shè)計(jì)，超大規(guī)模集成電路的布線，飛機(jī)外形的設(shè)計(jì)，人類行為規(guī)范進(jìn)化過(guò)程的模擬等。

演化搜索示例

在機(jī)器學(xué)習(xí)領(lǐng)域，“啟發(fā)式”應(yīng)用演化算法的研究人員和工程人員大有人在，也有不少人將其視為機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的“Next Big Thing”。比如2018年8月，來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（MIT CSAIL）的Una-MayO'Reilly教授、密歇根大學(xué)Erik Goodman教授、德克薩斯大學(xué)奧斯汀分校RistoMiikkulainen教授，以及來(lái)自佛蒙特大學(xué)、法國(guó)國(guó)家信息與自動(dòng)化研究所、Google AI等研究機(jī)構(gòu)的十余位知名學(xué)者，對(duì)演化學(xué)習(xí)在機(jī)器學(xué)習(xí)中的前景專門進(jìn)行了討論，認(rèn)為演化學(xué)習(xí)和機(jī)器學(xué)習(xí)結(jié)合，將會(huì)推動(dòng)更具創(chuàng)造性的新AI能力的產(chǎn)生。不過(guò)那個(gè)時(shí)候，這方面的理論框架尚不明朗，算法和應(yīng)用的發(fā)展仍舊受限。正如原英國(guó)諾丁漢大學(xué)計(jì)算機(jī)科學(xué)教授、副校長(zhǎng)Graham Kendall博士2018年在“對(duì)話”（The Conversation）網(wǎng)站撰文指出的，（包含演化算法在內(nèi)的）演化計(jì)算需要有人建立易用的框架把底層的復(fù)雜性封裝起來(lái)，才能從學(xué)術(shù)界推廣到業(yè)界，發(fā)揮更大的作用。

 

周志華教授團(tuán)隊(duì)在演化學(xué)習(xí)領(lǐng)域做出的原創(chuàng)性、系統(tǒng)性的探索，相關(guān)成果這些年來(lái)已經(jīng)陸續(xù)在AAAI、IJCAI、NIPS等國(guó)際頂級(jí)人工智能學(xué)術(shù)會(huì)議和期刊上發(fā)表，得到了全球同行的認(rèn)可，事實(shí)上在全球引領(lǐng)和極大推動(dòng)了演化學(xué)習(xí)這個(gè)領(lǐng)域得發(fā)展?，F(xiàn)在《演化學(xué)習(xí)：理論與算法進(jìn)展》一書(shū)英文版、中文版均已上市且受到高度關(guān)注，更是為有志于進(jìn)入該領(lǐng)域的人士提供了全面、集中的學(xué)習(xí)材料。相信其中的理論框架、分析方法、算法思想和實(shí)現(xiàn)，以及對(duì)應(yīng)用的示例和展望，將極大推動(dòng)演化算法在機(jī)器學(xué)習(xí)領(lǐng)域的應(yīng)用，使演化學(xué)習(xí)成為機(jī)器學(xué)習(xí)中的重要方向，最終催生一個(gè)真正的“Next Big Thing”。同時(shí)，周志華教授團(tuán)隊(duì)認(rèn)定一條道路二十年如一日甘坐冷板凳、把冷板凳坐熱的科研精神，相信對(duì)廣大科研工作者帶來(lái)啟發(fā)。

實(shí)體書(shū)抽獎(jiǎng)：

為了回饋各位粉絲，本次將會(huì)有三本《演化學(xué)習(xí)——理論與算法進(jìn)展》實(shí)體書(shū)送出，各位粉絲可以關(guān)注本公眾號(hào)，然后后臺(tái)留言關(guān)鍵詞“演化學(xué)習(xí)”即可獲得抽獎(jiǎng)小程序，等到開(kāi)獎(jiǎng)之后，請(qǐng)及時(shí)聯(lián)系我，方便書(shū)籍郵寄！