国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

解決中國“卡脖子”問題:研究求解器的少數(shù)者

共 15123字,需瀏覽 31分鐘

 ·

2021-09-11 16:24


在人工智能時(shí)代,他們不做深度學(xué)習(xí)。


作者 | 陳彩嫻

編輯 | 岑峰

1


少數(shù)者

蔡少偉清晰地記得,2011年夏天他去美國密歇根大學(xué)安娜堡分校參加 SAT 會(huì)議時(shí),一眼望去,全場只有他一個(gè)中國人。
參會(huì)人員一半來自歐洲,四分之一來自北美(尤其是美國),另外四分之一則來自亞太地區(qū)。他將自己的“單刀赴會(huì)”列為 SAT 2011一行的兩大記憶點(diǎn)之一,另一點(diǎn)是那年大會(huì)主席的論文被 SAT 評(píng)委“槍斃”了。
這是蔡少偉第一次參加 SAT。這個(gè)被 CCF 列為 B 類的會(huì)議全稱為“International Conference on Theory and Applications of Satisfiability Testing”(可滿足性判定的理論與應(yīng)用國際會(huì)議),始設(shè)于1997年,主要面向研究可滿足性問題,尤其是布爾可滿足性(Boolean Satisfiability Problem,簡稱“SAT”)問題的科研人員,向來少為中國學(xué)者問津。
不過,蔡少偉似乎對(duì)這份“孤軍作戰(zhàn)”的寂寞也早已見慣不慣。當(dāng)時(shí),他在北京大學(xué)計(jì)算機(jī)系的理論實(shí)驗(yàn)室攻讀博士,師從蘇開樂,是當(dāng)時(shí)組里唯一一位研究 SAT 求解算法的人。作為數(shù)理邏輯基礎(chǔ)問題又是NP完全問題,SAT 求解同時(shí)注重符號(hào)推理與算法設(shè)計(jì),還需要巧妙的數(shù)據(jù)結(jié)構(gòu)和精致的代碼實(shí)現(xiàn),難度極高。
圖 / 蔡少偉(左)參加 SAT 2011 時(shí),遇到同是研究隨機(jī)局部搜索的德國烏爾姆大學(xué)博士生Adrian Balint(右),討論不過癮,決定直接上機(jī)器 PK 
同樣經(jīng)歷過“四下無人”的少數(shù)者,還有 2009 年從斯坦福畢業(yè)回國的葛冬冬。那一年,他從斯坦福大學(xué)管理科學(xué)與工程系(MS&E)取得運(yùn)籌學(xué)博士學(xué)位,拿到了上海交通大學(xué)的教職 offer,準(zhǔn)備回國任教。
讀博期間,他師從運(yùn)籌學(xué)泰斗、馮·諾依曼理論獎(jiǎng)的唯一華人獲獎(jiǎng)?wù)呷~蔭宇,主要研究大規(guī)模優(yōu)化理論與算法,并不直接研究求解器,只是在研究某些整數(shù)規(guī)劃的問題時(shí)經(jīng)常需要調(diào)用。但回國后,他卻發(fā)現(xiàn),國內(nèi)居然沒有人開發(fā)商用求解器。凡是需要用到求解器的企業(yè),都是直接購買美國的 CPLEX、GUROBI 與 XPRESS。
“求解器分為專業(yè)版、個(gè)人版與商用版,不同版本有不同的價(jià)格,5萬到40萬人民幣不等?!备鸲劦溃爸袊鴽]有求解器,要從國外買,人家不可能給你降低價(jià)格。如果買幾千臺(tái)的話,幾個(gè)億的外匯就這樣出去了?!?/span>
看到國內(nèi)在求解器研究上的空白,葛冬冬感到很奇怪:為什么沒有人做?但那時(shí),他剛步入教職不久,身兼數(shù)職,也沒有條件去作更多的研究。直到2013年,他從交大轉(zhuǎn)到上海財(cái)經(jīng)大學(xué)、擔(dān)任交叉科學(xué)研究院院長,有機(jī)會(huì)組建自己的團(tuán)隊(duì),才開始帶隊(duì)探索。
 圖 / 剛步入教職的葛冬冬 
十年過去,再回頭看,從無人區(qū)走出來的蔡少偉與葛冬冬,都已成為國內(nèi)研究求解器的青年先驅(qū)人物。但是,談起求解器的研究現(xiàn)狀,他們的結(jié)論仍與十年前無異,“就一小撮人”。
事實(shí)上,在深度學(xué)習(xí)興起之前,人工智能十分注重邏輯推理(reasoning),當(dāng)時(shí)偏符號(hào)主義的 SAT 問題比深度學(xué)習(xí)還流行。
從“解題”的角度看,一切人工智能系統(tǒng)都可以歸結(jié)為“問題求解”(Problem Solving)系統(tǒng),即為了實(shí)現(xiàn)給定目標(biāo)而展開的動(dòng)作序列的過程。而解決特定問題的算法,被稱為“求解器”(solver)。無論是 SAT 求解器,還是整數(shù)規(guī)劃求解器,都是經(jīng)典的離散約束算法問題。
求解器在工業(yè)發(fā)展中的意義非凡。例如,中國戰(zhàn)略布局上亟待解決的“卡脖子”難題 EDA (電子設(shè)計(jì)自動(dòng)化)需要用到 SAT 求解器進(jìn)行快速驗(yàn)證,而制造、物流與供應(yīng)鏈優(yōu)化等則需要用到整數(shù)規(guī)劃求解器(尤其是線性規(guī)劃求解器)。因此,近兩年,華為與阿里也開始布局求解器研究。
江湖傳聞,華為內(nèi)部對(duì)求解器研究十分重視,多個(gè)海內(nèi)外團(tuán)隊(duì)同時(shí)推進(jìn),任總直接聽取匯報(bào)。由于人才供給緊缺,蔡少偉所培養(yǎng)的博士畢業(yè)生入職華為后,待遇直接對(duì)標(biāo)“華為天才少年”,年薪近百萬。

2


從 SAT = NP-Complete 談起

探討 SAT 求解器之前,我們首先要了解 SAT 問題的研究歷史。
說來牛叉,SAT 問題是計(jì)算機(jī)歷史上第一個(gè)被證明為 NP-Complete 的問題,其主要貢獻(xiàn)者就是計(jì)算復(fù)雜理論研究方向的大神、現(xiàn)任多倫多大學(xué)計(jì)算機(jī)系與數(shù)學(xué)系的教授 Stephen A. Cook。
 圖 / 1982 年圖靈獎(jiǎng)獲得者 Stephen Cook 
在1971年的論文“The Complexity of Theorem Proving Procedures”中,Stephen Cook 提出了著名的庫克定理(Cook Theorem),從圖靈機(jī)的角度證明所有 NP 問題都可以快速轉(zhuǎn)化為 SAT 問題。
在庫克定理里,圖靈機(jī)的計(jì)算過程可以用 SAT 表達(dá)出來,轉(zhuǎn)化成一條條獨(dú)立的語句,十分簡單,但又極高效。庫克定理指出,如果 SAT 問題可以快速求解,那么所有 NP 問題都可以快速求解。Cook 本人也因此獲得 1982 年圖靈獎(jiǎng)。
廣義上,可滿足性(Satisfiability)問題是指對(duì)給定邏輯公式判定是否可滿足的問題。SAT問題特指“布爾可滿足性問題”,又稱“命題邏輯可滿足性問題”。命題邏輯是形式邏輯最基本的類別,基本元素是布爾變?cè)C總€(gè)布爾變?cè)硪粋€(gè)基本命題。SAT 問題的本質(zhì),是探求一大堆布爾變?cè)g的邏輯推理關(guān)系是否成立。
聽起來很高深,但描述十分簡單。舉個(gè)例子:
甲乙丙想?yún)?huì),甲說:乙參會(huì)我就參會(huì),乙說:丙參會(huì)我就參會(huì),而丙說:甲參會(huì)我就不參會(huì),那么能不能同時(shí)滿足甲乙丙的參會(huì)需求?
這就是一個(gè) SAT 問題,而求解的答案是:他們的需求是不可(同時(shí))滿足的。如果命題簡單,那么人腦可以很快判定邏輯推理關(guān)系是否成立。但隨著布爾變?cè)图s束的條件越來越多,SAT 的求解就會(huì)越來越難,需要借助算法來進(jìn)行推理與計(jì)算。
比方說,在進(jìn)行機(jī)場飛機(jī)調(diào)度時(shí),研究人員要考慮的狀態(tài)非常多,包括待起飛的飛機(jī)數(shù)量,飛機(jī)分布的跑道數(shù)量與位置,飛機(jī)的運(yùn)行方向,風(fēng)向等等。一個(gè)布爾變?cè)硎締我粫r(shí)空下的一種狀態(tài)。由此可見,布爾變?cè)磉_(dá)的信息非常小,只有 0 與 1 。如果要表達(dá)完全部有用信息,那么涉及到的變?cè)獢?shù)量可能是成千上萬億。
這種“描述起來十分簡單、卻可以延伸出深入研究”的問題個(gè)性十分吸引蔡少偉。
2006年,蔡少偉在本科班主任王家兵的帶領(lǐng)下首次接觸 SAT 問題。當(dāng)時(shí),他正就讀于華南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè),剛上大二。王家兵對(duì) SAT 問題很感興趣,見蔡少偉數(shù)學(xué)底子不錯(cuò),就讓他協(xié)助研究。為了完成這些工作,蔡少偉跑去圖書館查找資料,由此入門。
本科畢業(yè)后,蔡少偉直博北大。在確定研究方向時(shí),蔡少偉先是摸索了一年,最后發(fā)現(xiàn)還是求解算法方向最有趣,就選擇繼續(xù)研究 SAT 求解器。
從接觸 SAT 問題開始,他就知道這是一塊“硬骨頭”。
首先,國內(nèi)研究 SAT 的學(xué)者少,知識(shí)傳承不足。上世紀(jì)90年代,雖然國內(nèi)也有研究 SAT 問題的學(xué)者,比如北航的李未院士,華中科技大學(xué)的黃文奇教授,還有中科院軟件研究所的張健研究員。蔡少偉入門 SAT 所讀的第一本著作,就是張健的《邏輯公式的可滿足性判定——方法、工具及應(yīng)用》。但是,這些研究都沒有形成一個(gè)派系。
其次,研究 SAT求解器需要扎實(shí)的數(shù)學(xué)基礎(chǔ),且對(duì)算法設(shè)計(jì)和工程實(shí)現(xiàn)的能力要求極高,往往需要投入數(shù)年努力才有論文產(chǎn)出,對(duì)研究人員的心智與耐力都是一種考驗(yàn)。蔡少偉自問,雖然自己熱愛數(shù)學(xué)與算法,但并不擅長,也無天賦。
導(dǎo)師蘇開樂擅長的是邏輯系統(tǒng),卻支持他選擇自己喜歡的求解算法研究。他是當(dāng)時(shí)實(shí)驗(yàn)室里唯一做求解器的學(xué)生。在這種先天條件不足、后天支持有限的情況下,蔡少偉獨(dú)自探索,過程的艱難可想而知。
 圖 / 蔡少偉 
他回憶,當(dāng)時(shí)研究 SAT,最大的困難是沒有足夠的機(jī)器。研究求解器要做大量實(shí)驗(yàn),而他只有一個(gè)非常普通的筆記本。由于沒日沒夜地跑實(shí)驗(yàn),這個(gè)筆記本后來還被燒壞了。無奈之下,他只有求助室友,借對(duì)方實(shí)驗(yàn)室的服務(wù)器來跑實(shí)驗(yàn)。“不過,這對(duì)現(xiàn)在的學(xué)生來說已經(jīng)不是難題,因?yàn)楝F(xiàn)在的計(jì)算資源比當(dāng)時(shí)先進(jìn)多了?!辈躺賯フ劦?。
早在上世紀(jì)60年代,SAT問題就有了第一個(gè)求解算法,叫“Davis-Putnam algorithm”(又稱“DP算法”),由 Martin Davis 與 Hilary Putnam 提出。后來,DP算法又迭代為“DPLL(Davis–Putnam–Logemann–Loveland)算法”,之后的系統(tǒng)搜索算法主要是基于 DPLL 算法的框架,是解決約束滿足性最常用的算法(即回溯搜索法)。
到了90年代,沖突分析子句學(xué)習(xí)(CDCL)方法與局部搜索方法出現(xiàn)。其中,CDCL在系統(tǒng)搜索算法中加入了沖突分析等關(guān)鍵技術(shù),而局部搜索算法作為主要的啟發(fā)式算法為人所知。1992年,Bart Selman 提出的局部搜索算法 GSAT 在 N 皇后與圖著色等多個(gè)經(jīng)典問題上取得了比 DPLL 算法更好的效果,引起了人工智能領(lǐng)域啟發(fā)式搜索社群的興趣,期間出現(xiàn)各類局部搜索算法。而 CDCL 方法極大提高了 DPLL 算法的性能,使得 SAT 求解器的應(yīng)用得到推廣。
此外,研究人員開始對(duì)隨機(jī) k-SAT 問題產(chǎn)生興趣,在相變現(xiàn)象研究與相變區(qū)隨機(jī) k-SAT 的算法研究上取得了許多成果,包括 Alfredo Braunstein 等人在2002年提出的基于統(tǒng)計(jì)物理的調(diào)查傳播(Survey Propagation)方法。在中國,北航的許可教授是深入研究相變現(xiàn)象的研究者之一。但 2010 年前后,SAT 求解的進(jìn)展近乎停滯。
在蔡少偉讀博時(shí),許多人都認(rèn)為,SAT 問題經(jīng)過多年的快速發(fā)展,已經(jīng)很難取得進(jìn)一步的突破。比如,當(dāng)時(shí)他想解決的問題是局部搜索算法求解大規(guī)模SAT實(shí)例。但是,在他入場時(shí),局部搜索已經(jīng)不被大多數(shù)人看好,處于被邊緣化的地位。
明知山有虎,偏向虎山行。還是一座付出與回報(bào)不成正比的土頭山。問蔡少偉,當(dāng)時(shí)研究的課題遇上關(guān)卡、停滯幾個(gè)月時(shí),是否想過換方向,揀一個(gè)比較容易的題做。他說,那時(shí)候自己就是“執(zhí)迷不悟”,不愿意跟在別人的屁股后做研究,覺得沒意思。
蔡少偉的口頭禪是,“做研究就是要有自己的 label(標(biāo)簽)?!?/span>

3


與巨人同行

所謂開辟,往往離不開前人鋪就的奠基石。
雖然蔡少偉與導(dǎo)師蘇開樂的研究方向不同,他只能靠自己摸索,但在蘇開樂的帶領(lǐng)下,他有幸結(jié)識(shí)了一群研究 SAT 問題的前輩,比如法國儒爾-凡爾納大學(xué)(University of Picardie Jules Verne)計(jì)算機(jī)系的華人教授李初民。
李初民從 1994 年開始研究 SAT 問題,是最早研究 SAT 問題的華人學(xué)者之一。他是華中工學(xué)院(現(xiàn)華中科技大學(xué))計(jì)算機(jī)軟件專業(yè)的第一屆畢業(yè)生,1983年取得學(xué)士學(xué)位,后赴法國留學(xué),分別于1985年和1990年在貢比涅大學(xué)(University of Technology of Compiegne)計(jì)算機(jī)系取得了碩士與博士學(xué)位。
 圖 / 李初民 
博士畢業(yè)后,李初民留在法國任教。他入門 SAT,是因?yàn)樵谏稀犊捎?jì)算性》這門課時(shí),需要用圖靈機(jī)進(jìn)行計(jì)算,上課過程中,他發(fā)現(xiàn) SAT 求解器就像一把萬能的鑰匙,只要解決 SAT 問題,其他許多問題也可以快速求解,于是開始研究 SAT。
有句話說,“始于外貌,陷于才華,忠于人品?!边@很符合 SAT 研究者的心路歷程。李初民也一樣,他被 SAT 問題吸引的原因與蔡少偉相似,“(SAT)看起來很簡單,非常容易上手,卻有著極強(qiáng)大的表達(dá)能力,可以很方便地用它來表達(dá)其他問題,比如圖染色問題?!?/span>
如李初民介紹,SAT的本質(zhì)是形式邏輯,表面看上去很簡單,但豐富的信息量都隱藏在一條條語句中。既純粹,又神秘。所以,從入門 SAT 后,李初民就一心撲在了 SAT 問題的求解上。
在上世紀(jì)90年代所涌現(xiàn)的一大批算法中,李初民與 Anbulag 在1997年所提出的 SATZ 求解器(發(fā)表在 IJCAI 1997)受到了極大關(guān)注,相關(guān)論文被引用了超過 500 次。直到今天,SATZ 也是求解隨機(jī) SAT 問題最好的求解器之一。
李初民教授在 SAT 求解器的研究上堅(jiān)持了二十多年,在這個(gè)領(lǐng)域并不常見。許多人都曾為 SAT 問題著迷,但最終能堅(jiān)持下來的人卻很少,主要的原因就在于:要在 SAT 問題上取得新的成果很難。
從上世紀(jì) 60 年代至今,SAT 問題的研究已經(jīng)持續(xù)了大半個(gè)世紀(jì),傳統(tǒng)的、簡單的算法都已經(jīng)有許多外國學(xué)者試過。在這種相對(duì)成熟的領(lǐng)域去做研究,就是前人已經(jīng)搭了萬丈高樓,你首先要花很長時(shí)間搭一條足夠長的梯子,了解前人已經(jīng)研究過的知識(shí),然后伸長手臂,站在高高的梯子上,用力往萬丈高樓上丟一顆小小的石子。
“就像今年奧運(yùn)會(huì)的蘇炳添,在百米賽跑中兩次跑進(jìn) 10 秒。雖然沒有拿金牌,但我們都知道他非常了不起,因?yàn)樗窟M(jìn)步百分之一秒,都是難上加難?!崩畛趺裥稳?,“SAT問題的后繼研究者也是一樣?!?/span>

 圖 / 蘇炳添在2021年東京奧運(yùn)會(huì)中跑進(jìn)10秒 
除了開辟的艱辛,李初民認(rèn)為,研究 SAT 求解的難點(diǎn)還在于,具有實(shí)際意義的 SAT 求解技術(shù)通常很簡單,主要通過大量繁重的實(shí)驗(yàn)來支撐,因此寫出來的論文看起來并不高深,投到頂會(huì)的論文很容易被不懂行的審稿專家“槍斃”。
李初民有這方面的親身經(jīng)歷。2017年,他指導(dǎo)學(xué)生實(shí)現(xiàn)了一項(xiàng)子句精簡技術(shù),非常有效,投到 IJCAI 后,有審稿專家就說,很多人都已經(jīng)實(shí)現(xiàn)過這個(gè)技術(shù),因此論文沒有創(chuàng)新?!靶液糜幸粋€(gè)行家指出我們與別人的不同,論文才逃過了被‘槍斃’的命運(yùn)?!焙髞恚瑧{借這項(xiàng)技術(shù),他們獲得了當(dāng)年 SAT 競賽的金牌,這項(xiàng)技術(shù)與他們的實(shí)現(xiàn)方式也成為了SAT求解器的標(biāo)準(zhǔn)配置。
除了自己研究 SAT 求解器,李初民也樂于指導(dǎo)對(duì)SAT求解有興趣的年青人。
蔡少偉也許是李初民指導(dǎo)過的學(xué)生中,堅(jiān)持研究 SAT 最久的學(xué)生。他從2009年正式開始 SAT 以及相關(guān)問題的算法研究,第一個(gè)成果是利用 SAT 求解的約束加權(quán)技術(shù)設(shè)計(jì)另一個(gè)經(jīng)典NP 難問題---最小頂點(diǎn)覆蓋問題的局部搜索算法,該算法 EWLS 在一個(gè)著名挑戰(zhàn)實(shí)例 frb100-40 上打破了當(dāng)時(shí)的世界紀(jì)錄。之后,他繼續(xù)深入局部搜索算法研究,嘗試解決其重要缺陷,即循環(huán)問題。
系統(tǒng)搜索與隨機(jī)(局部)搜索是SAT問題中的兩大方向。拿走地圖舉例,系統(tǒng)搜索是:走走剪剪,走到地圖的哪一塊,就將哪一塊剪掉,所以這張地圖會(huì)越走越小,最后走空了,就知道所有地方都走過了;而隨機(jī)搜索是:你在地圖上跑來跑去,但是你不記得你跑過哪些地方,沒有“剪枝能力”,無法剪掉,造成循環(huán)訪問的現(xiàn)象。
如果說 SAT 問題是計(jì)算機(jī)科學(xué)世界的大門,那么相變現(xiàn)象則是大門的鎖芯,因此相變區(qū)實(shí)例也成為 SAT 求解的熱門測試集。而隨機(jī)搜索是求解相變區(qū)實(shí)例的最有希望的方法,但對(duì)于大規(guī)模相變實(shí)例仍然有較大障礙。導(dǎo)致相變區(qū)難解的本質(zhì)原因,就是隨機(jī)搜索的循環(huán)現(xiàn)象。
針對(duì)這個(gè)問題,當(dāng)時(shí)已有的解決方法主要是馮·諾依曼獎(jiǎng)獲得者 Fred Glover 在1998年提出的禁忌搜索策略(tabu search)與荷蘭萊頓大學(xué)教授 Holger Hoos 在2002年提出的隨機(jī)擾動(dòng)方法。但是,它們沒有利用問題結(jié)構(gòu),無法針對(duì)問題結(jié)構(gòu)做出調(diào)整,且?guī)в袇?shù),在使用的時(shí)候常常需要大量的調(diào)參工作。
所以,蔡少偉思考如何克服隨機(jī)搜索中的循環(huán)缺陷,希望設(shè)計(jì)出一種兩全其美的方法,既能保留隨機(jī)搜索的優(yōu)勢,又能克服其循環(huán)搜索的缺陷。但這并不簡單,蔡少偉苦苦思索,停滯數(shù)月,毫無進(jìn)展。心情自然十分郁悶。
那段時(shí)間,他讀了許多無關(guān)本領(lǐng)域的書,尤其是博弈論與社會(huì)學(xué)。其中,許多篇章談到個(gè)體與群體的關(guān)系。帶著“如何克服循環(huán)缺陷”的問題,蔡少偉雖然是閱讀課外書籍,卻時(shí)時(shí)忍不住將這個(gè)問題與書中的章節(jié)內(nèi)容聯(lián)系起來,讀著讀著,突然冒出一個(gè)想法:可以利用環(huán)境信息減輕循環(huán)!
雖然直覺告訴蔡少偉這個(gè)思路可行,但直到不久后,他在一次交流會(huì)上聽到李初民對(duì) SAT 算法研究的演講,才突然受到啟發(fā),一剎那看到了自己苦思冥想的方法!
“世界突然安靜了,只有筆尖和紙張摩擦的聲音,我飛快地寫著,很怕是個(gè)幻覺,會(huì)馬上消失?!痹趥€(gè)人博客中,蔡少偉記錄了這一美妙的精神過程。也是在這一瞬間,他創(chuàng)造了博士期間的得意之作:格局檢測策略(CC)。
格局檢測的核心是:如果變量的環(huán)境信息沒有改變,則不允許改變?nèi)≈?,而環(huán)境信息可以是由該變量的鄰居變量的取值構(gòu)成,也可以由該變量的關(guān)聯(lián)子句的狀態(tài)構(gòu)成。通過避免局部結(jié)構(gòu)循環(huán),減輕搜索的循環(huán)現(xiàn)象。利用問題的結(jié)構(gòu)信息,不僅可以避免循環(huán)現(xiàn)象,還能通過設(shè)置多層評(píng)分函數(shù)克服“短視”。
 圖 / 格局檢測策略示意圖 
運(yùn)用這個(gè)方法,他大幅度改進(jìn)了原來的算法,產(chǎn)生了第二篇論文,2011年發(fā)表在頂刊《人工智能期刊》(AIJ)上。
蔡少偉意識(shí)到這個(gè)新方法的通用性。他花了一段時(shí)間靜心思考,把它抽象成一個(gè)通用方法,應(yīng)用到 SAT 問題上。起初并不見效,但他“已陷入 SAT 問題不可自拔”,決心作出名堂。通過半年的努力,他終于超過了當(dāng)時(shí) SAT 比賽的冠軍算法。
但好景不長,2011 年 SAT 比賽的新冠軍又讓他的算法黯然失色。期間幾多波折,也經(jīng)歷了數(shù)個(gè)低谷,直到 2012 年 SAT 比賽,蔡少偉又扳回一城,獲得冠軍!對(duì)于這場奪冠,蔡少偉印象深刻:
2011年年底,他開始著手準(zhǔn)備,雖然算法在當(dāng)時(shí)已達(dá)到國際前沿,但并沒有太大的把握。過完寒假回校,他一邊忙畢業(yè)的事,一邊備戰(zhàn) SAT 比賽。有兩位師弟幫忙,研究進(jìn)度加快不少,“開始只是小優(yōu)化,如隔靴搔癢,一直到比賽截止兩個(gè)禮拜前才有了質(zhì)的飛躍?!?/span>
果然,比賽結(jié)果公布,三條主賽道,蔡少偉組的算法(CCSat)贏得了隨機(jī)組(測試集為相變區(qū)實(shí)例)的第一名,并且遙遙領(lǐng)先于第二名,求解效率比是 423(70.5%)vs 321(53.5%)。
 圖 / 蔡少偉組的 CCSat 打敗了 Kevin Leyton-Brown 等人提出的 SATzilla 求解器 
這也是中國第一次在國際SAT協(xié)會(huì)舉辦的 SAT 比賽系列中取得冠軍,蔡少偉的心情無比激動(dòng)。在做算法設(shè)計(jì)時(shí),他堅(jiān)持算法大師 Dijkstra 的信條,“優(yōu)雅就是簡單而高效”。他的格局檢測策略是一個(gè)全新的方法,經(jīng)過凝練,簡單而高效。一路堅(jiān)持下來,沒想到竟成就了自己的風(fēng)格。
蔡少偉的算法以明顯優(yōu)勢奪冠,在當(dāng)時(shí)的學(xué)術(shù)界也引起了較大反響。
Holger Hoos 稱 CCASat是代表性最前沿求解器,比賽舉辦方更是以CCASat的成功說明研究核心算法的重要性。2012年前后,隨機(jī)搜索有逐漸被邊緣化的跡象。蔡少偉提出格局檢測策略后,加上當(dāng)時(shí)隨機(jī)搜索方向的其他學(xué)者的工作(如probSAT),隨機(jī)搜索再一次吸引了國內(nèi)外學(xué)者的注意,讓大家覺得:哦,原來隨機(jī)搜索還有很大的研究潛力。接下來幾年,隨機(jī)搜索吸引了更多人加入其中。現(xiàn)在,隨機(jī)搜索已經(jīng)成為和CDCL的系統(tǒng)搜索并駕齊驅(qū)的兩大主流算法之一。
2012年從北大博士畢業(yè)后,蔡少偉繼續(xù)在SAT求解器上鉆研。他用兩年時(shí)間從澳大利亞格里菲斯大學(xué)獲得應(yīng)用數(shù)學(xué)博士學(xué)位,2014年回國加盟中科院軟件研究所,開始挑戰(zhàn)康奈爾大學(xué)計(jì)算機(jī)系教授 Bart Sellman 等人在1997年所提出的命題邏輯推理與搜索十大挑戰(zhàn)之一:結(jié)合系統(tǒng)搜索與隨機(jī)搜索設(shè)計(jì)出比這兩種方法更高效的算法。

4


與巨人同行(2)

在蔡少偉深入 SAT 求解研究的同時(shí),時(shí)任上海財(cái)經(jīng)大學(xué)交叉科學(xué)研究院院長的葛冬冬開始琢磨線性規(guī)劃求解器的開發(fā)。
如前所述,SAT 問題有許多變?cè)?,需要判定其?或1(真或假命題)。SAT問題也可以表現(xiàn)為一個(gè)線性方程組,但變?cè)荒苋?或1,又被稱為“0/1規(guī)劃問題”。
只是,在現(xiàn)實(shí)生活中,問題建??赡懿皇蔷€性方程,而是二次方程、三次方程、對(duì)數(shù)、指數(shù)、根號(hào)等等,x與y的取值也不僅僅是0或1,可以是任意數(shù),包括整數(shù)、正數(shù)、實(shí)數(shù)……
 圖 / SAT與混合整數(shù)規(guī)劃(MIP)、約束整數(shù)規(guī)劃(CIP)及約束規(guī)劃(CP)的關(guān)系 
葛冬冬是運(yùn)籌學(xué)出身。運(yùn)籌學(xué)研究問題主要分兩步,第一步是建模,第二步是求解:將現(xiàn)實(shí)中的問題通過算法建成標(biāo)準(zhǔn)的數(shù)學(xué)模型(如線性不等式)后,再對(duì)數(shù)學(xué)模型進(jìn)行求解,從而解決現(xiàn)實(shí)問題。如果變量少,只有x與y,那么我們可以進(jìn)行手算;但當(dāng)數(shù)學(xué)模型涉及到幾百萬變量,則必須借助軟件(如matlab)來自動(dòng)計(jì)算。
本質(zhì)上,求解器就是一個(gè)專業(yè)的數(shù)學(xué)/計(jì)算軟件,用于實(shí)現(xiàn)復(fù)雜的數(shù)學(xué)算法。當(dāng)軟件對(duì)線性方程組求解時(shí),該軟件可以稱為“線性方程組的求解器”。計(jì)算機(jī)歷史上最早的求解器,就是線性規(guī)劃求解器。
葛冬冬對(duì)求解器有所耳聞,要追溯到他在斯坦福讀博的師門關(guān)系:
1947年,“線性規(guī)劃之父”、斯坦福大學(xué)教授 George Dantzig (葛冬冬的師爺)提出了第一個(gè)用于優(yōu)化線性系統(tǒng)的算法,叫“單純形法”(Simplex Method),第一次使大規(guī)模優(yōu)化問題得到求解。單純形法一直雄踞二十世紀(jì)最偉大的算法前五之列。30年后,隨著計(jì)算機(jī)技術(shù)的發(fā)展,人們又開始嘗試用計(jì)算機(jī)開發(fā)求解軟件。1979年,第一個(gè)求解器軟件在美國誕生,名為 LINGO

 圖 / George Dantzig,電影《心靈捕手》男主人公的原型 
1980年代,美國又有多位學(xué)者提出了內(nèi)點(diǎn)法(Interior-Point algorithm)。此前,線性系統(tǒng)優(yōu)化一直是單純形法的天下,直到內(nèi)點(diǎn)法出現(xiàn)。內(nèi)點(diǎn)法在某些問題上比單純形法的求解速度更快,可以處理許多非線性規(guī)劃問題,從而成為新的潮流,并也被用于商用求解器的開發(fā)。George Dantzig 的得意門生葉蔭宇(葛冬冬的導(dǎo)師)也是公認(rèn)的內(nèi)點(diǎn)法奠基者之一,因此獲得了運(yùn)籌學(xué)的最高獎(jiǎng)——馮·諾依曼理論獎(jiǎng)。
 圖 / 葉蔭宇 
歷史上線性規(guī)劃求解的兩大流派,都是由葛冬冬的師長創(chuàng)立。因此,讀博期間,他也跟著學(xué)習(xí)、琢磨了很多線性規(guī)劃求解實(shí)例。
與SAT求解器一樣,以往研究線性規(guī)劃、整數(shù)規(guī)劃或混合規(guī)劃的人員有許多,但真正狠得下心開發(fā)求解器的人極少。葛冬冬剛回國時(shí),發(fā)現(xiàn)國內(nèi)沒有人做求解器,覺得很奇怪,便去打聽,發(fā)現(xiàn)原因很簡單:高校不做求解器,是因?yàn)樵趯W(xué)術(shù)上的性價(jià)比低,工具研發(fā)不能算科研;而企業(yè)不做求解器,根本上是覺得這是一個(gè)浩大而困難的工程,技術(shù)實(shí)力根本不可能做得到。
毫無疑問,求解器的開發(fā)是一個(gè)大規(guī)模系統(tǒng)工程,動(dòng)輒上百萬行代碼。此外,求解器軟件對(duì)開發(fā)人員的數(shù)學(xué)能力要求特別高,而中國的情況是:同時(shí)精通數(shù)學(xué)與大規(guī)模軟件開發(fā)能力的人幾乎不存在。這一點(diǎn)與美國形成鮮明的對(duì)比,美國學(xué)生通常是一邊思考數(shù)學(xué)問題,一邊思考如何用代碼復(fù)現(xiàn)問題。
對(duì)于中國教育缺少對(duì)學(xué)生抽象思維的培養(yǎng),葛冬冬與李初民的想法不謀而合。李初民認(rèn)為,“邏輯就是力量”,即能夠深刻理解各種事物之間的邏輯關(guān)系,想得到一個(gè)果,要先去追求因,而這個(gè)因可能又是另一些事物的果。中國文化博大精深,而美中不足之處,是缺乏對(duì)形式邏輯培養(yǎng)的重視。所謂形式邏輯,即“符號(hào)邏輯”:把含義去掉,用無意義的符號(hào)來代表事物,比如“變?cè)保▁)。
“不重視形式邏輯,也許是科學(xué)在中國發(fā)展緩慢的原因之一,因?yàn)榭茖W(xué)需要大量的邏輯推理?!崩畛趺裾劦馈?/span>
此外,研究求解器不容易發(fā)論文。研究求解器的老員工常說一句話:“求解器的秘密就在于它沒有秘密?!本褪钦f,求解器中的數(shù)學(xué)問題與實(shí)現(xiàn)算法都能在數(shù)學(xué)論文中找到,但不同求解器寫出來的代碼質(zhì)量良莠不齊。一方面,這要考驗(yàn)人的系統(tǒng)開發(fā)與數(shù)學(xué)結(jié)合能力;另一方面,需要花費(fèi)許多時(shí)間與精力去做大量的嘗試,俗稱“踩坑”。
例如,就整數(shù)規(guī)劃中的啟發(fā)式算法模塊而言,德國的 Zuse Institute Berlin(ZIB)研究所花了近20年時(shí)間開發(fā)一個(gè)求解器 SCIP,里面用了57種啟發(fā)式算法做模塊的加速。如果單看啟發(fā)式算法相關(guān)的論文,全世界大概有上萬篇這樣的論文,這些論文里大概提出了上千種能夠加速的啟發(fā)式算法。如果要將這些啟發(fā)式算法全部寫到軟件中,一個(gè)個(gè)地測試其實(shí)用性,可想而知工作量會(huì)有多龐大。
 圖 / 位于德國柏林的ZIB研究所 
從2013年加入上海財(cái)經(jīng)大學(xué)后,葛冬冬便開始有意識(shí)地招收一些擅長做優(yōu)化算法的年青人。那時(shí),他有些猶豫:“求解器這事究竟能不能做?”心里沒底,跑去咨詢導(dǎo)師,葉老師很支持,說:“中國總得要自己的求解器,不要老覺得做不成,總得有人挑頭?!?/span>
于是,2015年,葛冬冬聯(lián)合海內(nèi)外的同門師兄弟羅小渠、王子卓與王曦,創(chuàng)立了杉數(shù)科技,開始倒騰求解器。杉數(shù)剛成立,葉蔭宇弟子、斯坦福博士等稱號(hào),就為他們拿到了大約200萬美元的天使輪投資。
最初,他們是從上海財(cái)大的交叉科學(xué)院調(diào)配人手,加上杉數(shù)科技的創(chuàng)始團(tuán)隊(duì),從零開始探索做一個(gè)開源求解器。葛冬冬與創(chuàng)始團(tuán)隊(duì)自學(xué)、找專家、找導(dǎo)師,花了很多力氣琢磨求解器開發(fā),比如單純形法與內(nèi)點(diǎn)法如何在軟件開發(fā)上走通全流程,弄清楚求解器開發(fā)的核心部件,矩陣數(shù)據(jù)簡化等等。
期間,葉蔭宇給了許多指導(dǎo),甚至親自下場幫他們寫開源代碼。
經(jīng)過兩年的摸索,他們?cè)?017年發(fā)布了中國第一個(gè)開源優(yōu)化求解器 LEAVES,但性能并不突出。這使他們意識(shí)到,開發(fā)求解器是一個(gè)很大的系統(tǒng)工程,光靠學(xué)校的力量、投入小的成本是做不成的。所以,杉數(shù)開始在國際上秘密尋求有經(jīng)驗(yàn)的人,組建團(tuán)隊(duì)。
“說白了,真正懂求解器開發(fā)的就是三大廠(XPRESS、GUROBI與CPLEX)的開發(fā)人員,每家的核心開發(fā)都不到10人,所以全世界真正精通求解器的不過20多人?!备鸲榻B,“加上德國柏林ZIB研究所的人,葉老師一位開發(fā)第三方商業(yè)求解器 MOSEK 的丹麥博士生和他的團(tuán)隊(duì)。以及很少的一些成熟開源求解器的高手,也就是說,全世界的核心求解器開發(fā)人才,就這30多個(gè)人?!?/span>

 圖 / 葛冬冬在杉數(shù)科技擔(dān)任首席科學(xué)官 
幸運(yùn)的是,他們最終在XPRESS找到了一個(gè)志同道合的中國人,本科就讀于北航計(jì)算機(jī)系,畢業(yè)后去英國讀博,博士期間的內(nèi)容就是研發(fā)求解器。之后,他們又陸陸續(xù)續(xù)從CPLEX、XPRESS與LINGO等處挖到了多個(gè)程序員。
后來,又有一些人奔著杉數(shù)創(chuàng)始團(tuán)隊(duì)都是葉蔭宇學(xué)生的份上而來。葉蔭宇提出的“內(nèi)點(diǎn)法”的具體實(shí)現(xiàn)方法是各大商業(yè)求解器的底層架構(gòu),圈內(nèi)有名,所以,在他的感召下,杉數(shù)找到了許多優(yōu)秀的人才。國內(nèi)的高校也開始了這方面的有意識(shí)嘗試。2018年,中科院戴彧虹研究院團(tuán)隊(duì)推出了國內(nèi)第一款整數(shù)規(guī)劃求解器CMIP。
又過了兩年,2019年5月,杉數(shù)推出中國首個(gè)商用線性規(guī)劃求解器COPT。COPT的出現(xiàn),給國內(nèi)大廠傳遞了一個(gè)重要信息:開發(fā)求解器的難度確實(shí)極高,但也不是全無可能。
隨著企業(yè)的數(shù)字化轉(zhuǎn)型,需要進(jìn)行更多量化的、精細(xì)的智能決策,借助一些數(shù)學(xué)模型來建模,求解器的用途也越來越大。因此,國內(nèi)有能力的大企業(yè)(比如華為和阿里巴巴)也開始自己琢磨做求解器。

5


求解器在中國

與歐美數(shù)十年前就將求解器用于航空、鐵路交通規(guī)劃不同,工業(yè)求解器在中國的落地歷史很短,最早可以追溯到2000年代初期,寶鋼采用 ILOG CPLEX 優(yōu)化生產(chǎn)規(guī)劃系統(tǒng)。
在COPT出現(xiàn)之前,商業(yè)求解器三大廠 CPLEX、GUROBI 與 XPRESS 憑借豐富的商業(yè)開發(fā)經(jīng)驗(yàn),以及較好的性能,在國際市場上占了超過90%的份額。
三大求解器中,歷史最坎坷的是1988年由美國數(shù)學(xué)家 Robert E. Bixby 所開發(fā)的 CPLEX。1997年,CPLEX 由法國企業(yè) ILOG 收購,2009年,ILOG 又被 IBM 收購,從此 CPLEX 變成了 IBM 的求解器。當(dāng)時(shí),CPLEX功能較完善,擅長各類求解,在市場上占了統(tǒng)治地位。
 圖 / Robert E. Bixby 
但沒過多久,由于 IBM 的自身管理問題,以及對(duì)求解器業(yè)務(wù)不夠重視,IBM求解器團(tuán)隊(duì)的幾個(gè)最核心開發(fā)人員從 CPLEX 離職,出來創(chuàng)立了新的公司,叫 GUROBI。GUROBI 的唯一業(yè)務(wù)就是開發(fā)求解器,他們十分注重這一塊,很快超過了CPLEX。隨著 IBM 的越發(fā)衰落,CPLEX也隨之慢慢衰落,美國商用求解器成了 GUROBI 的天下。
與此同時(shí),英國愛丁堡的Dash Optimization團(tuán)隊(duì)在1983年開發(fā)了 XPRESS,1986 年開始應(yīng)用于混合整數(shù)規(guī)劃求解。該團(tuán)隊(duì)的開發(fā)人員大約有10人,一直相對(duì)穩(wěn)定。2008年,XPRESS 由美國金融信用商 FICO 收購,將求解器用于制定金融場景的大規(guī)模優(yōu)化方案。收購后,F(xiàn)ICO 不做過多干涉,XPRESS 的開發(fā)團(tuán)隊(duì)繼續(xù)留在英國,保持了自身的競爭力,在市場上占有一定份額。
這三家均是開始商用求解器,以核數(shù)定價(jià),核數(shù)越高,價(jià)格越高。在中國還沒有商用求解器之前,進(jìn)口求解器的價(jià)格基本是賣方市場。杉數(shù)的 COPT 發(fā)布后,無論核數(shù)多少,均以打包價(jià)出售,倒逼國外品牌將價(jià)格下降來競爭中國的市場。
近兩年,華為與阿里也開始布局求解器開發(fā)。華為開發(fā)求解器,主要用于EDA設(shè)計(jì)、供應(yīng)鏈規(guī)劃等,而阿里做求解器,則主要用于阿里云的資源調(diào)度優(yōu)化。
阿里也是從線性規(guī)劃入手,先做單純形法,再做內(nèi)點(diǎn)法。2020年,阿里達(dá)摩院決策智能實(shí)驗(yàn)室發(fā)布數(shù)學(xué)規(guī)劃求解器 MindOpt。根據(jù)阿里的官方說法,在發(fā)布 MindOpt 時(shí),他們已在內(nèi)部使用了一段時(shí)間,幫阿里云節(jié)省了數(shù)億元成本?,F(xiàn)在,求解器在阿里云上每天被調(diào)用的次數(shù)以十億計(jì)。
過去兩年,杉數(shù)、阿里與GUROBI在線性規(guī)劃權(quán)威榜單 Mittlemann 測試上競爭激烈。在單純形法測試上,阿里與杉數(shù)輪流當(dāng)?shù)谝唬?0%的時(shí)間是杉數(shù)領(lǐng)先;而在內(nèi)點(diǎn)法上,杉數(shù)一直穩(wěn)居榜首。在線性規(guī)劃單純形法上,GUROBI 已經(jīng)被擠到第三很久了。
但是在整數(shù)規(guī)劃這一最重要的求解器開發(fā)上,國內(nèi)與美國還有著很大的差距。目前求解器軟件,國內(nèi)只有COPT具備了求解大規(guī)模整數(shù)規(guī)劃問題的能力?!澳壳拔覀兊?00家用戶,79%的問題來自整數(shù)規(guī)劃。雖然在榜上排名世界第二,但是實(shí)際上我們與三大廠都還有著不小差距。整數(shù)規(guī)劃能力的提升,難度是線性的幾十倍,是一個(gè)漫長的旅程。我們還需要持續(xù)艱苦的努力?!备鸲偨Y(jié)。
就制造業(yè)而言,求解器是最核心的軟件。比方說,國家電網(wǎng)的調(diào)度優(yōu)化、無功優(yōu)化、電力市場清算等等環(huán)節(jié),背后有上千個(gè)求解器在不停地計(jì)算。杉數(shù)的線性規(guī)劃求解器 COPT 自誕生以來,已應(yīng)用于能源、航空、制造、物流、零售等多個(gè)行業(yè),合作的企業(yè)包括國網(wǎng)/南網(wǎng)、南航、華為、小米等大廠。
杉數(shù)與這些大廠的其中一項(xiàng)合作是排產(chǎn)排程。對(duì)于 ICT(信息通信技術(shù))這類大廠,設(shè)想一下,工廠數(shù)量多,數(shù)百個(gè)工廠有上千個(gè)生產(chǎn)車間,用到的零部件大約有10萬多種。如果同時(shí)收到幾百個(gè)訂單,規(guī)定在未來的20周內(nèi)完成,這時(shí)就需要全局優(yōu)化思想,避免造成資源浪費(fèi)。
我們可以將這個(gè)問題建模成一個(gè)整數(shù)規(guī)劃問題,即使考慮其簡化形式線性規(guī)劃,變量與約束也都是上億級(jí)別,但求解器可以快速求解。談到求解器的變遷,葛冬冬感嘆,求解器的發(fā)展也很快,2009年那會(huì),求解器算一個(gè)百萬級(jí)別的線性規(guī)劃很吃力,但如今,上億級(jí)別的線性規(guī)劃只需一個(gè)小時(shí)的計(jì)算量。
“一開始大家覺得(上億級(jí)變量問題)只能用 GUROBI 算,我們也沒什么信心。最后發(fā)現(xiàn),我們不但能算出來,而且計(jì)算速度比 GUROBI 快了大概 30% 以上?!?/span>
不同領(lǐng)域的求解器在底層思想上有相通的地方。比如,現(xiàn)在華為就開始將SAT求解器中通行的沖突分析思想應(yīng)用在整數(shù)規(guī)劃求解器中。
相對(duì)來說,線性規(guī)劃求解器在國內(nèi)外的發(fā)展更成熟,而 SAT 求解器在國內(nèi)做的人寥寥無幾,近些年來,只有蔡少偉團(tuán)隊(duì)在做自己道路的 SAT 求解器。他們?cè)c華為合作,將 SAT 求解器用于華為芯片中的電路等價(jià)驗(yàn)證,將miter電路轉(zhuǎn)為SAT問題,求解規(guī)模高達(dá)5000萬變量、1億5千萬子句,但只用了1小時(shí)。
 圖 / 用 SAT 求解器做電路等價(jià)驗(yàn)證 
工業(yè) SAT 求解的挑戰(zhàn)主要是變量依賴與超大規(guī)模,前者需要系統(tǒng)搜索,后者需要隨機(jī)搜索。換言之,用于工業(yè)的SAT求解器,需要將系統(tǒng)搜索與隨機(jī)搜索相結(jié)合。這也是 Bart Sellman 命題邏輯推理與搜索十大挑戰(zhàn)中的第七個(gè)挑戰(zhàn)。
蔡少偉從2014年開始研究混合搜索求解器。此前,這方面的求解器有 ANC、WalkSatz 等等,但它們都是側(cè)重系統(tǒng)搜索與局部搜索在求解能力上的互補(bǔ),黑盒調(diào)用,在工業(yè)實(shí)例上的表現(xiàn)無法超越單一的系統(tǒng)搜索方法。
他深入探索了系統(tǒng)搜索和隨機(jī)搜索的算法行為以及在合作中的作用,經(jīng)過近幾年的研究,放棄了走求解能力互補(bǔ)的道路,提出了以隨機(jī)局部搜索采樣,以系統(tǒng)搜索求解,進(jìn)行基于信息交互的深度合作。
實(shí)驗(yàn)結(jié)果顯示,與 2011 年到 2019 年 SAT 比賽的工業(yè)組冠軍與主賽道冠軍算法相比,蔡少偉所設(shè)計(jì)的混合搜索求解器比單搜索求解器平均比每個(gè)benchmark多解約30個(gè)算例,且能求出許多系統(tǒng)搜索與局部搜索均求不出來的實(shí)例(平均占求解實(shí)例的12%)。
 圖 / 混合搜索求解器 RelaxedNewTech 框架示意圖 
這也是距 Bart Selman 在1997年提出十大挑戰(zhàn)以來,首次有人解決了第七大挑戰(zhàn)。蔡少偉團(tuán)隊(duì)提出的松弛子句沖突學(xué)習(xí)方法也在2020年SAT比賽中獲得主賽道的冠軍;相關(guān)論文(“Deep Cooperation of CDCL and Local Search for SAT”)獲得 SAT 2021 最佳論文獎(jiǎng),這也是SAT會(huì)議自1997年設(shè)立以來,第一篇來自中國的工作獲得該獎(jiǎng)。
在解決 EDA 等中國“卡脖子”問題中,SAT 求解的地位無異于人的命門。同時(shí),一個(gè)不容忽略的現(xiàn)實(shí)是:無論是 SAT 求解器,還是數(shù)學(xué)規(guī)劃求解器(包括線性規(guī)劃),中國人才始終占極少數(shù)。
不過,李初民很樂觀。他認(rèn)為,中國研究SAT求解器的人一定會(huì)越來越多。
今年,他和德國形式化專家Armin Biere,西班牙人工智能專家Felip Manya等人發(fā)起、他的早年學(xué)生黃沖和華中科技大學(xué)呂志鵬參與組織 EDA 國際算法競賽 EDA Challenge (www.eda-ai.org),收到的求解器約有一半來自中國。

6


適千里者,三月聚糧

路漫漫其修遠(yuǎn)兮。
如今,除了SAT求解,蔡少偉也開始研究SMT(可滿足性模理論問題),SMT公式可以看作是SAT與數(shù)學(xué)規(guī)劃等背景理論的結(jié)合,SMT求解是更具挑戰(zhàn)的方向,國內(nèi)更是無人問津;同樣地,葛冬冬與杉數(shù)的研究重心也從線性規(guī)劃求解轉(zhuǎn)到了整數(shù)規(guī)劃和非線性規(guī)劃求解。無論是從SAT到SMT,還是從線性規(guī)劃到整數(shù)規(guī)劃,蔡少偉與葛冬冬所傳達(dá)的訊號(hào)是一致的:用求解器加速中國的工業(yè)發(fā)展。
從廣義上看,求解器的意義不僅僅在于工業(yè)的發(fā)展。葉蔭宇一直認(rèn)為,國內(nèi)應(yīng)該形成一個(gè)將數(shù)學(xué)與代碼相結(jié)合的研究生態(tài),而開發(fā)求解器是一個(gè)很好的結(jié)合點(diǎn)。通過研究求解器,我們可以培養(yǎng)一大批既精通數(shù)學(xué)、又擅長編程的人才。
葛冬冬談道:“導(dǎo)師的想法是要鼓勵(lì)大家去研究求解器。所以后來,其他大廠或者高校做求解器,有時(shí)候遇到棘手的問題,跑來問我們。只要不涉及到核心機(jī)密,我們一般都會(huì)給他們義務(wù)解答。”
而李初民則提到,SAT求解講究從沖突中學(xué)習(xí)變?cè)g的精確邏輯關(guān)系,機(jī)器學(xué)習(xí)是從大數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的統(tǒng)計(jì)性質(zhì),兩者可以相互促進(jìn)、相互補(bǔ)充,從而人工智能更好地發(fā)展。機(jī)器學(xué)習(xí)中的一些問題(比如決策樹),也可以表述為SAT問題。
從這些優(yōu)秀學(xué)者的經(jīng)歷來看,我們不難發(fā)現(xiàn),求解器是一項(xiàng)大工程:李初民從1994年開始研究,專注三年才開發(fā)出 Satz 求解器;蔡少偉從2014年挑戰(zhàn)系統(tǒng)搜索與局部搜索相結(jié)合,直到2020年才算“拿下”這個(gè)問題;葛冬冬等人從2015年開始研究,只做求解器,用了4年才開發(fā)了他們的王牌solver — COPT。
蔡少偉感嘆,求解器適合馬拉松型選手,“很巧的是,我以前讀書時(shí)參加百米短跑,總是壓著及格線過關(guān)。但如果是跑5000米,我往往就能跑得比較好?!?/span>
相比機(jī)器學(xué)習(xí),求解器的熱度相形見絀。生于深度學(xué)習(xí)時(shí)代,無論是蔡少偉,還是葛冬冬,他們都沒有被外界的浪潮卷動(dòng),始終堅(jiān)持自己最初的追求,以內(nèi)因戰(zhàn)外因,做沒有深度學(xué)習(xí)的 AI 研究。
十年過去,他們成為了中國少數(shù)研究求解器的青年砥柱。如果沒有他們的堅(jiān)持,我國求解器的研究也許仍是空白狀態(tài)。熱潮自有大眾追捧,但對(duì)人才本就稀缺的領(lǐng)域來說,一個(gè)人的堅(jiān)持,很可能就決定了全局的命運(yùn)。
致敬!
本文由雷鋒網(wǎng)原創(chuàng),作者:陳彩嫻。李揚(yáng)霞對(duì)本文亦有貢獻(xiàn)。申請(qǐng)授權(quán)請(qǐng)回復(fù)“轉(zhuǎn)載”,未經(jīng)授權(quán)不得轉(zhuǎn)載。


END

推薦閱讀

谷歌健康「分拆」內(nèi)幕:憋屈的CEO、傲慢的Jeff Dean、狂熱的AI信徒


教培已死,硬件方生


AI 商業(yè)模式的脫靶、崩塌、救贖




瀏覽 120
點(diǎn)贊
評(píng)論
收藏
分享

手機(jī)掃一掃分享

分享
舉報(bào)
評(píng)論
圖片
表情
推薦
點(diǎn)贊
評(píng)論
收藏
分享

手機(jī)掃一掃分享

分享
舉報(bào)

感谢您访问我们的网站,您可能还对以下资源感兴趣:

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频 人妻人人干| 不卡无线在一区| 亚洲字幕AV| 蝌蚪窝在线免费观看视频| 99久久综合| 亚洲成人视频免费观看| 国产精品免费一区二区三区都可以| 国产精品久久久久久久9999 | 激情综合在线| 国产又粗又大又爽| 成人在线伊人| 九七影院第二页| 久久高清无码视频| 丁香花小说完整视频免费观看| 亚洲中文久久| 爆操欧美| 亚洲二页| 热久久视频| 骚妇p| 黃色一级一片免费播放| 91在线精品一区二区| 亚洲第一毛片| A片黄色电影网站| 成人无码精品亚洲| 欧美级黑寡妇毛片app| 91精品国产一区二区三区四区大| 最新福利视频| 日本Sm/调教/捆绑/紧缚| 国产特级毛片| 躁BBB躁BBB添BBBBBB| 精品国产三级片| 中文字幕高清无码在线| 国产精品久久久久久婷婷天堂 | 韩国午夜福利视频| 欧美成人视频| 最新一区二区| 热久久久| 激情动态视频| www.av91| 九九激情| 想要xx| 国产香蕉91| 18禁看网站| 婷婷色色五月| 国产一级特黄| www.日韩系列| 综合站欧美精品| 青青草无码成人AV片| 亚洲无码免费观看视频| 伊人久艹| 国产三级电影在线观看| 黄色片视频在线观看| 91在线综合| 日韩欧美成人在线观看| 国产乱子伦无码视频免费| 亚洲高清福利视频| 国产3p绿帽骚妻视频| 国产成人精品毛片| 五月天AV网站| 久久久无码人妻精品无码| 亚洲香蕉av| 日韩码线观看视频| 亚洲日韩中文字幕| 天天干天天干天天| 国产精品97| 天天操天| 无码免费观看视频| 国产人妖视频| 人妻无码免费视频| 高清国产AV| 嫩草亚洲小泬久久夂| 一本色道久久综合亚洲二区三区 | 国产看色免费| 911国产视频| 精品人妻一区二区三区日产乱码| 先锋影音亚洲AV每日资源网站| 日韩无码视频二区| 性爱午夜视频| 黄色视频在线免费观看高清视频| 东京热在线观看| 国产又爽又黄A片免费观看| 欧美一级在线| 国产精品操逼| 久久久一区二区三区四区免费听| 精品在线播放| 大鸡吧在线| 高清一区二区三区| 在线观看日韩| 日本人妻A片成人免费看片| 麻豆91麻豆国产传媒| 17.3c一起起草| 性爱视频网址| 偷拍三区| 毛片网页| 人人操人人色| 亚洲黄色片| 国产一级黄片| 亚洲精品乱码久久久久久按摩观| 色色欧美色色| 黄色大片中国一级片-免费看特一级片-亚洲黄色AV | 香蕉av在线观看| 亚洲无码高清在线观看视频| 中国乱伦视频| 青青草视频免费看| 色老师综合| 国产女人18毛片水18精品软件| 东京热观看| a亚洲a| 欧美va亚洲va| 亚洲.www| 欧美操逼大片| 国产l精品久久久久久久久久 | 久久久久久久亚洲| 亚洲无码精品在线| 国产传媒自拍| 日韩一区二区视频| 在线观看高清无码| 久久人妻免费视频| 91丨人妻丨国产| 99精品一区二区| 国产白嫩精品久久久久久| 高清无码一级片| 69欧美视频| 国产人妻精品一二三区| 色色色亚洲| 精品成人A片久久久久久不卡三区| 一卡二卡无码| 欧美成人精品一区二区三区| 伊人成人在线观看| 日本天堂Tv视频在线观看| 在线免费看AV片| 国产另类自拍| 亚洲天堂女人| 日韩逼逼| 嫩草久久| 丰满熟妇人妻中文字幕| 国产成人av在线| 成人欧美在线| 亚洲成人一区| 亚洲AV无码乱码AV| 四库影库| 天天草天天草| 国产com| 天天综合7799| 欧美日韩中文字幕在线| 无码精品视频| 国产又粗又长又硬黄色一级片 | 五月丁香六月色| 亚久久久| 狠狠干2021| 天天爽视频| 中文字幕婷婷| 青青草成人免费在线视频| 五月天深爱激情网| 91国产精品在线| 午夜AV福利| 亚洲中文婷婷| 亚洲卡一卡二| 国产熟女乱伦| 俺去了俺来也| 日本无码成人片在线播放| 九九黄色| 18禁激韩| AV无码免费观看| 五月丁香婷婷综合| 在线观看黄a| 综综综综合网| 东方av在线播放| 欧美日韩精品在线视频| 中文精品字幕人妻熟女| 久久免费高清视频| 一本久道综合| 少妇一级婬片内射视频| 黄色视频网站在线看| www.精品视频| 成人黄色A片| 国产剧情一区二区av在线观看 | 精品AV无码| 超碰天天爱| 91拍真实国产伦偷精品| 特级丰满少妇免费观看| 日本在线不卡视频| aaa三级黄片| 丁香五月六月| 丁香五月激情在线| 日日摸日日操| 中文字幕欧美在线| 91视频美女模特| 狠狠躁夜夜躁人人爽视频| 免费在线观看视频a| 婷婷精品在线视频| 黑人大香蕉| 日本不卡三区| 性爱无码AV| 日韩欧美高清在线| 三级片一区| 亚洲精品日韩无码| 国产美女自拍| 亚洲欧美成人片| 日韩性生活网| 中文字幕人妻互换av久久| 熟妇无码| 94精品人人人| 国产字幕| 亚洲黄色小视频| 亚洲天堂在线视频观看| 亚洲福利一区二区| 天堂网2025| 免费黄色视频网址| 天天干天天操| 亚洲av无码精品| 中文字幕在线成人| 苍井空一区二区三区| 激情视频网址| 黄色18禁| 久久精品观看| 国产福利视频导航| 色男人天堂| WWW亚洲视频| 久久大奶| 免费毛片+一区二区三区| 大鸡巴黄色视频免费观看| 亚洲波多野结衣| 日韩精品人妻中文字幕有| 九九性爱视频| 色欧美大香蕉| TheAV精尽人亡av| 大茄子熟女AV导航| 淫色视频| 强开小嫩苞毛片一二三区| 粉嫩小泬粉嫩小泬在线| 中文字幕国产在线| 国产又粗又长又硬黄色一级片 | 99热国产在线观看| 黄色av天堂| 艹b视频在线观看| 成人福利电影| 日韩成人黄色电影| 五月婷婷色| 操逼网123首页| 性一区| 清清草视频| 国产三级黄色片| 91麻豆精品国产91久久久久久 | 五月天欧美性爱| 中文字幕精品人妻在线| 成年片免费观看网站免费观看,亚洲+欧... | 亚洲蜜桃av一区| www.99热视频| 无码成人av| 中文字幕高清AⅤ| 九九成人精品| 在线播放无码| 亚洲AV官方网站| 亚洲性爱小说网址| 成人毛片在线播放| 中文字幕高清AⅤ| 波多野结衣与黑人| 大黑人荫蒂BBBBBBBBB| 99成人| 久久久久女人精品毛片九一| 四川婬妇BBw搡BBBB搡| 中文字幕在线观看第一页| 成人免费爱爱视频| 午夜高清视频| 木下凛凛子AV888AV在线观看| 一本色道久久综合无码人妻四虎| 成人精品国产| 午夜AV大片| 96久久| 五月婷婷深深爱| 18禁网站网址| 免费操B| 91成人精品| 怡红院成人AV| 欧美亚洲日韩成人| 一区二区免费| 91视频高清无码| 少妇人妻无码| 欧美色视频网| 亚洲无码色色| 亚洲的天堂的αⅴ| 国产1区在线观看| 综合色网站| 99re视频| 色先锋资源站| 婷婷香蕉| 操操插插| 九色PORN视频成人蝌蚪自拍| 欧美日韩成人| 国产精品久久久久久久牛牛| 日本免费中文字幕| 女人久久久久| 久久久精品免费视频| 一区二区三区免费观看| 亚洲成人av在线播放| 久久久无码精品亚洲| 日韩aaaa| 欧美亚洲自拍偷拍| 激情婷婷| 三级毛片在线| 黄色A片网站| 亚洲天堂2016| 日韩无码人妻一区二区| 亚州一级成人片| 免费观看高清无码| 欧美黄色电影网站| 搡BBB搡BBBB搡BBBB'| 国产成人午夜福利在线| 色欲天天网| 精品一区二区三区视频| 91成人视频| 日韩一级免费在线观看| 成人a毛片| 一本久久综合亚洲鲁鲁五月天| 欧美中文在线观看| 男人天堂无码av| 欧美搡BBBB搡BBB| 亚洲在线| 久久偷看各类wc女厕嘘嘘偷窃| 中文字字幕在线中文乱码电影| 亚洲天堂三级片| 日韩一级免费毛片| 伊人久久久影视大全| 91性爱网| 日韩精品一区二区三免费视频| 粉嫩护士小泬18p| 大屌色片| 怡红院成人av| 婷婷综合网| 肏逼综合网| 天天综合色| 精品91在线视频| 在线a视频| 天天色天天色| 91aaa在线观看| 亚洲免费观看A∨中文| 久久精品视频99| 亚洲高清无码中文字幕| 91麻豆天美传媒在线| 国产第56页| 日本中文字幕在线| 人人上人人摸| 人妻少妇精品| 国产精品久久久久久婷婷天堂 | av怡红院| 欧美成人一区二区三区片| 国产AV小电影| 中文字幕av高清片,中文在线观看| 欧美亚洲日韩在线观看| 欧美成人视频在线观看| 人妻啪啪| 丁香五月av| 猛男大粗猛爽h男人味| 国产调教视频| 九九成人免费视频| 99久久精品国产精品有折扣吗 | 精品无码视频在线| 婷婷五月亚洲| 精品国产乱码一区二区| 影音先锋成人无码| 色人阁人妻中文字幕| 日本黄色电影在线| 高清操逼| 在线观看免费A片| 天天日天天操天天日| 久久aa| 精品国产123| 国产精品秘ThePorn| 国产亚洲视频在线观看| 全国男人的天堂网站| 亚洲精品免费观看| 欧美香蕉在线| 人人人人人操| 国产探花自拍| 欧美人操逼| 午夜精品久久久久久久91蜜桃| 苍井空一区二区| 色色网的五月天| 日本色电影在线观看| 美女黄色视频永费在线观看网站 | 激情五月婷婷丁香| 在线看操逼| 日韩精品中文字幕无码| 婷婷五月亚洲精品AAA片在 | 在线无码视频播放| 97婷婷五月天| 青娱乐国产在线| 日韩性生活网| 无码字幕| 欧洲成人在线观看| 国产精品一区二区黑人巨大| 打炮影院| 免费看黄色AV| 怡红院成人网| 国产无遮挡又黄又爽又色| 撸一撸在线| WWWA级片| 91麻豆精品传媒国产| 在线免费观看成人网站| 久久久性爱视频| 国产精品日韩高清北条麻衣| 亚洲一级黄色片| 高潮免费视频| 少妇高潮av久久久久久| 97福利在线| 男女啪网站| AV无码免费| 亚洲AV官方网站| 欧美另类| 高清无码高潮| 黄色成人网站在线免费观看| 99日韩精品| 色色色成人视频| 久久午夜影院| 欧一美一婬一伦一区?| 亚洲无码视频观看| 免费无码又爽又黄又刺激网站 | 超碰激情| 四川少扫搡BBBBB搡B| 少妇厨房愉情理伦BD在线观| 婷婷综合在线| 成人动漫在线观看| 人妻体体内射精一区二区| 人人人人人操| 五月停亭六月,六月停亭的英语| 你懂的在线观看视频| 小小拗女BBw搡BBBB搡| 豆花视频成人| 成人丁香五月| 2025AV中文字幕| 日本欧美黄色| 国产Av资源| 色婷婷基地| 黄色片网站免费观看| 欧美午夜片| 天天天天天天操| 亚洲大哥天天干| sm在线| 久久精品99国产国产精| 自拍超碰| 99无码人妻| 久久久久中文字幕| 天堂一区二区| 91狠狠综| 夜夜嗨av一区二区三区| 激情六月| 91人人看| 91社区成人影院| 91九色丨国产丨爆乳| 亚洲视频成人| 国产天堂在线观看| 国产精品果冻传媒| 视频三区| 午夜免费无码| 午夜av在线播放| 国产理论电影| 北京熟妇搡BBBB搡BBBB | 影音先锋成人AV资源| 天天看天天日| 亚洲第一成年人网站| 懂色中文字幕| 中文字幕不卡一区| 色色五月丁香| 玩弄大乳乳妾高潮乳喷视频| 四季AV一区二区夜夜嗨| 久9久9久9久9久9久9| 中文字幕亚洲在线| 欧美又粗又大| 亚洲天堂一区在线观看| 一级黄色毛片| 国产在线看片| 一品国精和二品国精的文化意义| 国产一卡二卡三卡| 三级片视频在线观看| 免费欧美黄片| 亚洲一级黄色电影| AV色色| 淫香淫色天天影视| 日韩AV无码网站| 久久99免费视频| 日韩人妻码一区二区三区| 国产精品男女| 日本操逼在线播放| 精品99视频| 探花在线综合| 久久久久久久极品内射| 91成人在线| 国精产品一区一区三区四川| 色哟哟在线观看| 中文字幕一区三区人妻视频| 91精品无码| 欧美特黄AAAAAAAAA片| 91视频在线观看网| 婷婷五月天无码| 五月天三级片| av无码导航| 黑人无码视频| 在线无码一区二区三区| 久久超碰99| 亚洲高清国产欧美综合s8| 东京热一区二区三区| 国产精品不卡在线| 四川少妇bbbb| 国产群交| 国产欧美日韩在线播放| 黄色亚洲无码| 日韩无码影院| 久久久久久久91| 四川BBB嫩BBBB爽BBBB| www.欧美精品| 国内操B电影| 亚洲成人在线网站| 久久久久久久成人| 亚洲婷婷综合网| 波多野结衣高潮| 国产成人精品AV| 中文无码日本一级A片久久影视| 亚洲第九页| 综合色五月| 精品中文字幕在线播放| 日日精品| 懂色av粉嫩av蜜臀av| 亚洲无码图片| 免费在线a视频| 骚逼中文字幕| GOGO人体做爰大胆视频| 亚洲网站视频| 十八禁视频在线观看网站.www| 国产欧美综合视频一区二区在线| 五月天啪啪| 欧美一区三区| 少妇搡BBBB搡BBB搡18禁| 韩国色情中文字幕| 熟女网址| 91黄色在线观看| 欧美日韩第一区| 影音先锋女人资源| 青娱乐AV| 欧美日韩免费在线观看| 国产精品婷婷午夜在线观看 | 日韩欧美操逼视频| 97视频精品| 亚洲jizzjizz| 日日射人妻| 亚洲毛片在线观看| 无码99| 青青草原成人视频| 亚洲一卡| 大香蕉伊人在线手机网| 欧美亚洲一区| 中文字幕在线观看高清| 国产一级a毛一级a毛视频在线网站) | 亚洲一线播放| 操操操操操操| 欧美日韩三区| 3d动漫精品H区XXXXX区| 久久精品导航| 无码人妻一区二区三区三| 久久99久久99久久| 日韩一级一级| 中文在线字幕免费观看电视剧大全| 狠狠操免费视频| 亚洲国产视频一区| 伊人久久大香蕉视频| 久久精品美臀| 狠狠操在线| 熟女久久| 国产内射精品| 欧美国产在线观看| 免费看黄片视频| 懂色在线精品分类视频| 91国产爽黄在线相亲| 亚洲免费中文字幕| 激情精品| 色片无码| 亚洲AV成人片色在线观看高潮| 亚洲无码一区二区三区蜜桃| 欧美综合高清| 91人妻人人澡人人爽人| 91绿帽人妻-ThePorn| 伊人九九热| 日韩www| 国产污视频| 豆花精品视频| 99re在线观看观看这里只有精品| 国产做受91一片二片老头| 精品人妻一区二区蜜桃视频| 国产精品国产三级囯产普通话2| 免费观看成人片| 成人福利免费视频| 国产精品视频一区二区三区在线观看 | 成人视频免费在线观看| 欧美在线综合| 人人操人人干人人爽| 翔田千里AV| 精品中文字幕在线| 国产一区二区不卡亚洲涩情| 大学生18一19GAY169| 婷婷五月天激情丁香| 欧美日韩中文| 91无码人妻传媒tv| 无码免费一区二区| 五月丁香婷婷色| 三级自拍| 亚洲天堂日本| 天堂网久久| 日韩AV无码一区二区| 毛片小电影| 五月丁香视频在线| 国产一区二区三区成人| 中文字幕高清AⅤ| 欧美卡一卡二| 北条麻妃无码在线播放| 日韩午夜剧场| 无码AV中文字幕| 91成人在线播放| 天天无码视频| 波多野59部无码喷潮| 伊人大香蕉网站| 四川少妇bbb| 国产精品无码成人AV电影| 日韩在线视频网| 北条麻妃电影九九九| 国产成人精品视频| 91免费在线| 午夜无码电影| 河南少妇搡BBBB搡BBBB| 九九成人视频| 四虎一区二区| 操操操影院| 日韩毛片在线播放| 天堂网中文| 亚洲人操逼视频| 欧美日韩精品一区二区三区视频播放| 日本A片在线免费观看| a视频免费看| 色噜噜狠狠一区二区三区300部 | 麻豆熟女| 蜜桃传媒一区二区亚洲A| 性色A| 天天撸天天日| 亚洲中文无码av| 欧一美一婬一伦一区二区三区| 国产aaaaaaaaaaaaa| 成人黄网站免费观看| 欧美视频A| 黄色成人毛片| 色婷婷91| 91蜜桃传媒| 日韩三级片AV| 午夜无码鲁丝片午夜精品一区二区| 日本处女性高潮喷水视频| 人人人操| 亚洲午夜视频| 成人视频在线免费观看| 日韩在线一区二区| 伊人在线视频| 国产一区二区三区视频| 日韩操逼片| 国产AV激情| 9999久久久久| 性欧美老妇bbwbbwbbw| 一级黄色片免费看| 日韩福利视频| av麻豆| 亚洲免费婷婷| 一区二区亚洲| 国产码在线成人网站| 亚洲无码视频在线播放| 影音先锋成人资源AV在线观看| 黄片视频在线观看| 日韩成人精品| 青草娱乐| 奶大丰满一乱一视频一区二区三区在| 老司机永久免费91| 青青操国产乱伦| 综合影院| xxx久久| 国产骚逼视频| 91久久精品国产91久久公交车 | 国产久久久久久久久久| 人与禽一级A片一区二区三区| 午夜三级无码| 五月婷视频| 无码欧美成人AAAA三区在线| 国产成人精品av在线观看 | 日皮视频免费在线观看| 日本性爱一区| 92无码| 99自拍视频| 国产高清免费视频| 免费国产视频| 国产AV资源| 做爱激情视频网站| 不卡一二三区| 日韩资源网| 无码av网| 特黄特色免费视频| 9I成人免费版视频| 黄片视频在线免费看| 无码a级| 国产内射精品| 好男人WWW一区二区三区| A片免费在线播放| 黄片久久久| 人人插人人干| 五月婷婷在线视频| 亚洲一级二级三级| 91超碰在线| 精品欧美片在线观看步骤| 天天综合字幕一区二区| 天天搞搞| 91蝌蚪在线视频| 亚洲制服中文字幕| 日韩免费小视频| 99er在线视频| AV中文字幕网| 豆花av| 国产无遮挡又黄又爽免费网站| www.天天干| 在线观看AV91| 国产精品久久久91| 大香蕉电影网站| 亚洲成人资源| 看免费黄色视频| 成人电影无码| 99久久99九九九99九他书对| 亚洲福利视频网| 欧美a视频| 99re视频| 俺来也俺去也www色| 91人妻一区二区三区| 操久在线| 一个人看的www日本高清视频 | 在线播放www| 欧美成人在线免费视频| 日本无码免费视频| 做爱网| 在线无码免费| 中文字幕乱码免费综合久久| 人人草超碰| 大地资源中文第二页导读内容| 丝袜三级片| 中文字幕在线播放视频| 黄色A片免费看| 神马久久午夜| 影音先锋亚洲无码| 99成人乱码一区二区三区在线 | 国产A视频| 亚洲一二三| 日本少妇电影| 无码人妻精品一区二区三区温州| 天天干天天日天天干天天日| 停停五月天| 国产小视频在线播放| 欧美激情亚洲| 国产精品婷婷| 最近中文字幕在线视频| 久久色在线视频| 岛国AV免费在线| 日韩乱伦中文字幕| 日韩人妻精品无码| 亚洲久久无码| 久久人妻免费视频| 国产精品偷拍视频| av牛牛| 久久精品成人导航| 北条麻妃无码| 人人干人人草| 国产欧美精品在线观看| 国产日日日| 亚洲高清超级无码在线视频观看| 蜜臀精品一区二区三区| 超碰在线观看91| 国产无码内射| 亚洲人成777| 男女一区二区| 久操视频免费在线观看| 人人妻人人妻| 国产高清在线视频| 中文字幕网在线| 欧美日韩人妻高清中文| 亚洲社区在线观看| 国产棈品久久久久久久久久九秃| 黄片大全在线观看| 亚洲精品天堂无码AV片| 69激情网| 人妻啪啪视频| 午夜福利10000| 天天干,夜夜操| 性爱免费专区| 米奇色色色| 性爱视频小说| 蜜桃av秘无码一区二区三欧| 农村A片婬片AAA毛片| 日本精品久久| 国产欧美日韩一区| a一级黄片| aaa在线| 69久久| AV超碰| 国产激情在线观看视频| 日日夜夜拍| 天天干天天干天天日| 色色色成人视频| 日韩高潮| 欧美一级AA大片免费看视频| 日韩成人在线免费观看| 亚洲欧美在线视频| 午夜精品18视频国产| 无码爆操| 久久艹国产| 四虎在线观看| 伊人网在线免费视频| 老太老熟女城中层露脸60| 无码黄片免费| 在线观看国产视频| 欧美九九九九| 久草在| 各种妇女撒尿mm毛免费网站 | 99热6| 另类无码| 福利视频二区| 免费看操逼| 亚洲五月六月| 成人性爱视频网站| 91久久久久久| np高辣调教视频| 欧美熟妇另类久久久久久不卡| 麻豆激情视频| 18禁亚洲| 少妇激情网站| 日韩在线成人中文字幕亚洲 | 先锋无码| 大香煮伊在75| 97超碰成人| 久久99久久99久久99人受| 伊人成人网站| 日韩毛片在线免费观看| 天天cao| 欧美日韩免费在线观看| 国产又爽又黄视频| 少妇人妻AV| 黄色毛片电影| 亚洲高清无码在线观看| 中文字幕在线观看网| 免费的av网站| 大肉大捧一进一出两腿| 丰满人妻一区二区三区Av猛交| 亚洲男女网站| 老鸭窝在线观看视频| 日本成人性爱视频网站一区| 人人操人人爱人人妻| 欧美久久视频| av天天干| 亚洲一区自拍| 国产精品高潮呻吟久久| 熟女人妻人妻の视频| 青青草手机视频在线| 男人天堂视频网站| 无码一区二区三区四| 久久久久国产一区二区三区四区 | 一区二区三区AV| 51嘿嘿嘿国产精品伦理| 在线观看黄色网| 99热视| 欧美性爱在线网站| 密臀久久| 无码一道本| 久碰人妻人妻人妻| 国产一级麻豆| 日韩国产一区| 91人妻人人人| 亚色视频| 国产福利视频在线观看| 国精品无码一区二区三区在线秋菊 | 一区二区经典| 蜜臀久久久久久999| 夜夜AV| 少妇无码在线| 做爱网| 日韩精彩视频| 久久久久久免费毛片精品| 成人A片免费| 中文字幕无码A片久久| 精品人妻无码一区二区三区四川人| 91乱子伦国产乱子伦| 青青草在线观看免费| 婷婷精品国产一区二区三区日韩| 99热这里只有精品9| 欧美一级片网站| 欧美黄色网址| 亚洲精品无码视频| 麻豆一区在线| 台湾无码在线| 尻屄电影| 国产免费av片| 久久久久成人电影| 国产欧美日韩一区|