大模型只有參數(shù)和算力？這款國產(chǎn)大模型證明：落地為王！

---

??新智元報(bào)道??

編輯：好困 David

誰都知道，大模型是當(dāng)下人工智能領(lǐng)域最重要的前沿技術(shù)方向。

?

世界上以AI為核心抓手的科技巨頭，如谷歌、微軟、OpenAI、英偉達(dá)等，最近幾年基本上都在搞自己的大模型。

?

從BERT、GPT-3、再到風(fēng)光無限的Switch Transformer，模型參數(shù)數(shù)量突破天際，SOTA性能記錄一刷再刷。

?

在國內(nèi)，相關(guān)方也在推出超大規(guī)模智能模型。但這些在論文和實(shí)驗(yàn)中大顯神威「刷榜如喝水」的大模型，最后都要面對(duì)一個(gè)繞不過去的問題：

?

如何落地？如何讓各行各業(yè)真正用得起？

?

要知道，不是每個(gè)行業(yè)、每家公司都像科技巨頭般財(cái)大氣粗，中小公司面對(duì)天量的參數(shù)規(guī)模，高昂的訓(xùn)練成本，往往只能選擇放棄。

?

在百度WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會(huì)上，百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜針對(duì)這個(gè)問題給出了清晰的答案：

?

?

吳甜提出，今年是大模型的落地關(guān)鍵年，要做好落地，需要解決的關(guān)鍵問題是前沿的大模型技術(shù)如何與真實(shí)場(chǎng)景的方方面面要求相匹配。

?

大模型是工具，但不能只是「刷榜」的工具，要成為促進(jìn)產(chǎn)業(yè)發(fā)展的工具。作為工具的大模型，需要有「自降門檻」的覺悟，進(jìn)一步貼近產(chǎn)業(yè)實(shí)際。

?

為此，百度提出了支撐大模型落地的三個(gè)關(guān)鍵路徑：

?

一是要建設(shè)更適配應(yīng)用場(chǎng)景的模型體系。

?

二是提供更有效的配套工具和方法，充分考慮落地應(yīng)用的全流程問題。

?

三是打造開放的生態(tài)，以生態(tài)促創(chuàng)新。

?

我們先來簡(jiǎn)單回顧一下百度在WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會(huì)上帶來的大模型新發(fā)布。

與那些用一個(gè)大模型通吃所有問題的思路不同，百度的目的是要建設(shè)一個(gè)可以產(chǎn)業(yè)落地、全面的、有層次的體系。

?

這個(gè)模型體系，包含學(xué)習(xí)了足夠多數(shù)據(jù)與知識(shí)的基礎(chǔ)大模型，面向常見AI任務(wù)專門學(xué)習(xí)的任務(wù)大模型，以及引入行業(yè)特色數(shù)據(jù)和知識(shí)的行業(yè)大模型。

基礎(chǔ)大模型具有學(xué)習(xí)的數(shù)據(jù)、知識(shí)量大、參數(shù)規(guī)模大特點(diǎn)，通用性最高。本次的重點(diǎn)發(fā)布是融合任務(wù)相關(guān)知識(shí)的千億大模型ERNIE 3.0 Zeus和多任務(wù)視覺表征學(xué)習(xí)VIMER-UFO 2.0。

?

但直接使用基礎(chǔ)模型往往會(huì)與場(chǎng)景上苛刻的應(yīng)用需求會(huì)有一定差距，所以百度在通用模型基礎(chǔ)上，增加了兩類模型：任務(wù)大模型和行業(yè)大模型。

?

任務(wù)大模型主要面向特定任務(wù)，如NLP領(lǐng)域的信息抽取、對(duì)話、搜索等，以及視覺領(lǐng)域的商品圖文搜索，文檔圖像理解等。

?

不過，無論大模型的性能有多強(qiáng)，參數(shù)量如何突破天際，最終還是要看它在哪個(gè)領(lǐng)域真正發(fā)揮作用，看它能給千千萬萬從業(yè)者和普通人帶來什么實(shí)際便利。

?

換句話說，大模型的厲害，不僅要體現(xiàn)在論文里的SOTA，還要讓行業(yè)內(nèi)的用戶真正用得上、用得好，進(jìn)而帶動(dòng)產(chǎn)業(yè)發(fā)展和升級(jí)。

?

所以，我們看到了最后一類「行業(yè)大模型」的發(fā)布。

?

還是業(yè)內(nèi)首發(fā)的那種。

?

?

行業(yè)大模型，顧名思義，可以理解為針對(duì)特定行業(yè)進(jìn)行知識(shí)增強(qiáng)后的大模型。

?

行業(yè)大模型基于通用的文心大模型挖掘相關(guān)的行業(yè)數(shù)據(jù)，再融合學(xué)習(xí)行業(yè)特有的大數(shù)據(jù)和知識(shí)，進(jìn)一步提升大模型對(duì)行業(yè)應(yīng)用的適配性。

?

除了引入了行業(yè)里特有的知識(shí)和特有的數(shù)據(jù)外，為了更好地學(xué)習(xí)行業(yè)中的特色知識(shí)，行業(yè)大模型的研發(fā)團(tuán)隊(duì)還和擁有深度行業(yè)Know-how認(rèn)知的專家們一起設(shè)計(jì)了相應(yīng)的預(yù)訓(xùn)練任務(wù)，將通用模型真正變成對(duì)于行業(yè)來說效果更適用的模型。

?

最后再對(duì)模型進(jìn)行大規(guī)模無監(jiān)督的聯(lián)合訓(xùn)練，進(jìn)一步提升大模型的行業(yè)應(yīng)用能力。

?

值得一提的是，這次百度選擇了兩個(gè)與人們?nèi)粘Ｉ罹嚯x最近的行業(yè)：能源和金融。

?

原因也很簡(jiǎn)單，一是這兩個(gè)領(lǐng)域的數(shù)字化轉(zhuǎn)型智能化升級(jí)的基礎(chǔ)較好；二是智能化升級(jí)的訴求比較強(qiáng)烈，有場(chǎng)景，有需求。

?

具體來說，在能源電力行業(yè)，百度和國網(wǎng)聯(lián)合研發(fā)了知識(shí)增強(qiáng)的NLP大模型國網(wǎng)-百度·文心。

?

基于通用文心大模型，在海量數(shù)據(jù)中挖掘了電力行業(yè)數(shù)據(jù)，百度與國網(wǎng)專家們一起，引入電力業(yè)務(wù)積累的樣本數(shù)據(jù)和特有知識(shí)。

?

在訓(xùn)練中，結(jié)合雙方在預(yù)訓(xùn)練算法和電力領(lǐng)域業(yè)務(wù)與算法的經(jīng)驗(yàn)，設(shè)計(jì)出電力領(lǐng)域?qū)嶓w判別、電力領(lǐng)域文檔判別等算法作為預(yù)訓(xùn)練任務(wù)，讓文心大模型深入學(xué)習(xí)電力專業(yè)知識(shí)，在國網(wǎng)場(chǎng)景任務(wù)應(yīng)用效果提升。

?

從結(jié)果上看，國網(wǎng)-百度·文心大模型不僅提升了傳統(tǒng)電力專用模型的精度，而且大幅降低了研發(fā)門檻，實(shí)現(xiàn)了算力、數(shù)據(jù)、技術(shù)等資源的統(tǒng)籌優(yōu)化。

?

?

相似的思路，在金融領(lǐng)域，百度和浦發(fā)聯(lián)合研發(fā)了知識(shí)增強(qiáng)的金融行業(yè)NLP大模型浦發(fā)-百度·文心。

?

基于通用文心大模型挖掘金融行業(yè)數(shù)據(jù)，結(jié)合浦發(fā)場(chǎng)景積累的行業(yè)數(shù)據(jù)與知識(shí)，進(jìn)行大規(guī)模無監(jiān)督數(shù)據(jù)聯(lián)合訓(xùn)練。

?

其中，雙方技術(shù)和業(yè)務(wù)專家一起設(shè)計(jì)了針對(duì)性的財(cái)報(bào)領(lǐng)域判別、金融客服問答匹配等預(yù)訓(xùn)練任務(wù)，實(shí)現(xiàn)了金融行業(yè)結(jié)構(gòu)化知識(shí)增強(qiáng)。

?

最后，浦發(fā)-百度·文心不僅能夠很好的支持金融語義相似度、金融事件主體抽取等各類行業(yè)場(chǎng)景中的NLP任務(wù)，而且在一系列典型的應(yīng)用中取得了顯著提升。

?

?

此外，飛槳文心大模型已經(jīng)在媒體、醫(yī)療等行業(yè)都產(chǎn)生了巨大價(jià)值。

?

例如在保險(xiǎn)領(lǐng)域應(yīng)用中，智能解析能力將文本處理效率提升30倍；在醫(yī)療領(lǐng)域應(yīng)用中，將每份病歷的檢查時(shí)間，從30分鐘縮短到了秒級(jí)別。

?

高性能的大模型是基礎(chǔ)，現(xiàn)在基礎(chǔ)有了，下一個(gè)問題就是，用戶怎樣才能用著舒服，把模型的性能發(fā)揮到極致？

?

為了盡可能地實(shí)現(xiàn)這個(gè)目標(biāo)，本次百度與10個(gè)大模型一同發(fā)布的，還有一套全方位的工具和平臺(tái)，包括大模型開發(fā)套件、大模型API、內(nèi)嵌了大模型能力的EasyDL和BML開發(fā)平臺(tái)，面向不同類型的開發(fā)者，全面釋放大模型的使用效能，進(jìn)一步降低應(yīng)用門檻。

?

?

「文心大規(guī)模套件」主要包括四個(gè)方面的工具：

?

多種數(shù)據(jù)預(yù)處理工具：覆蓋數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)等20種以上的數(shù)據(jù)處理能力。

?

多樣化精調(diào)工具：涵蓋對(duì)抗學(xué)習(xí)、小樣本學(xué)習(xí)等多種精調(diào)方法。提供10余種大模型精調(diào)工具，如Prompt-turning、P-turning、Prefix-turning等。

?

高性能部署方案：涵蓋通用蒸餾、任務(wù)蒸餾、模型裁剪等大規(guī)模輕量化落地方案、以及飛槳算子融合、模型量化等加速方案。以及經(jīng)歷真實(shí)場(chǎng)景打磨的大規(guī)模部署方案。

?

豐富的預(yù)置任務(wù)：預(yù)設(shè)了多領(lǐng)域的豐富任務(wù)。包括40多種NLP任務(wù)，涵蓋分類、抽取、檢索、生成等。20多種計(jì)算機(jī)視覺任務(wù)，涵蓋人臉、人體、車輛、商品、食物等細(xì)粒度分類識(shí)別。

?

在這些預(yù)制任務(wù)下，提供配置文件、命令行等多種啟動(dòng)方式、實(shí)現(xiàn)一鍵組網(wǎng)訓(xùn)練。

?

?

如果想要更直接簡(jiǎn)便的服務(wù)，可以直接使用大模型API、內(nèi)置了文心大模型能力的EasyDL和BML開發(fā)平臺(tái)，面向不同算法能力的開發(fā)者，全面釋放大模型的使用效能。

?

無論是文本生成、信息提取、對(duì)話還是AI畫家，這套API都能滿足用戶多角度、全方位的需求。

?

目前，ERNIE 3.0 Zeus、PLATO、ERNIE-ViLG都可以供使用者通過API直接訪問調(diào)用。

?

?

目前在EasyDL和BML平臺(tái)上已有1萬多用戶用到了預(yù)訓(xùn)練大模型，創(chuàng)建了超過3萬任務(wù)，通過大模型機(jī)制進(jìn)行AI應(yīng)用模型開發(fā)，數(shù)據(jù)標(biāo)注量平均降低70%，效果平均提升10.7%。

?

?

在生態(tài)系統(tǒng)搭建上，文心大模型共創(chuàng)共享飛槳生態(tài)，同時(shí)為促進(jìn)大模型惠及最廣泛的行業(yè)與人群，新發(fā)布基于文心大模型的創(chuàng)意社區(qū)——「旸谷」大模型創(chuàng)意與探索社區(qū)。

?

「旸谷」一詞在傳說中是「日出的地方」。未來有望進(jìn)一步將文心帶給千行百業(yè)，帶給越來越多渴望知識(shí)的人。

?

?

按照百度的設(shè)計(jì)理念，旸谷社區(qū)是文心大模型支持下的一個(gè)創(chuàng)意應(yīng)用空間，是開發(fā)者盡情展現(xiàn)自己腦洞的地方，比如智能作畫、AI智能對(duì)話、智能寫歌、AI寫故事等等。

?

?

以「AI造夢(mèng)師」為例，就是以核心大模型ERNIE 3.0為基礎(chǔ)，利用文本生成技術(shù)，根據(jù)用戶的輸入線索，進(jìn)行夢(mèng)境內(nèi)容的生成，創(chuàng)作出充滿想象力、畫面感的各種各樣的夢(mèng)境。

?

相信依托文心大模型在開放生態(tài)上的持續(xù)發(fā)力，百度AI生態(tài)建設(shè)無論是在深度和廣度上都將邁上了新的臺(tái)階。

?

有大模型，也必然會(huì)有相應(yīng)的訓(xùn)練框架。

而文心模型的背后，就是百度自主研發(fā)，國內(nèi)首個(gè)開源開放、功能豐富的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)「飛槳」了。

文心大模型的訓(xùn)練、推理都依托深度學(xué)習(xí)平臺(tái)的支撐，同時(shí)，大模型作為飛槳平臺(tái)中產(chǎn)業(yè)級(jí)模型庫的重要一員，成為了飛槳平臺(tái)支持AI創(chuàng)新必不可少的能力。

說回到模型上來，大模型可謂是成也「大」，難也「大」。

?

巨大的參數(shù)規(guī)模，以及不同模型和算力平臺(tái)之間的差異，給訓(xùn)練帶來了極大的挑戰(zhàn)。

?

飛槳分布式架構(gòu)統(tǒng)籌考慮這些差異性問題，實(shí)現(xiàn)了端到端自適應(yīng)分布式架構(gòu)，根據(jù)模型和算力平臺(tái)的特點(diǎn)，自動(dòng)選擇并行策略，自動(dòng)調(diào)優(yōu)，高效執(zhí)行，實(shí)現(xiàn)方案既具備通用性，又兼顧了高效性。

?

在并行訓(xùn)練策略上有創(chuàng)新，對(duì)異構(gòu)硬件支持自適應(yīng)并行訓(xùn)練，打造了框架與算力、算法相結(jié)合三位一體的大模型訓(xùn)練解決方案，實(shí)現(xiàn)了端到端的極致性能優(yōu)化。

?

相對(duì)訓(xùn)練而言，大模型推理面臨更大的挑戰(zhàn)，如何實(shí)現(xiàn)高效是實(shí)現(xiàn)產(chǎn)業(yè)應(yīng)用落地的關(guān)鍵所在。

?

因此，飛槳推出了一個(gè)針對(duì)大模型的壓縮、推理、服務(wù)化全流程部署方案。

?

其中，通過面向大模型的精度無損模型壓縮技術(shù)、自適應(yīng)分布式推理技術(shù)，可自動(dòng)感知硬件特性，完成模型壓縮、自動(dòng)切分和混合并行推理計(jì)算。

?

首先通過精度無損模型壓縮技術(shù)讓模型輕量化，然后通過自適應(yīng)分布式推理技術(shù)，充分調(diào)動(dòng)算力資源，比如千億級(jí)模型，只有分布式推理才能跑得起來。

?

整體方案通用且可擴(kuò)展，能廣泛支持不同種類的模型結(jié)構(gòu)，實(shí)現(xiàn)高速推理，目前已支撐了如自然語言理解、對(duì)話、跨模態(tài)生成等大模型的實(shí)時(shí)在線應(yīng)用。

?

最后通過大規(guī)模服務(wù)化部署，讓大模型真正落成應(yīng)用。

?

飛槳的這套訓(xùn)練推理一體化技術(shù)也使文心大模型的規(guī)模化生產(chǎn)成為了可能，讓大模型更接近產(chǎn)業(yè)，落地在產(chǎn)業(yè)當(dāng)中，而不僅僅是實(shí)驗(yàn)室技術(shù)。

?

實(shí)際上，對(duì)于百度而言，這次發(fā)布的10個(gè)大模型，尤其是兩個(gè)行業(yè)大模型的誕生，是過去3年多來日夜耕耘的結(jié)果。

?

如果從大模型的誕生講起，它其實(shí)始于NLP領(lǐng)域的一種新的范式：「預(yù)訓(xùn)練-微調(diào)」范式。

這種范式基本思路是，選定一個(gè)通用的、表示能力強(qiáng)的模型為「語義表示模型」。在預(yù)訓(xùn)練階段，用大量語料和特定的任務(wù)訓(xùn)練，使其編碼海量的語義知識(shí)。在微調(diào)階段再加上不同的簡(jiǎn)單輸出層，解決下游的 NLP 任務(wù)。

2019年3月，百度率先發(fā)布國內(nèi)首個(gè)正式開放的預(yù)訓(xùn)練模型「ERNIE 1.0」。

ERNIE和BERT在mask學(xué)習(xí)策略上的差異

ERNIE（Enhanced Representation through kNowledge IntEgration）就是百度自己提出的語義表示模型。相較于BERT，ERNIE在預(yù)訓(xùn)練過程利用了更豐富的語義知識(shí)和更多的語義任務(wù)，在多個(gè)NLP任務(wù)上取得了比BERT更好的效果。

2019 年 12 月，ERNIE 2.0以 9 個(gè)任務(wù)平均得分首次突破 90 大關(guān)的成績(jī)登頂國際權(quán)威排行榜GLUE榜首。

經(jīng)歷兩年的開發(fā)，2021年7月，百度百億參數(shù)規(guī)模的知識(shí)增強(qiáng)型預(yù)訓(xùn)練模型ERNIE 3.0問世。這是當(dāng)時(shí)業(yè)界首次在百億級(jí)預(yù)訓(xùn)練模型中引入大規(guī)模知識(shí)圖譜。

ERNIE 3.0 一舉刷新54個(gè)中文NLP任務(wù)基準(zhǔn)，其英文模型在國際權(quán)威的復(fù)雜語言理解任務(wù)評(píng)測(cè)SuperGLUE上，以超越人類水平0.8個(gè)百分點(diǎn)的成績(jī)登頂全球榜首。

ERNIE 3.0同時(shí)具備超強(qiáng)語言理解能力以及寫小說、歌詞、詩歌、對(duì)聯(lián)等文學(xué)創(chuàng)作能力。

同年12月，百度聯(lián)合鵬城實(shí)驗(yàn)室打造了「鵬城-百度·文心」（代號(hào)ERNIE 3.0 Titan）。

?

這是全球首個(gè)知識(shí)增強(qiáng)千億大模型，參數(shù)規(guī)模達(dá)到2600億，是當(dāng)時(shí)全球最大中文的單體模型，在60多項(xiàng)任務(wù)中取得了SOTA。

而在這次WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會(huì)上，ERNIE家族再添新成員！名字也從「泰坦」升級(jí)到了萬神之王——「宙斯」。

?

ERNIE 3.0 Zeus是ERNIE3.0系列模型的全新升級(jí)，是融合了任務(wù)相關(guān)知識(shí)的千億大模型，也是國內(nèi)首個(gè)開放API調(diào)用的千億大模型。

?

除了對(duì)無標(biāo)注數(shù)據(jù)和知識(shí)圖譜的學(xué)習(xí)之外，還通過持續(xù)學(xué)習(xí)對(duì)百余種不同形式的任務(wù)數(shù)據(jù)，實(shí)現(xiàn)了任務(wù)知識(shí)增強(qiáng)，顯著提升了模型的零樣本/小樣本學(xué)習(xí)能力。

??

如此出色的表現(xiàn)是如何實(shí)現(xiàn)的？多學(xué)、雜學(xué)、持續(xù)學(xué)！

?

?

除了對(duì)海量文本和知識(shí)圖譜的學(xué)習(xí)之外，ERNIE 3.0 Zeus通過持續(xù)學(xué)習(xí)技術(shù)對(duì)百余種不同形式的任務(wù)數(shù)據(jù)學(xué)習(xí)，通過引入任務(wù)相關(guān)的知識(shí)，增強(qiáng)模型的效果。

?

此外，還設(shè)計(jì)了任務(wù)相關(guān)的prompt層次化分類體系，通過融合層次化提示的預(yù)訓(xùn)練，更好地建模不同任務(wù)的共性與特性。同時(shí)通過將不同的任務(wù)組織成統(tǒng)一的自然語言形式，使用統(tǒng)一的建模范式增強(qiáng)了模型的泛化能力。

??

可以說，正是ERNIE 3.0 Zeus 等基礎(chǔ)大模型的發(fā)布，為百度文心「大模型體系」架構(gòu)的全面布局鋪下了最堅(jiān)實(shí)的路基。

在此基礎(chǔ)之上，百度才得以面向細(xì)分任務(wù)和行業(yè)場(chǎng)景，推出任務(wù)大模型和行業(yè)大模型，全面滿足產(chǎn)業(yè)應(yīng)用需求。

?

伴隨中國人工智能走進(jìn)產(chǎn)業(yè)規(guī)?；瘧?yīng)用的「深水區(qū)」，百度在大模型上搭建了適配場(chǎng)景需求的體系，提供全流程支持應(yīng)用落地的工具和方法，建設(shè)激發(fā)創(chuàng)新的開放生態(tài)。這套思路是與AI不斷深入產(chǎn)業(yè)相吻合的。

?

尤其是百度與行業(yè)頭部企業(yè)聯(lián)合研發(fā)系列文心·行業(yè)大模型，為企業(yè)搭建AI基礎(chǔ)設(shè)施，共同推進(jìn)大模型在行業(yè)的深度應(yīng)用，更體現(xiàn)了百度AI技術(shù)對(duì)產(chǎn)業(yè)落地的前沿洞察和獨(dú)有思考。

?

當(dāng)然，行業(yè)大模型也并非是把AI技術(shù)和行業(yè)場(chǎng)景的簡(jiǎn)單疊加，而是強(qiáng)調(diào)多個(gè)層面的強(qiáng)強(qiáng)聯(lián)合，探索方法與機(jī)制，實(shí)現(xiàn)群智創(chuàng)新、深度協(xié)同。

?

此次百度首發(fā)行業(yè)大模型，就是探索出一套行之有效的大模型產(chǎn)業(yè)落地打法，讓大模型「能用、可用」，規(guī)?；涞貎r(jià)值顯現(xiàn)。

?

讓企業(yè)和生產(chǎn)機(jī)構(gòu)成為真正主體，把新技術(shù)引入和吸納進(jìn)來，極大助推工業(yè)大生產(chǎn)。

?

如果說擁有自己的算力、算法是一個(gè)科技公司的本職；那一口氣發(fā)布10個(gè)大模型，形成基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型三級(jí)模型體系，并在產(chǎn)業(yè)里持續(xù)埋頭深耕，大概更符合飛槳「源于產(chǎn)業(yè)實(shí)踐，服務(wù)于產(chǎn)業(yè)應(yīng)用」的建設(shè)思路，也呼應(yīng)了百度「成為最懂用戶，并能幫助人們成長(zhǎng)的全球頂級(jí)高科技公司」愿景吧。