如何對(duì)大模型有效地微調(diào)增強(qiáng)?
▼ 最近直播超級(jí)多， 預(yù)約 保你有收獲
今晚直播： 《 基于LoRA微調(diào)大模型應(yīng)用實(shí)戰(zhàn) 》
—1 —
如何對(duì) LLM 大模型增強(qiáng)？
對(duì) LLM 大模型能力增強(qiáng)在企業(yè)級(jí)有兩種實(shí)踐路線：RAG 和 Fine-tuning。接下來(lái)我們?cè)敿?xì)剖析下這兩種增強(qiáng)實(shí)現(xiàn)方式。 第一：檢索增強(qiáng)生成 RAG（Retrieval Augmented Generation）實(shí)現(xiàn)方式 。 2020 年，Lewis et al. 的論文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》提出了一種更為靈活的技術(shù)：檢索增強(qiáng)生成（RAG）。在這篇論文中，研究者將生成模型與一個(gè)檢索模塊組合到了一起；這個(gè)檢索模塊可以用一個(gè)更容易更新的外部知識(shí)源提供附加信息。 用大白話來(lái)講：RAG 之于 LLM 就像開卷考試之于人類。在開卷考試時(shí)，學(xué)生可以攜帶教材和筆記等參考資料，他們可以從中查找用于答題的相關(guān)信息。開卷考試背后的思想是：這堂考試考核的重點(diǎn)是學(xué)生的推理能力，而不是記憶特定信息的能力。 類似地，事實(shí)知識(shí)與 LLM 大模型的推理能力是分開的，并且可以保存在可輕松訪問(wèn)和更新的外部知識(shí)源中：- 參數(shù)化知識(shí)：在訓(xùn)練期間學(xué)習(xí)到的知識(shí)，以隱含的方式儲(chǔ)存在神經(jīng)網(wǎng)絡(luò)權(quán)重之中。
- 非參數(shù)化知識(shí)：儲(chǔ)存于外部知識(shí)源，比如向量數(shù)據(jù)庫(kù)。
上圖檢索增強(qiáng)生成（RAG）的工作流程如下所示： 1、檢索（Retrieval）：將用戶查詢用于檢索外部知識(shí)源中的相關(guān)上下文。為此，要使用一個(gè)嵌入模型將該用戶查詢嵌入到同一個(gè)向量空間中，使其作為該向量數(shù)據(jù)庫(kù)中的附加上下文。這樣一來(lái)，就可以執(zhí)行相似性搜索，并返回該向量數(shù)據(jù)庫(kù)中與用戶查詢最接近的 k 個(gè)數(shù)據(jù)對(duì)象。 2、增強(qiáng)（Augmented）：然后將用戶查詢和檢索到的附加上下文填充到一個(gè) prompt 模板中。 3、生成（Generation）：最后，將經(jīng)過(guò)檢索增強(qiáng)的 prompt 饋送給 LLM。 第二：微調(diào)（Fine-tuning） 實(shí)現(xiàn)方式 。 通過(guò)微調(diào)模型，可以讓神經(jīng)網(wǎng)絡(luò)適應(yīng)特定領(lǐng)域的或?qū)Ｓ械男畔?/span>。 
微調(diào)技術(shù)按照參數(shù)量不同，分為全參數(shù)微調(diào)和局部參數(shù)微調(diào)，由于全參數(shù)微調(diào)周期比較長(zhǎng)，微調(diào)成本和一次預(yù)訓(xùn)練成本差別不大，因此全參數(shù)微調(diào)在實(shí)際企業(yè)級(jí)生產(chǎn)環(huán)境中基本不使用，更有效的微調(diào)方式是少參數(shù)量微調(diào)，比如：基于 LoRA、P rompt tuning、P refix tuning、 Adapter、 LLaMA-adapter、 P-Tuning V2 等微調(diào)技術(shù)。 基于 LoRA 可以高效進(jìn)行微調(diào)，通過(guò)把微調(diào)參數(shù)量減少為萬(wàn)分之一，達(dá)成同樣的微調(diào)效果。
微調(diào)技術(shù)是有效的，但其需要密集的計(jì)算，成本高，還需要技術(shù)專家的支持，因此需要對(duì)微調(diào)技術(shù)有一定的認(rèn)知和掌握，才能做好微調(diào)。
—2 —
免費(fèi)超干貨大模型微調(diào)技術(shù)實(shí)戰(zhàn) 直播
為了幫助同學(xué)們掌握好 LLM 大模型微調(diào)技術(shù)架構(gòu)和應(yīng)用案例實(shí)戰(zhàn)，今晚20點(diǎn)，我會(huì)開一場(chǎng)直播和同學(xué)們 深度聊聊 LLM 大模型高效微調(diào) 技術(shù)架構(gòu)、高效微調(diào)案例實(shí)戰(zhàn)、 基于 Transformen 架構(gòu)的高效微調(diào)核心技術(shù) ， 請(qǐng)同學(xué)點(diǎn)擊下方按鈕預(yù)約直播 ，咱們今晚20點(diǎn)不見不散哦~~
近期直播： 《 大模型Transformer架構(gòu)剖析以及微調(diào)應(yīng)用實(shí)踐 》—3 —
關(guān)于《LLM 大模型技術(shù)知識(shí)圖譜和學(xué)習(xí)路線》
最近很多同學(xué)在后臺(tái)留言：“玄姐，大模型技術(shù)的知識(shí)圖譜有沒(méi)？”、“大模型技術(shù)有學(xué)習(xí)路線嗎？” 我們傾心整理了大模型技術(shù)的知識(shí)圖譜《最全大模型技術(shù)知識(shí)圖譜》和學(xué)習(xí)路線《最佳大模型技術(shù)學(xué)習(xí)路線》快去領(lǐng)取吧！LLM 大模型技術(shù)體系的確是相對(duì)比較復(fù)雜的，如何構(gòu)建一條清晰的學(xué)習(xí)路徑對(duì)每一個(gè) IT 同學(xué)都是非常重要的，我們梳理了下 LLM 大模型的知識(shí)圖譜，主要包括12項(xiàng)核心技能： 大模型內(nèi)核架構(gòu)、大模型開發(fā)API、開發(fā)框架、向量數(shù)據(jù)庫(kù)、AI 編程、AI Agent、緩存、算力、RAG、大模型微調(diào)、大模型預(yù)訓(xùn)練、LLMOps 等12項(xiàng)核心技能。
為了幫助每一個(gè)程序員掌握以上12項(xiàng)核心技能，我們準(zhǔn)備了一系列免費(fèi)直播干貨，掃碼一鍵免費(fèi)全部預(yù)約領(lǐng)取！
END
評(píng)論
圖片
表情