TigerBot多語言多任務(wù)大語言模型

TigerBot 是一個(gè)多語言多任務(wù)的大規(guī)模語言模型 (LLM)。

根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評測，TigerBot-7B 達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%。目前已開源：

• 模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research version)，
• 代碼：基本訓(xùn)練和推理代碼，包括雙卡推理 180B 模型的量化和推理代碼，
• 數(shù)據(jù)：預(yù)訓(xùn)練 100G，從 2TB 過濾后的數(shù)據(jù)中經(jīng)過去噪去重清洗而得；監(jiān)督微調(diào) 1G 或 100 萬條數(shù)據(jù)，按比例涵蓋用戶指令常見的 10 大類 120 小類任務(wù)，
• API: chat, plugin, finetune, 讓用戶能在半小時(shí)內(nèi)無代碼的訓(xùn)練和使用專屬于自己的大模型和數(shù)據(jù)，
• 領(lǐng)域數(shù)據(jù)：涵蓋金融，法律，百科，廣邀大模型應(yīng)用開發(fā)者，一起打造中國的世界級的應(yīng)用。

TigerBot 在 BLOOM 基礎(chǔ)上，在模型架構(gòu)和算法上做了如下優(yōu)化：

• 指令完成監(jiān)督微調(diào)的創(chuàng)新算法以獲得更好的可學(xué)習(xí)型(learnability)，
• 運(yùn)用 ensemble 和 probabilistic modeling 的方法實(shí)現(xiàn)更可控的事實(shí)性(factuality)和創(chuàng)造性(generativeness)，
• 在并行訓(xùn)練上，我們突破了 deep-speed 等主流框架中若干內(nèi)存和通信問題，使得在千卡環(huán)境下數(shù)月無間斷，
• 對中文語言的更不規(guī)則的分布，從 tokenizer 到訓(xùn)練算法上做了更適合的算法優(yōu)化。