通義千問-7B基于 Transformer 的大語言模型
通義千問-7B（Qwen-7B） 是阿里云研發(fā)的通義千問大模型系列的70億參數(shù)規(guī)模的模型。Qwen-7B是基于Transformer的大語言模型，在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。預(yù)訓(xùn)練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專業(yè)書籍、代碼等。同時(shí)，在Qwen-7B的基礎(chǔ)上，使用對齊機(jī)制打造了基于大語言模型的AI助手Qwen-7B-Chat。Qwen-7B系列模型的特點(diǎn)包括：
- 大規(guī)模高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)：使用了超過2.2萬億token的自建大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集進(jìn)行語言模型的預(yù)訓(xùn)練。數(shù)據(jù)集包括文本和代碼等多種數(shù)據(jù)類型，覆蓋通用領(lǐng)域和專業(yè)領(lǐng)域。
- 優(yōu)秀的模型性能：相比同規(guī)模的開源模型，Qwen-7B在多個(gè)評測數(shù)據(jù)集上具有顯著優(yōu)勢，甚至超出12-13B等更大規(guī)模的模型。評測評估的能力范圍包括自然語言理解與生成、數(shù)學(xué)運(yùn)算解題、代碼生成等。
- 更好地支持多語言：基于更大詞表的分詞器在分詞上更高效，同時(shí)它對其他語言表現(xiàn)更加友好。用戶可以在Qwen-7B的基礎(chǔ)上更方便地訓(xùn)練特定語言的7B語言模型。
- 8K的上下文長度：Qwen-7B及Qwen-7B-Chat均能支持8K的上下文長度, 允許用戶輸入更長的prompt。
- 支持插件調(diào)用：Qwen-7B-Chat針對插件調(diào)用相關(guān)的對齊數(shù)據(jù)做了特定優(yōu)化，當(dāng)前模型能有效調(diào)用插件以及升級為Agent。
評測表現(xiàn)
Qwen-7B在多個(gè)全面評估自然語言理解與生成、數(shù)學(xué)運(yùn)算解題、代碼生成等能力的評測數(shù)據(jù)集上，包括MMLU、C-Eval、GSM8K、HumanEval、WMT22等，均超出了同規(guī)模大語言模型的表現(xiàn)，甚至超出了如12-13B參數(shù)等更大規(guī)模的語言模型。
| Model | MMLU | C-Eval | GSM8K | HumanEval | WMT22 (en-zh) |
|---|---|---|---|---|---|
| LLaMA-7B | 35.1 | - | 11.0 | 10.5 | 8.7 |
| LLaMA 2-7B | 45.3 | - | 14.6 | 12.8 | 17.9 |
| Baichuan-7B | 42.3 | 42.8 | 9.7 | 9.2 | 26.6 |
| ChatGLM2-6B | 47.9 | 51.7 | 32.4 | 9.2 | - |
| InternLM-7B | 51.0 | 52.8 | 31.2 | 10.4 | 14.8 |
| Baichuan-13B | 51.6 | 53.6 | 26.6 | 12.8 | 30.0 |
| LLaMA-13B | 46.9 | 35.5 | 17.8 | 15.8 | 12.0 |
| LLaMA 2-13B | 54.8 | - | 28.7 | 18.3 | 24.2 |
| ChatGLM2-12B | 56.2 | 61.6 | 40.9 | - | - |
| Qwen-7B | 56.7 | 59.6 | 51.6 | 24.4 | 30.6 |
評論
圖片
表情