書生·浦語多語言大型語言模型
InternLM（書生·浦語）是在過萬億 token 數據上訓練的多語千億參數基座模型。通過多階段的漸進式訓練，InternLM 基座模型具有較高的知識水平，在中英文閱讀理解、推理任務等需要較強思維能力的場景下性能優(yōu)秀，在多種面向人類設計的綜合性考試中表現突出。在此基礎上，通過高質量的人類標注對話數據結合 RLHF 等技術，使得 InternLM 可以在與人類對話時響應復雜指令，并且表現出符合人類道德與價值觀的回復。
基于 InternLM 訓練框架，發(fā)布了兩個開源預訓練模型 InternLM-7B 和 InternLM-20B。
模型亮點
-
多語。InternLM 具備多種語言的理解和表達能力，尤其能熟練使用中英雙語，在中文和英文的多種客觀評測上都強于社區(qū)開源模型
-
推理。通過在不同來源的數據以及精選高質量數據上進行訓練，InternLM 在邏輯推理、代碼生成以及復雜指令跟隨等方面表現出色
-
考試。使用人類考試數據作為驗證模型能力的試金石。InternLM 在 MMLU、C-Eval 等考試評測集上性能優(yōu)異，特別是在各項中文考試中獲得了超越ChatGPT的分數
評測結果
InternLM 可以在 MMLU、AGIEval、C-Eval 以及 GAOKAO-bench 等涵蓋了不同語言以及學科的考試基準集上取得不錯的分數，在多個基準集得分超過 ChatGPT
MMLU
AGIEval
C-Eval
GAOKAO-bench
英文測評
在來源廣泛的英語語料上進行預訓練后，InternLM 在多種不同的英文學術評測集上性能優(yōu)異，例如知識性問答、閱讀理解以及數學推理等
中文測評
通過在各種中文語料上進行預訓練，InternLM 不但可以熟練使用中文，同時在中文俗語理解、閱讀理解、關鍵詞抽取等客觀評測任務上也取得非常不錯的性能