RedPajama大語(yǔ)言模型

RedPajama 項(xiàng)目旨在創(chuàng)建一套領(lǐng)先的全開(kāi)源大語(yǔ)言模型。目前，該項(xiàng)目已完成了第一步，成功復(fù)制了 LLaMA 訓(xùn)練數(shù)據(jù)集超過(guò) 1.2 萬(wàn)億個(gè)數(shù)據(jù) token。該項(xiàng)目由Together、Ontocord.ai、ETH DS3Lab、斯坦福大學(xué) CRFM、Hazy Research 和 MILA 魁北克 AI 研究所聯(lián)合開(kāi)發(fā)。

RedPajama 包含三個(gè)主要組成部分：預(yù)訓(xùn)練數(shù)據(jù)、基礎(chǔ)模型和指令調(diào)優(yōu)數(shù)據(jù)與模型。