太強了！10大開源大模型！
共 4266字，需瀏覽 9分鐘
·
2024-05-20 11:30
本文約2700字，建議閱讀9分鐘
本文將詳細介紹最新的頂級開源LLMs大模型。
大型語言模型（LLMs）無疑是人工智能革命中的核心驅動力，它們建立在Transformer架構的穩(wěn)固基石之上，并根據縮放定律不斷演進。簡而言之，縮放定律揭示了一個重要原則：隨著數據規(guī)模的擴大、參數數量的增加以及計算能力的提升，模型的能力將邁向新的巔峰。正是通過預先訓練海量的文本數據，LLMs展現出了卓越的對話和任務處理能力，成為了現代人工智能領域的璀璨星辰。
盡管如此，如今備受歡迎的巨型模型如ChatGPT和Bard，都建立在專有且閉源的基石之上，這無疑為它們的使用設立了重重障礙，導致技術信息的透明度變得模糊不清。
然而，開源的大型語言模型（LLMs）正逐漸嶄露頭角，它們不僅顯著增強了數據的安全性和隱私保護，更為用戶節(jié)省了大量成本，減少了對外部依賴的需求。更重要的是，開源LLMs讓代碼更加透明，使得模型得以個性化定制，推動整個領域的創(chuàng)新與發(fā)展，為科技進步注入了新的活力！
在本文，我會詳細介紹下，最新的頂級開源LLMs大模型！
LLaMA 3
近期，Meta 隆重推出了兩款開源模型：Llama 3 8B與Llama 3 70B，這兩款模型可供外部開發(fā)者免費使用。Meta 表示，Llama 3 8B和Llama 3 70B在目前同體量模型中，展現出卓越的性能，堪稱業(yè)界的佼佼者。
從Meta 分享的基準測試結果來看，Llama 3 400B+ 的實力不容小覷，其性能已逼近Claude超大杯以及新版GPT-4 Turbo，雖然還存在一定的差距，但足以證明它在頂尖大模型領域已占有一席之地。
模型下載鏈接：https://llama.meta.com/llama-downloads/
GitHub項目地址：https://github.com/meta-llama/llama3
Phi-3
Phi-3是微軟AI研究院的新開源語言模型，具備小巧且高效的特性，贏得市場青睞。系列包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三種規(guī)模。Phi-3-Mini雖小，但性能與大型模型相當，適合資源有限環(huán)境。Phi-3-Small和Phi-3-Medium在擴展數據集支持下性能更佳。Phi-3系列以小巧設計、卓越性能和靈活擴展能力，為語言模型領域注入新活力，滿足不同用戶需求。
Phi-3 技術報告《一個能跑在手機上的大模型》：https://arxiv.org/abs/2404.14219
鏈接：https://huggingface.co/collections/microsoft/
通義千問Qwen1.5
近日，國內領先的通義千問公司震撼發(fā)布了一款千億級參數模型——Qwen1.5-110B。經過詳盡的性能測試，Qwen1.5-110B憑借其卓越表現重返SOTA開源模型之巔，甚至超越了強大的Llama 3 70B，成為了當前最頂尖的開源大模型。值得一提的是，Qwen1.5-110B與Qwen1.5系列的其他模型在結構上保持了一致性，均采用了分組查詢注意力機制，保證了推理的高效性。此外，該模型還支持高達32K的上下文，同時兼容多種語言，包括英語、中文、法語、西班牙語、德語、俄語、韓語和日語等，滿足了全球用戶的需求。
demo：https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo
BLOOM
BLOOM是一個經過一年合作開發(fā)的自回歸LLM訓練模型，利用了工業(yè)級計算資源和大量文本數據生成文本。其發(fā)布是生成式AI民主化的里程碑。擁有1760億參數的BLOOM，是強大的開源LLMs之一，能以46種語言和13種編程語言生成連貫準確的文本。其特點是透明度高，源代碼和訓練數據均可訪問，方便運行、研究和改進。此外，BLOOM可通過Hugging Face生態(tài)系統(tǒng)免費使用。
鏈接：bigscience.huggingface.co
BERT
BERT是早期大型語言模型的代表作，作為Transformer潛力的首批實驗之一，BERT在2018年開源后迅速在自然語言處理任務中取得先進性能。因其創(chuàng)新和開源性質，BERT成為最受歡迎的LLMs之一，有數千種開源、免費和預訓練的模型用于各種用例。但近年來，谷歌對開源大模型的態(tài)度有所冷漠。
鏈接：https://github.com/google-research/bert
Falcon 180B
Falcon 40B在開源LLM社區(qū)備受贊譽，成為Hugging Face榜首。新推出的Falcon 180B展現出專有與開源LLM間的差距正迅速縮小。阿聯(lián)酋技術創(chuàng)新研究所透露，Falcon 180B正在接受1800億參數的訓練，計算能力強大，已在多種NLP任務中超越LLaMA 2和GPT-3.5。雖然免費供商業(yè)和研究使用，但運行Falcon 180B需要龐大計算資源。
XGen-7B
多家公司角逐LLM領域，Salesforce推出XGen-7BLLM。不同于多數開源LLMs的有限信息大答案，XGen-7B支持更長上下文窗口。其高級版本XGen-7B-8K-base具備8K上下文窗口。盡管使用7B參數訓練，但XGen效率出色。尺寸雖小，但表現優(yōu)異，適用于商業(yè)和研究，但需注意，XGen-7B-{4K，8K}-inst版本為教學數據和RLHF訓練，且以非商業(yè)許可發(fā)布。
GPT-NeoX 和 GPT-J
GPT-NeoX和GPT-J是EleutherAI實驗室開發(fā)的GPT開源替代品，分別擁有200億和60億參數，盡管參數少于其他LLMs，但仍能提供高精度結果。這兩款模型經過22個高質量數據集的訓練，可廣泛應用于不同領域和用例。與GPT-3不同，它們未接受RLHF訓練。GPT-NeoX和GPT-J可用于自然語言處理任務，如文本生成、情感分析以及研究和營銷活動開發(fā)，并可通過NLP Cloud API免費獲取。
Vicuna13-B
Vicuna-13B是開源對話模型，基于LLaMa 13B微調，訓練數據來自ShareGPT的用戶共享對話。它廣泛應用于客戶服務、醫(yī)療保健、教育、金融和旅游/酒店等行業(yè)。初步評估顯示，Vicuna-13B在90%以上的案例中優(yōu)于其他模型如LLaMa2和Alpaca。
Mistral 7B
Mistral 7B v0.2 預訓練模型以 Mistral-7B-Instruct-v0.2 為基礎，正式加入「Mistral Tiny」系列大家庭。此次更新帶來了一系列顯著的改進，包括將上下文長度擴展至32K，Rope Theta 參數設定為1e6，并取消了滑動窗口。這些升級不僅提升了模型的處理能力和靈活性，還確保了其在處理復雜任務時的高效性與準確性。
鏈接：https://mistral.ai/
零一萬物
Yi系列模型是01.AI推出的強大開源語言模型，以雙語能力領先領域。利用3T多語言語料庫訓練，具備卓越的語言理解、常識推理和閱讀理解等能力。2024年1月數據顯示，Yi-34B-Chat在AlpacaEval排名第二，僅次于GPT-4 Turbo，超越其他LLM如GPT-4、Mixtral、Claude。在各種基準測試中，Yi-34B排名第一，超越Falcon-180B、Llama-70B、Claude等開源模型。這使得Yi系列模型成為全球領先的LLM之一，展現出廣闊的應用前景。
論文：https://arxiv.org/abs/2403.04652
鏈接：https://github.com/01-ai/Yi
如何選擇適合的開源LLM
開源LLM領域正在快速發(fā)展，全球開發(fā)者攜手改進和優(yōu)化LLM版本，有望縮小性能差距。在選擇開源LLM時，請考慮以下因素，以找到最適合您需求的模型：
-
目標：明確您的目標，注意許可限制，選擇適合商業(yè)用途的LLM。 -
需求：評估您是否真的需要LLM來實現想法，避免不必要的支出。 -
精度：大型LLMs通常更準確。若需要高精度，可考慮LLaMA或Falcon等大型模型。 -
資金：大型模型資源消耗大，需考慮基礎設施和云服務成本。 -
預訓練模型：若有適用的預訓練模型，可節(jié)省時間和金錢。
結語
IT行業(yè)的歷史告訴我們，開源是軟件領域里的一大潮流，它推動了應用生態(tài)的繁榮。但自從GPT3出現后，Open AI卻選擇了閉源，這使得開源大模型的發(fā)展似乎停滯在了GPT3.5的階段。不過，業(yè)界還是有一些不錯的前沿開源大模型，比如Meta的LLaMA3、Mistral 8x7B和零一萬物的Yi-34B等。
編輯：黃繼彥