谷歌開源最強端側(cè)小模型?。?/h1>共
5398字，需瀏覽
11分鐘
·
2024-08-03 23:48
谷歌也來卷「小」模型了，一出手就是王炸。-引自機器之心
今年 6 月底，谷歌開源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以來，27B 版本迅速成為了大模型競技場 LMSYS Chatbot Arena 中排名最高的開放模型之一，在真實對話任務(wù)中比其兩倍規(guī)模以上的模型表現(xiàn)還要好。
如今，僅僅過去了一個多月，谷歌在追求負責任 AI 的基礎(chǔ)上，更加地考慮該系列模型的安全性和可訪問性，并有了一系列新成果。
此次，Gemma 2 不僅有了更輕量級「Gemma 2 2B」版本，還構(gòu)建一個安全內(nèi)容分類器模型「ShieldGemma」和一個模型可解釋性工具「Gemma Scope」。具體如下：
-
Gemma 2 2B 具有內(nèi)置安全改進功能，實現(xiàn)了性能與效率的強大平衡；
-
ShieldGemma 基于 Gemma 2 構(gòu)建，用于過濾 AI 模型的輸入和輸出，確保用戶安全；
-
Gemma Scope 提供對模型內(nèi)部工作原理的無與倫比的洞察力。
其中，Gemma 2 2B 無疑是「最耀眼的仔」，它在大模型競技場 LMSYS Chatbot Arena 中的結(jié)果令人眼前一亮：僅憑 20 億參數(shù)就跑出了 1130 分，這一數(shù)值要高于 GPT-3.5-Turbo（0613）和 Mixtral-8x7b。
這也意味著，Gemma 2 2B 將成為端側(cè)模型的最佳選擇。
蘋果機器學習研究（MLR）團隊研究科學家 Awni Hannun 展示了 Gemma 2 2B 跑在 iPhone 15 pro 上的情況，使用了 4bit 量化版本，結(jié)果顯示速度是相當快。
視頻來源：https://x.com/awnihannun/status/1818709510485389563
此外，對于前段時間很多大模型都翻了車的「9.9 和 9.11 誰大」的問題，Gemma 2 2B 也能輕松拿捏。
圖源：https://x.com/tuturetom/status/1818823253634564134
與此同時，從谷歌 Gemma 2 2B 的強大性能也可以看到一種趨勢，即「小」模型逐漸擁有了與更大尺寸模型匹敵的底氣和效能優(yōu)勢。
這種趨勢也引起了一些業(yè)內(nèi)人士的關(guān)注，比如知名人工智能科學家、Lepton AI 創(chuàng)始人賈揚清提出了一種觀點：大語言模型（LLM）的模型大小是否正在走 CNN 的老路呢？
在 ImageNet 時代，我們看到參數(shù)大小快速增長，然后我們轉(zhuǎn)向了更小、更高效的模型。這是在 LLM 時代之前，我們中的許多人可能已經(jīng)忘記了。
-
大型模型的曙光：我們以 AlexNet（2012）作為基線開始，然后經(jīng)歷了大約 3 年的模型大小增長。VGGNet（2014）在性能和尺寸方面都可稱為強大的模型。
-
縮小模型：GoogLeNet（2015）將模型大小從 GB 級縮小到 MB 級，縮小了 100 倍，同時保持了良好的性能。類似工作如 SqueezeNet（2015）和其他工作也遵循類似的趨勢。
-
合理的平衡：后來的工作如 ResNet（2015）、ResNeXT（2016）等，都保持了適中的模型大小。請注意，我們實際上很樂意使用更多的算力，但參數(shù)高效同樣重要。
-
設(shè)備端學習？MobileNet（2017）是谷歌的一項特別有趣的工作，占用空間很小，但性能卻非常出色。上周，我的一個朋友告訴我「哇，我們?nèi)匀辉谑褂?MobileNet，因為它在設(shè)備端具有出色的特征嵌入通用性」。是的，嵌入式嵌入是實實在在很好用。
最后，賈揚清發(fā)出靈魂一問，「LLM 會遵循同樣的趨勢嗎？」
圖像出自 Ghimire 等人論文《A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration》。
Gemma 2 2B 越級超越 GPT-3.5 Turbo
Gemma 2 家族新增 Gemma 2 2B 模型，備受大家期待。谷歌使用先進的 TPU v5e 硬件在龐大的 2 萬億個 token 上訓練而成。
這個輕量級模型是從更大的模型中蒸餾而來，產(chǎn)生了非常好的結(jié)果。由于其占用空間小，特別適合設(shè)備應(yīng)用程序，可能會對移動 AI 和邊緣計算產(chǎn)生重大影響。
事實上，谷歌的 Gemma 2 2B 模型在 Chatbot Arena Elo Score 排名中勝過大型 AI 聊天機器人，展示了小型、更高效的語言模型的潛力。下圖表顯示了 Gemma 2 2B 與 GPT-3.5 和 Llama 2 等知名模型相比的卓越性能，挑戰(zhàn)了「模型越大越好」的觀念。
Gemma 2 2B 提供了：
-
性能卓越：在同等規(guī)模下提供同類最佳性能，超越同類其他開源模型；
-
部署靈活且經(jīng)濟高效：可在各種硬件上高效運行，從邊緣設(shè)備和筆記本電腦到使用云部署如 Vertex AI 和 Google Kubernetes Engine (GKE) 。為了進一步提高速度，該模型使用了 NVIDIA TensorRT-LLM 庫進行優(yōu)化，并可作為 NVIDIA NIM 使用。此外，Gemma 2 2B 可與 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及即將推出的 MediaPipe 無縫集成，以簡化開發(fā)；
-
開源且易于訪問：可用于研究和商業(yè)應(yīng)用，由于它足夠小，甚至可以在 Google Colab 的 T4 GPU 免費層上運行，使實驗和開發(fā)比以往更加簡單。
從今天開始，用戶可以從 Kaggle、Hugging Face、Vertex AI Model Garden 下載模型權(quán)重。用戶還可以在 Google AI Studio 中試用其功能。
下載權(quán)重地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
Gemma 2 2B 的出現(xiàn)挑戰(zhàn)了人工智能開發(fā)領(lǐng)域的主流觀點，即模型越大，性能自然就越好。Gemma 2 2B 的成功表明，復雜的訓練技術(shù)、高效的架構(gòu)和高質(zhì)量的數(shù)據(jù)集可以彌補原始參數(shù)數(shù)量的不足。這一突破可能對該領(lǐng)域產(chǎn)生深遠的影響，有可能將焦點從爭奪越來越大的模型轉(zhuǎn)移到改進更小、更高效的模型。
Gemma 2 2B 的開發(fā)也凸顯了模型壓縮和蒸餾技術(shù)日益增長的重要性。通過有效地將較大模型中的知識提煉成較小的模型，研究人員可以在不犧牲性能的情況下創(chuàng)建更易于訪問的 AI 工具。這種方法不僅降低了計算要求，還解決了訓練和運行大型 AI 模型對環(huán)境影響的擔憂。
ShieldGemma：最先進的安全分類器
技術(shù)報告：https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf
ShieldGemma 是一套先進的安全分類器，旨在檢測和緩解 AI 模型輸入和輸出中的有害內(nèi)容，幫助開發(fā)者負責任地部署模型。
ShieldGemma 專門針對四個關(guān)鍵危害領(lǐng)域進行設(shè)計：
-
仇恨言論
-
騷擾
-
色情內(nèi)容
-
危險內(nèi)容
這些開放分類器是對負責任 AI 工具包（Responsible AI Toolkit）中現(xiàn)有安全分類器套件的補充。
借助 ShieldGemma，用戶可以創(chuàng)建更加安全、更好的 AI 應(yīng)用
SOTA 性能：作為安全分類器，ShieldGemma 已經(jīng)達到行業(yè)領(lǐng)先水平；
規(guī)模不同：ShieldGemma 提供各種型號以滿足不同的需求。2B 模型非常適合在線分類任務(wù)，而 9B 和 27B 版本則為不太關(guān)心延遲的離線應(yīng)用程序提供了更高的性能。
如下表所示，ShieldGemma (SG) 模型（2B、9B 和 27B）的表現(xiàn)均優(yōu)于所有基線模型，包括 GPT-4。
Gemma Scope：讓模型更加透明
Gemma Scope 旨在幫助 AI 研究界探索如何構(gòu)建更易于理解、更可靠的 AI 系統(tǒng)。其為研究人員和開發(fā)人員提供了前所未有的透明度，讓他們能夠了解 Gemma 2 模型的決策過程。Gemma Scope 就像一臺強大的顯微鏡，它使用稀疏自編碼器 (SAE) 放大模型的內(nèi)部工作原理，使其更易于解釋。
Gemma Scope 技術(shù)報告：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf
SAE 可以幫助用戶解析 Gemma 2 處理的那些復雜信息，將其擴展為更易于分析和理解的形式，因而研究人員可以獲得有關(guān) Gemma 2 如何識別模式、處理信息并最終做出預測的寶貴見解。
以下是 Gemma Scope 具有開創(chuàng)性的原因：
-
開放的 SAE：超過 400 個免費 SAE，涵蓋 Gemma 2 2B 和 9B 的所有層；
-
交互式演示：無需在 Neuronpedia 上編寫代碼即可探索 SAE 功能并分析模型行為；
-
易于使用的存儲庫：提供了 SAE 和 Gemma 2 交互的代碼和示例。
瀏覽
251
共 5398字，需瀏覽 11分鐘
·
2024-08-03 23:48
谷歌也來卷「小」模型了，一出手就是王炸。-引自機器之心
今年 6 月底，谷歌開源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以來，27B 版本迅速成為了大模型競技場 LMSYS Chatbot Arena 中排名最高的開放模型之一，在真實對話任務(wù)中比其兩倍規(guī)模以上的模型表現(xiàn)還要好。
如今，僅僅過去了一個多月，谷歌在追求負責任 AI 的基礎(chǔ)上，更加地考慮該系列模型的安全性和可訪問性，并有了一系列新成果。
此次，Gemma 2 不僅有了更輕量級「Gemma 2 2B」版本，還構(gòu)建一個安全內(nèi)容分類器模型「ShieldGemma」和一個模型可解釋性工具「Gemma Scope」。具體如下：
-
Gemma 2 2B 具有內(nèi)置安全改進功能，實現(xiàn)了性能與效率的強大平衡； -
ShieldGemma 基于 Gemma 2 構(gòu)建，用于過濾 AI 模型的輸入和輸出，確保用戶安全； -
Gemma Scope 提供對模型內(nèi)部工作原理的無與倫比的洞察力。
其中，Gemma 2 2B 無疑是「最耀眼的仔」，它在大模型競技場 LMSYS Chatbot Arena 中的結(jié)果令人眼前一亮：僅憑 20 億參數(shù)就跑出了 1130 分，這一數(shù)值要高于 GPT-3.5-Turbo（0613）和 Mixtral-8x7b。
這也意味著，Gemma 2 2B 將成為端側(cè)模型的最佳選擇。
蘋果機器學習研究（MLR）團隊研究科學家 Awni Hannun 展示了 Gemma 2 2B 跑在 iPhone 15 pro 上的情況，使用了 4bit 量化版本，結(jié)果顯示速度是相當快。
視頻來源：https://x.com/awnihannun/status/1818709510485389563
此外，對于前段時間很多大模型都翻了車的「9.9 和 9.11 誰大」的問題，Gemma 2 2B 也能輕松拿捏。
圖源：https://x.com/tuturetom/status/1818823253634564134
與此同時，從谷歌 Gemma 2 2B 的強大性能也可以看到一種趨勢，即「小」模型逐漸擁有了與更大尺寸模型匹敵的底氣和效能優(yōu)勢。
這種趨勢也引起了一些業(yè)內(nèi)人士的關(guān)注，比如知名人工智能科學家、Lepton AI 創(chuàng)始人賈揚清提出了一種觀點：大語言模型（LLM）的模型大小是否正在走 CNN 的老路呢？
在 ImageNet 時代，我們看到參數(shù)大小快速增長，然后我們轉(zhuǎn)向了更小、更高效的模型。這是在 LLM 時代之前，我們中的許多人可能已經(jīng)忘記了。
-
大型模型的曙光：我們以 AlexNet（2012）作為基線開始，然后經(jīng)歷了大約 3 年的模型大小增長。VGGNet（2014）在性能和尺寸方面都可稱為強大的模型。 -
縮小模型：GoogLeNet（2015）將模型大小從 GB 級縮小到 MB 級，縮小了 100 倍，同時保持了良好的性能。類似工作如 SqueezeNet（2015）和其他工作也遵循類似的趨勢。 -
合理的平衡：后來的工作如 ResNet（2015）、ResNeXT（2016）等，都保持了適中的模型大小。請注意，我們實際上很樂意使用更多的算力，但參數(shù)高效同樣重要。 -
設(shè)備端學習？MobileNet（2017）是谷歌的一項特別有趣的工作，占用空間很小，但性能卻非常出色。上周，我的一個朋友告訴我「哇，我們?nèi)匀辉谑褂?MobileNet，因為它在設(shè)備端具有出色的特征嵌入通用性」。是的，嵌入式嵌入是實實在在很好用。
最后，賈揚清發(fā)出靈魂一問，「LLM 會遵循同樣的趨勢嗎？」
圖像出自 Ghimire 等人論文《A Survey on Efficient Convolutional Neural Networks and Hardware Acceleration》。
Gemma 2 2B 越級超越 GPT-3.5 Turbo
Gemma 2 家族新增 Gemma 2 2B 模型，備受大家期待。谷歌使用先進的 TPU v5e 硬件在龐大的 2 萬億個 token 上訓練而成。
這個輕量級模型是從更大的模型中蒸餾而來，產(chǎn)生了非常好的結(jié)果。由于其占用空間小，特別適合設(shè)備應(yīng)用程序，可能會對移動 AI 和邊緣計算產(chǎn)生重大影響。
事實上，谷歌的 Gemma 2 2B 模型在 Chatbot Arena Elo Score 排名中勝過大型 AI 聊天機器人，展示了小型、更高效的語言模型的潛力。下圖表顯示了 Gemma 2 2B 與 GPT-3.5 和 Llama 2 等知名模型相比的卓越性能，挑戰(zhàn)了「模型越大越好」的觀念。
Gemma 2 2B 提供了：
-
性能卓越：在同等規(guī)模下提供同類最佳性能，超越同類其他開源模型； -
部署靈活且經(jīng)濟高效：可在各種硬件上高效運行，從邊緣設(shè)備和筆記本電腦到使用云部署如 Vertex AI 和 Google Kubernetes Engine (GKE) 。為了進一步提高速度，該模型使用了 NVIDIA TensorRT-LLM 庫進行優(yōu)化，并可作為 NVIDIA NIM 使用。此外，Gemma 2 2B 可與 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及即將推出的 MediaPipe 無縫集成，以簡化開發(fā)； -
開源且易于訪問：可用于研究和商業(yè)應(yīng)用，由于它足夠小，甚至可以在 Google Colab 的 T4 GPU 免費層上運行，使實驗和開發(fā)比以往更加簡單。
從今天開始，用戶可以從 Kaggle、Hugging Face、Vertex AI Model Garden 下載模型權(quán)重。用戶還可以在 Google AI Studio 中試用其功能。
下載權(quán)重地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
Gemma 2 2B 的出現(xiàn)挑戰(zhàn)了人工智能開發(fā)領(lǐng)域的主流觀點，即模型越大，性能自然就越好。Gemma 2 2B 的成功表明，復雜的訓練技術(shù)、高效的架構(gòu)和高質(zhì)量的數(shù)據(jù)集可以彌補原始參數(shù)數(shù)量的不足。這一突破可能對該領(lǐng)域產(chǎn)生深遠的影響，有可能將焦點從爭奪越來越大的模型轉(zhuǎn)移到改進更小、更高效的模型。
Gemma 2 2B 的開發(fā)也凸顯了模型壓縮和蒸餾技術(shù)日益增長的重要性。通過有效地將較大模型中的知識提煉成較小的模型，研究人員可以在不犧牲性能的情況下創(chuàng)建更易于訪問的 AI 工具。這種方法不僅降低了計算要求，還解決了訓練和運行大型 AI 模型對環(huán)境影響的擔憂。
ShieldGemma：最先進的安全分類器
技術(shù)報告：https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf
ShieldGemma 是一套先進的安全分類器，旨在檢測和緩解 AI 模型輸入和輸出中的有害內(nèi)容，幫助開發(fā)者負責任地部署模型。
ShieldGemma 專門針對四個關(guān)鍵危害領(lǐng)域進行設(shè)計：
-
仇恨言論 -
騷擾 -
色情內(nèi)容 -
危險內(nèi)容
這些開放分類器是對負責任 AI 工具包（Responsible AI Toolkit）中現(xiàn)有安全分類器套件的補充。
借助 ShieldGemma，用戶可以創(chuàng)建更加安全、更好的 AI 應(yīng)用
SOTA 性能：作為安全分類器，ShieldGemma 已經(jīng)達到行業(yè)領(lǐng)先水平；
規(guī)模不同：ShieldGemma 提供各種型號以滿足不同的需求。2B 模型非常適合在線分類任務(wù)，而 9B 和 27B 版本則為不太關(guān)心延遲的離線應(yīng)用程序提供了更高的性能。
如下表所示，ShieldGemma (SG) 模型（2B、9B 和 27B）的表現(xiàn)均優(yōu)于所有基線模型，包括 GPT-4。
Gemma Scope：讓模型更加透明
Gemma Scope 旨在幫助 AI 研究界探索如何構(gòu)建更易于理解、更可靠的 AI 系統(tǒng)。其為研究人員和開發(fā)人員提供了前所未有的透明度，讓他們能夠了解 Gemma 2 模型的決策過程。Gemma Scope 就像一臺強大的顯微鏡，它使用稀疏自編碼器 (SAE) 放大模型的內(nèi)部工作原理，使其更易于解釋。
Gemma Scope 技術(shù)報告：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf
SAE 可以幫助用戶解析 Gemma 2 處理的那些復雜信息，將其擴展為更易于分析和理解的形式，因而研究人員可以獲得有關(guān) Gemma 2 如何識別模式、處理信息并最終做出預測的寶貴見解。
以下是 Gemma Scope 具有開創(chuàng)性的原因：
-
開放的 SAE：超過 400 個免費 SAE，涵蓋 Gemma 2 2B 和 9B 的所有層； -
交互式演示：無需在 Neuronpedia 上編寫代碼即可探索 SAE 功能并分析模型行為； -
易于使用的存儲庫：提供了 SAE 和 Gemma 2 交互的代碼和示例。