GPT-4V危？又一個(gè)SOTA多模態(tài)大模型Reka Core來(lái)了！
共 2589字，需瀏覽 6分鐘
·
2024-04-16 08:29
點(diǎn)藍(lán)色字關(guān)注“機(jī)器學(xué)習(xí)算法工程師”
設(shè)為星標(biāo)，干貨直達(dá)！
RekaAILabs最新發(fā)布了他們目前SOTA的多模態(tài)模型Reka Core。Reka Core在權(quán)威的評(píng)估指標(biāo)上與OpenAI、Anthropic和Google的SOTA模型不相上下。
Reka Core在多模態(tài)模型評(píng)估集MMMU上與GPT-4V相當(dāng)，在由獨(dú)立第三方機(jī)構(gòu)進(jìn)行的多模態(tài)人類評(píng)估中，其性能超過(guò)了Claude-3 Opus，并且在視頻任務(wù)上超越了Gemini Ultra。在語(yǔ)言任務(wù)方面，Core在廣為接受的基準(zhǔn)測(cè)試中與其他前沿模型具有競(jìng)爭(zhēng)力。
Reka Core具有以下能力：
多模態(tài)（圖像和視頻）理解：Core不僅僅是一個(gè)前沿的大型語(yǔ)言模型。它對(duì)圖像、視頻和音頻有著強(qiáng)大的情境理解能力，并且是市場(chǎng)上僅有的兩個(gè)商用全面的多模態(tài)解決方案之一。
128K上下文窗口：Core能夠攝取并準(zhǔn)確地召回更多的信息。
推理能力：Core具有出色的推理能力（包括語(yǔ)言和數(shù)學(xué)），使其適合需要復(fù)雜分析的復(fù)雜任務(wù)。
編程和代理性工作流程：Core是頂尖的代碼生成器。它的編碼能力與其他能力結(jié)合，可以賦能代理性工作流程。
多語(yǔ)言：Core在32種語(yǔ)言的文本數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練。它不僅精通英語(yǔ)，還流利掌握幾種亞洲和歐洲語(yǔ)言。
部署靈活性：Core可以通過(guò)API、本地部署或設(shè)備上部署，以滿足客戶和合作伙伴的部署限制。
Reka Core在架構(gòu)上采用Encoder-Decoder結(jié)構(gòu)，如下所示，它可以支持圖像，文本，視頻和音頻作為輸入，但只支持文本輸出。更多信息見(jiàn)Reka Core的技術(shù)報(bào)告。
Reka官方也展示了Reka Core和其它模型的具體例子對(duì)比，見(jiàn)https://showcase.reka.ai/。
推薦閱讀
使用PyTorch 2.0加速Transformer：訓(xùn)練推理均拿下！
機(jī)器學(xué)習(xí)算法工程師
一個(gè)用心的公眾號(hào)