K8S, AI 大模型推理優(yōu)化的新選擇!

▼ 最近直播超級(jí)多， 預(yù)約 保你有收獲

今晚直播： 《 大模型Agent應(yīng)用落地實(shí)戰(zhàn) 》

— 1 —

AI 大模型訓(xùn)練和推理

Docker 容器和 Kubernetes 已經(jīng)成為越來(lái)越多 AI 應(yīng)用首選的運(yùn)行環(huán)境和平臺(tái)。一方面，Kubernetes 幫助用戶標(biāo)準(zhǔn)化異構(gòu)資源和運(yùn)行時(shí)環(huán)境、簡(jiǎn)化運(yùn)維流程；另一方面，AI 這種重度依賴 GPU 的場(chǎng)景可以利用 K8S 的彈性優(yōu)勢(shì)節(jié)省資源成本。在 AIGC/大模型的這波浪潮下，以 Kubernetes 上運(yùn)行 AI 應(yīng)用將變成一種事實(shí)標(biāo)準(zhǔn)。

大模型訓(xùn)練和推理是企業(yè)重要應(yīng)用，但企業(yè)往往面臨著 GPU 管理復(fù)雜、資源利用率低，以及全生命周期管理中工程效率低下等挑戰(zhàn)。通過(guò)創(chuàng)建 kubernetes 集群，使用 KServe + vLLM 部署推理服務(wù)。適用于以下場(chǎng)景：

• 大模型訓(xùn)練：基于 Kubernetes 集群微調(diào)開(kāi)源大模型，可以屏蔽底層資源和環(huán)境的復(fù)雜度，快速配置訓(xùn)練數(shù)據(jù)、提交訓(xùn)練任務(wù)，并自動(dòng)運(yùn)行和保存訓(xùn)練結(jié)果。
• 大模型推理：基于 Kubernetes 集群部署推理服務(wù)，可以屏蔽底層資源和環(huán)境的復(fù)雜度，快速將微調(diào)后的大模型部署成推理服務(wù)，將大模型應(yīng)用到實(shí)際業(yè)務(wù)場(chǎng)景中。
• GPU 共享推理： 支持 GPU 共享調(diào)度能力和顯存隔離能力，可將多個(gè)推理服務(wù)部署在同一塊 GPU 卡上，提高 GPU 的利用率的同時(shí)，也能保證推理服務(wù)的穩(wěn)定運(yùn)行。

— 2 —

vLLM 大模型推理加速器

• vLLM 是一個(gè)快速且易于使用的 LLM 推理和服務(wù)庫(kù)。
• vLLM 支持了并行取樣，如下所示：

• vLLM 支持了對(duì)多個(gè)輸出進(jìn)行采樣，如下所示：

— 3 —

KServe 大模型推理平臺(tái)

• 跨機(jī)器學(xué)習(xí)框架，提供高性能標(biāo)準(zhǔn)化推理協(xié)議。
• 支持現(xiàn)代無(wú)服務(wù)器推理工作負(fù)載，具有基于請(qǐng)求在 CPU 和 GPU 的自動(dòng)縮放（包括縮放至零）。
• 使用ModelMesh 支持 高可擴(kuò)展性、密度封裝和智能路由。
•  簡(jiǎn)單且可插入的生產(chǎn)服務(wù)： 用于推理、預(yù)/后處理、監(jiān)控和可解釋性。
• 高級(jí)部署： 金絲雀部署、Pipeline、InferenceGraph。

領(lǐng)取《AI 大模型技術(shù)直播》

END