打造本地ChatGPT，簡單2步部署Llama3

現(xiàn)在還沒有用上ChatGPT的朋友，平替方法來了，在本地部署大模型。實現(xiàn)與GPT幾乎一樣的問答效果！

這是一篇關(guān)于大模型本地部署的教程，使用目前最強(qiáng)開源大模型LlaMA3，這篇先總結(jié)一種最簡單、操作步驟最精簡的本地部署方法。主要有2步。

2024年4月19日，Meta公司發(fā)布Llama3，共有8B，70B兩種參數(shù)，分為基礎(chǔ)預(yù)訓(xùn)練和指令微調(diào)兩種模型。與Llama2相比，Llama3使用了15Ttokens的訓(xùn)練數(shù)據(jù)，在推理、數(shù)學(xué)、代碼生成、指令跟蹤等能力獲得大幅度提升。

使用完全免費。

步驟1：安裝Ollama

Ollama可以簡單理解為客戶端，實現(xiàn)和大模型的交互。ollama軟件win和mac都包括：

在這里已經(jīng)為大家準(zhǔn)備好，只需要在我的公眾號回復(fù)消息：ollama，就能下載到軟件。

下載之后打開，直接點擊Next以及Install安裝ollama，安裝步驟非常簡單。

步驟2：安裝Llama

下載Llama3，打開新的終端/命令行窗口，執(zhí)行以下命令：

ollama run llama3

程序會自動下載Llama3的模型文件，默認(rèn)是8B，也就80億參數(shù)版本，個人電腦完全可以運行。

等待安裝完成：

以上就已經(jīng)安裝完畢，到現(xiàn)在大模型已經(jīng)在本地部署完成。

使用Llama3

打開一個終端窗口，再次輸入 ollama run llama3，自動就會啟動，進(jìn)入會話界面：

發(fā)第一條消息，你是誰，用中文回答，與Llama2相比，Llama3確實在回答速度上大幅提升，基本小于秒級：

發(fā)第二條消息，Python代碼，冒泡排序，代碼+解釋，回答響應(yīng)非?？?，如下圖所示：

再告訴它，用中文回答，返回中文回答結(jié)果：

總結(jié)

Llama3 本地部署大模型，這是最精簡的一種方法，推薦大家先按照此方法去實踐，使用起來。

作者：郭震