“ 學(xué)習(xí)大模型的本地部署能夠讓你對(duì)模型的運(yùn)行流程更加了解，幫助你了解不同平臺(tái)和部署環(huán)境的優(yōu)劣以及適用場(chǎng)景。”

在大模型應(yīng)用中，本地部署模型可以說(shuō)是一個(gè)非常重要的環(huán)節(jié)，特別是對(duì)一些數(shù)據(jù)安全性較高的企業(yè)；因?yàn)槭褂玫谌侥Ｐ头?wù)，會(huì)存在數(shù)據(jù)泄露的問(wèn)題，因此很多企業(yè)選擇本地部署模型。

而且很多企業(yè)在招人時(shí)，也會(huì)要求有大模型本地部署的經(jīng)驗(yàn)；所以，今天我們就來(lái)學(xué)習(xí)一些大模型的本地部署，使用ollama部署工具。

大模型的本地部署

關(guān)于大模型的部署問(wèn)題，目前市場(chǎng)上有很多部署推理工具，如vllm，sglang，ollama，LLMStudio等等；不同的部署框架適合不同的應(yīng)用場(chǎng)景，有些框架適合學(xué)習(xí)和小規(guī)模開(kāi)發(fā)測(cè)試使用，如ollama，LLMStudio等；而有些適合企業(yè)級(jí)生成部署，如vllm，DeepSpeed等。

以我們今天使用的ollma框架為例，由于其小巧簡(jiǎn)單，因此很適合學(xué)習(xí)和測(cè)試使用；并且，其提供了多種交互接口，包括命令行——cli，GUI和API接口。

官網(wǎng)地址如下：??https://ollama.com/??

并且，ollama支持多種系統(tǒng)平臺(tái)，如window，mac，linux等；直接選擇自己的系統(tǒng)平臺(tái)點(diǎn)擊下載即可。

下載之后直接啟動(dòng)就是一個(gè)GUI的頁(yè)面，用戶可以在右下角選擇需要使用的模型，然后下載即可；當(dāng)然也可以在命令行進(jìn)行操作。

而ollama支持的模型，也可以點(diǎn)擊右上角的Models查看，里面支持大量 的模型。

搜索模型之后點(diǎn)擊進(jìn)去就能看到模型具體的下載命令，可以根據(jù)自己需要的版本進(jìn)行選擇:

由于作者的電腦沒(méi)有GPU，因此就選擇deepseek的小模型進(jìn)行測(cè)試，ollama run命令會(huì)直接從ollama倉(cāng)庫(kù)下載模型，當(dāng)然用戶也可以自己手動(dòng)下載之后直接啟動(dòng)，這樣就不用等待下載時(shí)間了。

模型會(huì)在第一次加載時(shí)需要下載，如果已經(jīng)下載過(guò)就不會(huì)在此下載；不過(guò)這里有一個(gè)注意點(diǎn)就是，由于模型較大，少則幾個(gè)G起步，多則幾十個(gè)G，上不封頂，因此一定要選擇一個(gè)大的磁盤(pán)才行。

ollama默認(rèn)下載地址：C:\Users\用戶名\.ollama\models，用戶可以自行修改, 左上角選擇setting即可進(jìn)入設(shè)置頁(yè)面:

當(dāng)模型下載成功之后，就可以通過(guò)ollama ps命令查看運(yùn)行中的模型。

前面講了ollama的基本使用和下載方式，但對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，我們需要的是通過(guò)API來(lái)訪問(wèn)模型，因此怎么使用API服務(wù)才是最重要的。

在ollama中封裝了模型的API服務(wù)，不需要我們編寫(xiě)任何服務(wù)端代碼；

這個(gè)是ollama的api文檔: 

英文版: https://github.com/ollama/ollama/blob/main/docs/api.md

中文版: ??https://ollama.readthedocs.io/api/??

ollama的默認(rèn)啟動(dòng)地址是 http://localhost:11434，可以使用curl對(duì)接口進(jìn)行測(cè)試：

curl http://localhost:11434/api/generate -d 
'{
  "model": "llama3.2",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

當(dāng)然，也可以通過(guò)apifox等api測(cè)試工具進(jìn)行測(cè)試，不過(guò)這里需要注意的一點(diǎn)是ollama默認(rèn)啟動(dòng)的api服務(wù)只能本地訪問(wèn)，如果想通過(guò)網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程訪問(wèn)，在保證網(wǎng)絡(luò)通的前提下，還需要對(duì)ollama的環(huán)境進(jìn)行配置。

環(huán)境變量配置： 

OLLAMA_HOST=0.0.0.0:11434

windows中ollama的環(huán)境變量配置和java sdk的配置相同;而mac和linux用戶可以自行搜索。

開(kāi)發(fā)人員可以根據(jù)ollama提供的接口文檔，基于ollama做業(yè)務(wù)開(kāi)發(fā)。

本文轉(zhuǎn)載自??AI探索時(shí)代?? 作者：DFires