基于 LangServe 的 Deepseek 本地大模型服務化實踐
在人工智能技術飛速發展的今天，大模型（LLM）已成為推動 AI 應用落地的核心驅動力。上次分享「普通人上手 Deepseek 的實用攻略」，我們已經將 Deepseek 大模型的能力高效地部署到本地環境，并對外提供穩定的服務。
本文將分享我們基于 LangServe 框架，將 DeepSeek 本地大模型 服務化的實踐經驗，帶你一步步了解如何快速搭建、部署和管理本地大模型服務，讓 AI 能力真正觸手可及。
圖片
1、 認識 LangServe
LangServe 是一個專為語言模型設計的服務化框架，旨在幫助開發者將大模型能力快速封裝為 API 服務。它的核心優勢在于：
- 簡單易用：通過少量代碼即可完成模型服務的部署；
- 高性能：支持并發請求和高效推理，滿足生產環境需求；
- 靈活擴展：可與其他工具（如 LangChain）無縫集成，構建復雜 AI 應用。
對于需要在本地環境中部署大模型的團隊來說，LangServe 是一個不可多得的利器。
2、安裝實踐
從零到一的 DeepSeek 服務化，也是本文介紹的重點內容。
2.1 環境準備
- 安裝 LangServe：
pip install "langserve[all]"或者使用 pip install "langserve[client]" 安裝客戶端代碼，使用pip install "langserve[server]" 安裝服務器端代碼。
- 下載 DeepSeek 模型權重，并配置本地推理環境，之前「普通人上手 Deepseek 的實用攻略」已完成此步驟。
2.2 模型封裝
使用 LangServe 將 DeepSeek 模型封裝為 API 服務：
我們創建一個問答鏈，它提供簡單地計算功能，按步驟組織代碼
- 引入關聯類庫
from fastapi import FastAPI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama.llms import OllamaLLM
from langserve import add_routes- 創建提示詞模板
system_template = "來，一起計算這個難題吧！"
prompt_template = ChatPromptTemplate.from_messages([
('system', system_template),
('user', '{text}')
])- 創建本地大模型
model = OllamaLLM(model="deepseek-r1:1.5b")- 創建解析器
parser = StrOutputParser()- 創建鏈
chain = prompt_template | model | parser- App 定義
app = FastAPI(
title="LangChain Server",
versinotallow="1.0",
descriptinotallow="使用 LangChain 的 Runnable 接口的簡單 API 服務器。",
)- 添加鏈的路由
add_routes(
app,
chain,
path="/calc",)- 啟動命令
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="localhost", port=8010)至此，一個簡單的問答鏈已經創建好了。
運行它需要一個參數：`text`。
2.3 啟動程序
啟動此程序，出現類似下面的輸出則說明啟動成功。
圖片
根據上圖的信息，在瀏覽器輸入`http://localhost:8010/calc/playground/`
圖片
2.4 問答交互
接下來，我們嘗試輸入個簡單問題來進行交互吧~
圖片
