很多人以為使用大語言模型（LLM）只是“寫提示詞（prompting）”。但如果目標是打造生產級（production-grade）的 AI 系統，僅僅依賴提示詞遠遠不夠。

圖片

真正的 LLM 開發需要系統性的工程能力：模型如何設計、部署、優化與運維。

本文整理了 AI 工程師必須掌握的 8 項核心技能，它們構成了 LLM 應用開發的八大支柱。

1. Prompt Engineering —— 提示詞工程

這是 LLM 開發的入門技能。

圖片

目標是 設計結構化的提示詞，減少歧義，讓模型輸出更穩定、更可控。

• 快速迭代不同提示詞版本
• 利用 Chain-of-Thought、Few-shot 示例等模式穩定回答
• 把提示詞設計當作“可復現的工程任務”，而不是純粹的“文案試錯”

2. Context Engineering —— 上下文工程

LLM 并不是無所不知，需要動態注入外部數據。

圖片

• 從數據庫、文檔、工具結果、長期記憶中注入上下文
• 設計合理的上下文窗口，平衡信息完整性與 Token 成本
• 處理檢索噪聲與上下文塌縮，尤其在長上下文場景下

這項技能是 RAG 和智能體的基礎。

3. Fine-tuning —— 模型微調

當基礎模型不能完全滿足業務需求時，就需要微調。

圖片

• 使用 LoRA / QLoRA 等高效方法，用領域數據適配模型
• 構建數據清洗與標注管道：去重、格式化、質量篩選
• 平衡“過擬合”與“泛化”，避免模型只記住訓練樣本

4. RAG 系統 —— 檢索增強生成

RAG（Retrieval-Augmented Generation）是減少“幻覺”的關鍵技術。

圖片

• 通過 向量數據庫 + Embedding 檢索外部知識
• 構建高召回率與高精度的檢索管道（分塊、索引、查詢重寫）
• 使用提示模板，把檢索到的上下文和用戶問題融合

這幾乎是所有企業級 LLM 應用的標配能力。

5. Agents —— 智能體

RAG 解決了知識增強，但要實現自主決策與復雜流程，需要 Agent 技術。

圖片

• 構建多步推理循環，驅動 LLM 使用工具完成任務
• 管理環境交互、狀態流轉、錯誤恢復
• 為推理失敗或外部 API 出錯設計回退機制

換句話說，Agent 讓 LLM 從“聊天機器人”進化為“可行動的助手”。

6. LLM Deployment —— 模型部署

從原型到生產，部署是不可或缺的一步。

圖片

• 將模型打包為 可擴展的 API 服務
• 管理 延遲、并發、故障隔離（如自動擴縮容、容器編排）
• 增加安全與成本監控：請求審計、濫用防護、Token 成本追蹤

像 Beam 這樣的開源框架能加速部署流程。

7. LLM Optimization —— 模型優化

生產中，性能與成本往往比參數量更重要。

圖片

• 應用 量化（Quantization）、剪枝（Pruning）、蒸餾（Distillation）
• 在速度、準確率、硬件占用之間做權衡
• 持續進行性能分析，避免優化過度影響功能

優化是讓 LLM 從“能跑”到“跑得快、跑得省”的必修課。

8. LLM Observability —— 可觀測性

沒有監控的 AI 系統是不可控的。

圖片

• 構建 日志、鏈路追蹤、監控面板，追蹤提示詞與模型響應
• 監控 Token 消耗、延遲波動、提示詞漂移
• 把觀測數據反饋到開發迭代中，實現持續改進

這是 LLM 應用的“運維基石”。

如果說 Prompt Engineering 是 LLM 開發的起點，那么 上下文工程、RAG、Agent、微調、優化、部署與可觀測性，才是把 LLM 真正帶入生產的關鍵技能。

未來的 AI 工程師，不只是會寫提示詞，更要懂 AI + 系統工程 的全鏈路能力。