核心觀點總結：語言驅動Agent與非共識之路姚順雨的經歷和研究都體現了“非共識”的路徑，他一直致力于Agent（智能體）研究，并堅信語言是實現泛化和開放世界決策的本質工具。1.Agent的本質：語言是為泛化而生的工具?非共識起點：2018年選擇讓語言模型玩游戲，而不是當時主流的BERT。?開放世界的本質：真實世界的行為空間是開放的（openended），傳統NLP的有限選項無法應對。?語言的特殊性：語言是一個通用性（generalpurpose...

前言2025年是AIAgent真正進入生產環境的元年。不同于早期AutoGPT式的寬泛自主Agent，現在的生產級Agent更加垂直化、范圍明確、高度可控，具備定制化的認知架構。LinkedIn、Uber、Replit和Elastic等公司都在生產環境中使用LangGraph構建實際業務場景。本文將基于LangGraph框架，為應用開發者提供一套完整的Agent構建方法論，從概念驗證到生產部署的全流程實戰指南。核心架構：狀態圖驅動的Agent設計LangGraph采用有向圖架構組織A...

本文將帶你了解LLM評估的最新狀態，探索經過驗證的策略，包括離線和在線基準測試。評估大型語言模型（LLM）感覺就像是試圖解開一個巨大的線團——事情千頭萬緒，往往不知道應該從哪一頭開始。從應對不可預測的用戶輸入到選擇合適的指標，整個過程可能讓人不知所措。但是，請不要驚慌！在這篇文章中，我們將為你梳理一些久經考驗的最佳實踐、常見的陷阱和實用技巧，幫助你對LLM的性能進行基準測試。無論你是剛剛入門還是需要快速...

Nature最新論文深度剖析：從15.6%到86.7%，這是如何實現的？DeepSeekR1論文首登《自然》封面，梁文鋒團隊正面回應蒸餾質疑、發布詳盡安全報告9月17日，在Nature上發表的DeepSeekR1論文《DeepSeekR1incentivizesreasoninginLLMsthroughreinforcementlearning》[1]引起了業界廣泛關注。這不僅僅是因為它在AIME2024數學競賽上取得了86.7%的驚人成績，更重要的是它展示了一條完全不同的技術路徑：不依賴人工標注的推理軌跡，純粹通...

前言2025年是AIAgent真正進入生產環境的元年。不同于早期AutoGPT式的寬泛自主Agent，現在的生產級Agent更加垂直化、范圍明確、高度可控，具備定制化的認知架構。LinkedIn、Uber、Replit和Elastic等公司都在生產環境中使用LangGraph構建實際業務場景。本文將基于LangGraph框架，為應用開發者提供一套完整的Agent構建方法論，從概念驗證到生產部署的全流程實戰指南。核心架構：狀態圖驅動的Agent設計LangGraph采用有向圖架構組織A...

Google發布的《Agents》白皮書，為AIAgent的工程化實踐提供了系統性的技術框架。作為一線開發者，我們需要的不是概念解釋，而是可操作的技術方案。本文基于白皮書內容，結合實際開發經驗，為Agent應用開發者提供從架構設計到生產部署的完整技術路徑。如果你正在或計劃開發Agent應用，這篇文章將幫你避開常見的技術陷阱，選擇合適的架構模式。Agent的核心架構分為三個關鍵部分：模型、工具和編排層。1.模型層（Model）這是Agent...

隨著大模型技術的飛速發展，AI智能體（AIAgent）正成為下一代AI應用的核心。本文將深入探討AI智能體的核心構成、設計范式，并分析其在工程化、評估和未來發展上的關鍵要點。特別關注智能體如何與GPU加速卡、云原生環境協同工作，為大模型技術愛好者和GPU加速卡使用者提供深度洞察。1.什么是AI智能體？并非所有的AI產品都能稱為智能體（Agent）。一個完整的智能體需具備以下四項核心能力：對話能力、推理能力、長記憶能力和工具...

大家好，作為大模型技術的深度玩家，你是否已經厭倦了單純的問答和對話？當LLM（大型語言模型）的推理能力遇上各種外部工具，我們正迎來一個全新的時代——智能體（Agent）時代。智能體，顧名思義，就是能像人一樣思考、規劃、行動，并根據環境反饋進行調整的AI實體。它不再是被動回答問題的工具，而是能夠主動執行復雜任務的“大腦”。今天，我們就來一起深入探討六種當下最前沿的智能體設計范式，看看如何用它們真正釋放GPU的...

核心摘要智能體需要上下文來執行任務。上下文工程，是一門將恰當信息精準填入智能體上下文窗口的藝術與科學。本文將當下主流智能體中常見的上下文工程策略歸納為幾大類。上下文工程的本質安德烈·卡帕西（AndrejKarpathy）曾將大型語言模型（LLMs）比作一種新型操作系統。其中，LLM如同中央處理器（CPU），其上下文窗口則扮演著隨機存取存儲器（RAM）的角色，作為模型的工作記憶。正如RAM容量有限，LLM的上下文窗口在處理多種上...

在當前大模型（LLM）應用如火如荼的時代，無論是構建智能客服、實時搜索助手，還是驅動創意內容生成，大模型的推理速度都已不再是可有可無的“奢侈品”，而是直接決定用戶體驗和運營成本的關鍵。我們常常會發現，即便是一個在訓練階段表現優異的大模型，部署到生產環境后，其理論性能與實際表現之間卻存在著巨大的鴻溝。這種差距可能表現為：請求延遲時高時低，從毫秒級飆升到數十秒；系統吞吐量不穩定，并發處理能力難以預測；...

痛點：大模型性能評估的"黑盒困境"想象一下這樣的場景：你剛剛部署了一個32B參數的DeepSeekR1模型，信心滿滿地準備上線服務。但突然有人問你："這個模型能承受多大的并發？延遲如何？每秒能處理多少tokens？"面對這些問題，很多開發者只能憑經驗猜測，或者寫一些簡單的腳本測試。這就像是駕駛一輛沒有儀表盤的汽車——你永遠不知道自己跑得有多快，油還能跑多遠。傳統壓測方案的局限性：???指標單一：只能測基本的QPS，缺乏細...

Part.1RAG這么火，你會用嗎？自從大模型技術走向市場以來，“幻覺”現象總是對用戶造成困擾，而RAG（RetrievalAugmentedGeneration，檢索增強生成）技術正在成為解決這一難題的利器。國內眾多科技大廠在實踐RAG技術時都取得了階段性的成果。螞蟻集團采用RAG技術，通過知識庫分層構建、復雜文檔處理、混合搜索策略和總結模型優化，答案獲取效率提高約20%。阿里云通過外掛知識庫提供可靠知識，優化知識檢索與答案生成流程，成功化...

在大模型應用日益普及的今天，如何寫出高質量的提示詞成為了每個開發者必須掌握的技能。最近，專業提示工程師SanderSchulhoff和他的團隊完成了一項重要研究：分析超過1500篇學術論文，梳理出200多種提示技巧，并從中篩選出了5種最有效的核心方法。這些發現不僅有學術價值，更具備很強的實踐指導意義。讓我們深入了解這些經過驗證的技巧。1.少量示例法：讓模型從示例中學習原理解析傳統的提示往往直接拋出問題，期望模型能夠理解...

引言ClaudeCode是Anthropic推出的智能編程助手，它直接集成到你的終端環境中，能夠理解你的代碼庫，并通過自然語言命令幫助你更快地編程。本文將系統介紹ClaudeCode的無門檻配置方法，通過使用GitHubCopilot作為模型提供者，讓你無需訂閱Claude賬戶即可享受強大的AI編程能力。什么是ClaudeCodeClaudeCode是一個革命性的開發工具，它將AI助手直接集成到你的開發環境中。與傳統的代碼生成工具不同，ClaudeCode具有以下特點：?理...

前言上周，團隊準備用??DeepSeek32B??模型做微調，結果第一次訓練就遇到了顯存爆炸。各種OOM錯誤讓人抓狂。經過摸索和實踐，終于摸清了LLaMAFactory參數配置的門道。今天把這些經驗分享出來，希望能幫大家避開我踩過的坑。LLaMAFactory參數體系全景LLaMAFactory有400+個配置參數，看起來很復雜，但其實可以分為三個層次：核心層（必須配置）：決定能否跑起來優化層（影響性能）：決定跑得好不好高級層（錦上添花）：決定跑...

隨著大模型應用的普及，越來越多的企業開始關注私有化部署。今天我們聊聊如何在??海光DCUK100AI??計算卡上部署Xinference推理框架，構建一套完整的私有AI推理服務。為什么選擇Xinference？Xinference是一個功能強大的開源推理平臺，可以理解為"本地版的OpenAIAPI"。它的優勢在于：統一接口：無論是大語言模型、多模態模型還是嵌入模型，都提供統一的調用方式。硬件兼容性強：支持CPU、NVIDIAGPU、海光DCU等多種硬件平臺。自...

隨著Claude4、DeepSeekV3等大語言模型的爆發式發展，模型參數規模已經達到千億甚至萬億級別。這些"巨無霸"模型雖然性能強大，但也帶來了巨大的計算和存儲挑戰。一個70B參數的模型，僅權重就需要約140GB的顯存，這讓大多數企業和個人用戶望而卻步。量化技術的出現，為解決這一難題提供了有效路徑。通過將模型權重從32位浮點數壓縮到4位或8位整數，可以大幅降低存儲需求和計算成本，同時盡可能保持模型性能。什么是模型量化？模型...

一、前言隨著大語言模型（LLM）的飛速發展，如何在特定領域或任務上對預訓練模型進行高效微調，已成為業界關注的焦點。LLaMAFactory作為一個功能強大且易于上手的LLM微調框架，受到了廣泛關注。本文將聚焦于在國產DCU平臺上，利用LLaMAFactory對Llama3模型進行LoRA微調的實踐過程，并分享其中的關鍵步驟與經驗。??海光DCU實戰項目來了！助您輕松駕馭大模型與HPC開發??為幫助開發者更便捷在海光DCU上進行大模型（訓練、微調、推...

從梁寧的《真需求》一書中，我提煉出對AI大模型創業者特別有價值的洞見。本文將結合AI領域特點，探討價值創造、共識構建和產品打磨的核心原則。一、從價值本質看AI大模型創業"商業價值無法自己一廂情愿地說有就有，它是由交易的對手盤一買方，來決定的。因此，進入商業世界的第一個訓練，就是要擺脫自己的主觀感受和主觀愿望，站到買方那一側來審視自己手上的東西。"在AI大模型創業中，這一點尤為關鍵。技術人員容易陷入"技術決...

還在反復輸入同樣的AI提示詞嗎？還在為找不到之前用過的高質量Prompt而煩惱嗎？如果你是AI大模型的重度用戶，那么今天介紹的這款瀏覽器插件絕對能讓你愛不釋手。QuickPrompt，一款專為提示詞管理設計的效率工具，它能讓你的AI對話效率提升10倍不止。一鍵喚出，告別復制粘貼在ChatGPT、Claude或文心一言等任何輸入框中，只需輸入??p??，立即喚出你的提示詞庫，從中選擇需要的提示詞一鍵插入。解放雙手，無需在各種筆記軟件間...