嘉賓丨詹坤林

撰稿丨諾亞

出品 | 51CTO技術棧（微信號：blog51cto）

在這個信息爆炸的時代，人工智能正悄然融入生活。然而，將AI技術迅速、高效地轉化為實用工具，始終是挑戰。在近期的WOT全球技術創新大會上，58同城高級總監、AI Lab負責人詹坤林分享了解決之道：通過使用大模型和AI智能體技術，突破傳統AI應用開發的局限，加速其落地，使人工智能成為觸手可及的智能伙伴。

1.搭建AI平臺，彌合算力到應用之間的巨大鴻溝

詹坤林介紹，“從去年開始我們全面擁抱大模型，尤其是大語言模型。在此背景下，我們構建了我們自己的垂類大語言模型——靈犀大模型（生成式人工智能服務備案編號：Beijing—LingXi—202407050027）。以此為基礎，我們對傳統的智能對話平臺進行了升級，并搭建了我們的智能體平臺，核心目的是讓我們的AI應用能夠快速落地。”

作為知名生活服務平臺，58同城的主要業務模式是連接B端與C端用戶，促成雙方交流，與此同時，近年來也在推動平臺內的交易閉環，進行產業化升級，深化產業價值鏈。

AI Lab作為58同城基礎平臺部，重點在支撐房產、招聘、汽車、本地服務四大業務線。鑒于從最基礎的AI算力到實際的AI應用之間存在巨大鴻溝，AI平臺就需要著力搭建橋梁，確保AI應用與算力高效對接，驅動創新實踐。

基于這一訴求，AI平臺架構分為這樣三層：底層為AI計算引擎，統一管理CPU/GPU資源，實現算力調度、模型訓練及推理，目標是“模型即服務”。在此基礎上，集成圖文音算法與大語言模型、多模態模型，供應用方調用構建服務；同時，為加速AI應用，增設AI應用平臺層，涵蓋智能對話、數字人、Agent等解決方案，使應用方能基于中間的應用平臺層的解決方案去快速落地應用；最終，讓AI應用滲透至銷售、客服、產品及內部辦公等全業務流程。

圖片

2.構建大模型平臺，適應多樣化的業務場景和硬件環境

那具體來說要怎么做呢？

詹坤林首先提到了構建大語言模型平臺的思路：之所以要打造這樣一個平臺，一則是因為AI Lab作為平臺部門需要提供一個能夠滿足各業務線需求的通用平臺，使大家能夠便捷地利用大模型，避免重復造輪子；二則基于這樣的認知——通用的大語言模型結合Prompt提示在某些應用場景下可能難以滿足特定需求，需要應用方基于特定應用場景進行模型的微調。

在這樣的思路指引下，建設路徑也漸趨清晰：構建一套支持大語言模型訓練、推理的平臺，集成各類開源通用大模型，供應用方調用和微調。

落到實處，平臺建設遵循了這一路徑：集成了主流開源大模型，并嵌入LoRA、QLoRA微調算法及MoE訓練策略，支持從模型微調到一鍵部署的全流程。應用方僅需上傳數據，選擇微調方法，即可快速上線定制模型，利用開源推理框架如vLLM實現高效推理。

與此同時，詹坤林強調，有了平臺還不夠，還需要持續追蹤業界進展來不斷優化。比如，采用MoE架構，通過分割大模型為小模塊，減少推理時所需參數，優化GPU資源利用；再比如，針對GPU稀缺場景，采用S-LoRA技術，可以在同一張GPU卡上部署和運行多個微調過的模型，顯著降低部署成本。

3.打造垂類大模型“靈犀”，為具體業務場景量體裁衣

在58同城的創新之旅中，除了構建大模型平臺之外，打造垂類大模型是另一個重點。

考慮到58同城特有的房產、招聘等垂直場景，通用大模型往往因缺乏針對性數據而在這些領域表現平平。因此，AI Lab在搭建平臺之外開始著手開發專屬于58的垂直大模型，以期獲得更佳的場景適應性和表現效果。

據詹坤林介紹，為了避免從0到1的高昂成本，他們決定在開源模型基礎上，利用58同城豐富的業務數據進行增量預訓練，從而平衡模型性能與資源消耗。

訓練過程分為三個階段，融入58業務數據的同時引入公共數據，然后進行精心配比，確保模型既能夠吸收特定領域的知識，又能夠保留通用語言模型的能力，避免災難性遺忘的問題，之后再進行微調和對齊，確保其在特定任務上的表現達到最優。

在評測效果方面，靈犀大模型經公開數據集與內部場景雙重評測，相較于同尺寸開源模型，在特定指標上展現優勢。另外，安全模型的開發尤為關鍵，針對內容審核需求，如涉政、涉黃信息識別，靈犀安全大模型在與GPT4的對比中也展現出顯著優勢。

圖片

目前，58同城靈犀大模型已經正式通過生成式人工智能服務備案（模型名稱：靈犀，備案單位：北京五八信息技術有限公司，上線備案編號：Beijing—LingXi—202407050027）。點擊可見

詹坤林還提到，在某些場景下，基于百億參數的模型去打造應用，相比千億參數模型更有優勢。“去年，在業界未開源大參數模型時，我們的百億參數模型效果和性能媲美甚至優于某閉源千億參數模型，證明小規模模型亦可高效應對復雜場景。”

為滿足不同技能水平團隊的需求，58同城AI Lab構建了全面的大模型API體系，不僅允許迅速部署內部模型，確保新模型發布后能即時上線，而且整合了市場上的商用大模型API，簡化了調用流程。

依托這套邏輯，AI平臺與應用方的合作形式靈活多樣：應用方可直接在平臺上微調模型；也可以采用垂直模型定制解決方案；即使是缺乏技術背景的團隊也可以直接收獲一站式服務。

4.建設AI Agent平臺，按下應用落地加速鍵

需要承認的是，對于不少應用方，尤其是小型團隊開發者來說，微調大模型還是成本過高、耗時過長。為此，58同城AI Lab以靈犀大模型作為大腦驅動，構建了一套AI Agent平臺，旨在加速AI應用落地。

詹坤林簡單說明了這套智能體平臺的構建過程：他們基于開源模型微調出適應Agent場景的模型，強化角色扮演（如扮演HR或銷售）和工具調用能力。經過優化，不僅提升了工具調用的準確性，還增強了模型的通用性能。

平臺的關鍵特色之一是自主研發的RAG功能，允許上傳文檔以構建知識庫，從而豐富AI的回答。工作流自動化使得AI Agent能獨立執行任務。

區別于業界其他智能體平臺只能在自有生態下生成智能體頁面，該平臺可以生成智能體API，提供的API便于開發者將智能體無縫整合進自定義應用，極大地提高了靈活性和創新空間。

對比多家智能體平臺，實測表明，在綜合場景下，因對文本向量化和大模型進行了針對性微調，平臺的RAG方案優勢明顯借助此技術，運營方即使無算法團隊，也能通過AI Agent平臺快速搭建應用。只需上傳文檔，系統便自動完成解析、向量化、檢索與排序，由大模型完成回答，大幅簡化了文檔問答的實現過程。

目前58同城正全面應用大模型技術，涉足銷售、客服、用戶體驗和內部辦公等多個領域，已成功部署逾50款AI應用。

以銷售培訓場景為例，58同城面對高流動性的電銷團隊，新員工需迅速掌握銷售技巧。傳統培訓耗資費時，涉及大量人力一對一指導話術。為解決此問題，引入了基于大模型的角色扮演機器人作為陪練，它能模仿優秀銷售的溝通方式及不同客戶的反應，幫助新員工通過互動學習提高銷售技能，減少真人培訓的成本。   

再比如，在內部辦公和研發效率方面，SQL智能助手優化了數據分析流程。這款工具專注于生成SQL語句、自動糾錯以及響應自然語言查詢，例如快速獲取部門收入數據或圖表展示，極大提升了決策者和業務團隊獲取關鍵信息的速度，減少了編寫復雜查詢的需求。

5.結語

最后，詹坤林分享了他關于大模型開發與應用的實踐總結：

第一，對于專注于特定垂直領域的公司而言，基于開源大模型開發的垂直模型展現出了顯著的優勢。

第二，參數量并非決定一切。不必對于模型大小過度焦慮，選擇模型時應更加注重具體應用場景的需求。

第三，無論是垂直模型的構建，大模型平臺的搭建，還是智能體平臺的開發，所有努力的共同目標都是為了孵化出具有重大影響力的應用。

總而言之，企業應該采取開放態度，積極利用大模型的力量，通過定制化和開放合作，尋求在垂直領域內創造對業務具有高價值、高影響力的新型應用，這一趨勢有望在未來幾年內持續發展并帶來行業變革。

本文轉載自??51CTO技術棧??，作者：諾亞