近日，AI大佬，現任Zoom CTO的黃學東，在自家的官網上發表了一篇博客。

其中隆重介紹了自己加入Zoom六個月之后創新的成果——Zoom AI Companion，以及驅動Zoom AI Companion的Zoom聯邦（federated approach）AI。

在Zoom之前，黃學東曾擔任微軟Azure AI首席技術官，他不僅是微軟首位全球華人技術院士，也是微軟最高級別的華人科學家。

黃學東在微軟任職了超過30年，在他的牽線搭橋下，微軟于1998年在北京建起第一個亞洲研究院。

在2017年和2020年，黃學東分別當選ACM和IEEE會士，并于2023年同時當選美國國家工程院院士和美國藝術與科學院院士。

黃學東表示，人工智能從概念化到實現的轉型之旅，就像一條曲折的道路，充滿了不斷的破壞、適應和創新。

「在過去的 30 年里，我一直走在這條道路上，從語音識別、自然語言理解，到計算機視覺。在我加入 Zoom 的過去六個月里，創新的步伐尤其令人震驚。」

Zoom聯邦AI，用合適的AI跑合適的任務

Zoom希望使用AI來改善人類協作方式，不斷提高生產力。

多年來，Zoom一直在為客戶提供語音識別、計算機視覺、機器翻譯和大型語言模型（LLM）等AI服務，以增強自家軟件的競爭力。

他們的最新產品Zoom AI Companion，旨在幫助用戶提高工作效率、促進無縫協作并獲得更深入的交流和見解。

Zoom的聯邦AI，能夠使用戶在之前付費服務的基礎上，不用額外花錢就能享受AI Companion的功能。

這樣能夠大大提升用戶的體驗，還能快速提高新技術的在用戶中的參與率。

但是對于Zoom這樣擁有大量用戶，高強度使用AI功能的軟件，LLM推理的額外成本怎么負擔呢？

要知道，GitHub的Copilot被傳說，每月收費10刀，依然每個用戶每月還要補貼20刀。

Zoom目前使用的LLM包括自有模型和第三方的模型（如OpenAI GPT-3.5和GPT-4，以及Anthropic Claude 2）。

Zoom聯邦AI，可以整合來自合作伙伴的最新的LLM技術（例如OpenAI最新發布的GPT-4 Turbo），進一步改善Zoom客戶的端到端體驗。

Zoom采用了具有更好成本效益的策略：

首先使用合適的低成本LLM來完成任務，然后通過Z-Scorer評估初始任務完成質量。

在有需要的情況下，Zoom會使用更高級的LLM， 對初始LLM所獲得的成果進行改進。

——這類似于一個有凝聚力的團隊協同工作，能夠比一個人更高效地生產更高質量的產品。

根據Zoom的內部測試，與OpenAI GPT-3.5 Turbo或其他幾種最先進的LLM相比，Zoom采用聯邦AI提高了AI Companion的輸出質量，還有效地控制了成本。

黃學東表示，他們衡量性能的標準是更低的成本、更快的響應時間和更高質量的輸出。

上圖是Zoom AI Companion與GPT-4在英文會議查詢任務上的性能和成本對比。

圖中比較的兩個關鍵指標為成本和輸出質量。

Zoom AI Companion只用了不到GPT-4 6%的成本，就能達到幾乎相當的輸出質量。

與微軟Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的會議提問功能，可降低成本，加快響應速度，同時保持相當的輸出質量。

上圖是Zoom AI Companion與GPT-4在多語言會議摘要任務上的對比。

此外，AI Companion的多語言性能，進一步證明了Zoom聯邦AI的強大功能，支持除英語之外的32種語言。

由于大多數LLM主要是使用英語數據進行預訓練，所以Zoom增加了翻譯模型來擴展多語言能力。

上圖對比了Zoom AI Companion與Microsoft Copilot在多語言會議摘要任務中的表現，同樣使用GPT-4作為Microsoft Copilot的代理來進行對比。

在Zoom AI Companion的多語言會議摘要中，使用Zoom的翻譯模型將非英語文本翻譯成英語，這樣能同時考慮翻譯數據與原始數據。

從圖中可以看出，Zoom AI Companion以不到6%的成本完成了質量接近于GPT-4-32k的輸出（97%）。

Zoom相信，人工智能的好處應該讓盡可能多的人廣泛使用，而Zoom的聯邦AI能夠無縫結合不同AI系統的優勢，提供高性能結果，在實現這一愿景方面發揮著重要作用。

Zoom AI Companion，最智能的會議助手

而Zoom現在幾乎所有AI功能的入口，都集中在了他們9月底推出的Zoom AI Companion上。

作為Zoom提供的「充值服務」，它利用Zoom提供的AI能力，能幫助你在中途加入會議之后，自動總結錯過的會議內容。

然后輪到你發言時，結合你的觀點和之前會議的內容，生成發言稿，真的做到了「替代用戶開會」。

在半程加入會議之后，AI可以告訴你會議的重點。

還能幫你實時轉錄翻譯其他參會者發言，一鍵獲取會議討論文本。

AI還能幫你把碎片化的信息歸納出來，最后為團隊生成會議總結和記錄。

還能把Zoom平臺上獲得的客戶短信息進行總結，生成具體的執行方案。

而且對于參加不了的會議，還可以在日程表上直接安排AI智能錄制，之后分段分重點回看。

而這整個AI伴侶背后，都凝結了Zoom和黃學東聯邦AI的技術思路，用合適的AI資源去處理合適的請求。

而且Zoom承諾，不會使用用戶的任何音頻、視頻、聊天、屏幕共享、附件或客戶生成的內容（例如投票結果、白板）等其他數據來訓練Zoom或第三方的AI。

這么多好用的功能，這么負責的AI，需要花多少錢呢？

150刀到200刀就能用一年，企業用戶還有專門的定制版本。