大概北京時(shí)間昨天下午五點(diǎn)左右，繼上次的星際之門(mén)項(xiàng)目之后，OpenAI 再次成為 AI 社區(qū)的熱門(mén)關(guān)鍵詞，因?yàn)橛?ChatGPT Pro 用戶(hù)發(fā)現(xiàn)其用戶(hù)界面中多了一個(gè)叫做 Operator 的選項(xiàng)。這是 OpenAI 的 Computer Use 智能體要來(lái)了嗎？

大概是因?yàn)檫@個(gè)消息，ChatGPT 訪(fǎng)問(wèn)量突然暴增，大量用戶(hù)上線(xiàn)想要一探究竟，讓 ChatGPT 承受不住，直接投降了。

宕機(jī)大概持續(xù)了 3 小時(shí)。

凌晨 2 點(diǎn)，直播開(kāi)始，Operator 與 Agents 發(fā)布。

我們終于看到了 Operator 的真身，它是一個(gè)研究預(yù)覽（research preview）版本的智能體，可以訪(fǎng)問(wèn)互聯(lián)網(wǎng)來(lái)為用戶(hù)自動(dòng)執(zhí)行各種任務(wù)。OpenAI 表示希望很快將它集成到ChatGPT中。目前，Operator 只供美國(guó)的 Pro 用戶(hù)使用。

雖然 computer use 類(lèi)智能體早已經(jīng)不新鮮，畢竟 Anthropic 早在去年 10 月就已經(jīng)發(fā)布了自己的 computer use 功能。而就在昨日，國(guó)內(nèi)大模型廠(chǎng)商智譜的電腦智能體 GLM-PC 也開(kāi)放了體驗(yàn)，它能像人類(lèi)一樣「觀(guān)察」和「操作」計(jì)算機(jī)，協(xié)助用戶(hù)高效完成各類(lèi)電腦任務(wù)。并且現(xiàn)在市面上還有不少開(kāi)源實(shí)現(xiàn)，但 Operator 發(fā)布后還是引起了社交網(wǎng)絡(luò)一片沸騰 —— 畢竟這是 OpenAI。

OpenAI 總裁 Greg Brockman 再次重申了他的觀(guān)點(diǎn)：2025 年是智能體之年。

也已經(jīng)有動(dòng)作快的 Pro 用戶(hù)分享了自己的使用案例，像是根據(jù)圖片和菜譜訂購(gòu)?fù)聿褪巢?、根?jù) Reddit 上分享的冷門(mén)景點(diǎn)規(guī)劃周末旅行、研究加密貨幣投資等等。

又或者，通過(guò)用戶(hù)點(diǎn)評(píng)找到斯德哥爾摩最好的酒店。

當(dāng)然，吐嘈調(diào)侃 OpenAI 的網(wǎng)友也有不少。

Operator 功能演示與技術(shù)概覽

Operator 的用戶(hù)界面如下：

OpenAI 表示，Operator 由一個(gè)名為「計(jì)算機(jī)使用智能體」（Computer-Using Agent，CUA）的新模型提供支持。CUA 將 GPT-4o 的視覺(jué)功能與通過(guò)強(qiáng)化學(xué)習(xí)獲得的高級(jí)推理相結(jié)合，經(jīng)過(guò)訓(xùn)練可以與圖形用戶(hù)界面 （GUI，即人們?cè)谄聊簧峡吹降陌粹o、菜單和文本字段）進(jìn)行交互。

就其功能來(lái)說(shuō)，Operator 可以「查看」（通過(guò)屏幕截圖）和「交互」（使用鼠標(biāo)和鍵盤(pán)允許的所有操作）瀏覽器，從而使其無(wú)需自定義 API 集成即可在 Web 上采取行動(dòng)。

同時(shí)，如果遇到挑戰(zhàn)或犯錯(cuò)，Operator 可以利用其推理能力進(jìn)行自我糾正。當(dāng) Operator 卡住并需要幫助時(shí)，它只需將控制權(quán)交還給用戶(hù)，確保流暢的協(xié)作體驗(yàn)。

我們來(lái)看幾個(gè) Operator 的演示功能，比如幫你預(yù)訂餐廳：

再比如上傳一張圖片（手寫(xiě)購(gòu)物單），上面有你想要買(mǎi)的各種東西，直接讓 Operator 幫你買(mǎi)。它會(huì)首先給你建議并執(zhí)行操作：

Operator 還能幫你訂票，期間用戶(hù)可以隨時(shí)接管，并在調(diào)整后讓它繼續(xù)工作：

而 Operator 背后的模型 CUA 建立在多模態(tài)理解和推理交叉領(lǐng)域多年的基礎(chǔ)研究基礎(chǔ)之上，通過(guò)將高級(jí) GUI 感知與結(jié)構(gòu)化問(wèn)題求解相結(jié)合，它可以將任務(wù)分解為多步驟規(guī)劃，并在出現(xiàn)挑戰(zhàn)時(shí)自適應(yīng)地自我糾正。此功能標(biāo)志著 AI 開(kāi)發(fā)的下一步，允許模型使用人類(lèi)日常使用的工具，并為大量新應(yīng)用開(kāi)啟新的大門(mén)。

CUA 的工作原理

CUA 可通過(guò)處理原始像素?cái)?shù)據(jù)來(lái)了解屏幕上發(fā)生的事情，并使用虛擬鼠標(biāo)和鍵盤(pán)完成操作。CUA 可以導(dǎo)航多步驟任務(wù)、處理錯(cuò)誤并適應(yīng)意外變化，這使其能夠在廣泛的數(shù)字環(huán)境中運(yùn)行，執(zhí)行填寫(xiě)表格和瀏覽網(wǎng)站等任務(wù)，而無(wú)需專(zhuān)門(mén)的 API。

具體地，根據(jù)用戶(hù)的指令，CUA 通過(guò)集成感知（Perception）、推理（Reasoning）和行動(dòng)（Action）的迭代循環(huán)進(jìn)行操作：

• 感知：計(jì)算機(jī)的屏幕截圖被添加到模型的上下文中，提供計(jì)算機(jī)當(dāng)前狀態(tài)的視覺(jué)快照；
• 推理：使用思路鏈推理后續(xù)步驟，同時(shí)考慮當(dāng)前和過(guò)去的屏幕截圖和操作。這種「內(nèi)心獨(dú)白」通過(guò)使模型評(píng)估其觀(guān)察結(jié)果、跟蹤中間步驟并動(dòng)態(tài)調(diào)整來(lái)提高任務(wù)性能；
• 行動(dòng)：執(zhí)行操作（單擊、滾動(dòng)或鍵入），直到它決定任務(wù)已完成或需要用戶(hù)輸入。雖然它會(huì)自動(dòng)處理大多數(shù)步驟，但 CUA 會(huì)尋求用戶(hù)確認(rèn)敏感操作，例如輸入登錄詳細(xì)信息或響應(yīng) CAPTCHA 表單。

OpenAI 也表示，CUA 仍處于早期階段且存在局限性。不過(guò)，CUA 仍然取得了全新的 SOTA 基準(zhǔn)測(cè)試結(jié)果，其中在 OSWorld（真實(shí)計(jì)算機(jī)環(huán)境中開(kāi)放式任務(wù)的多模式智能體基準(zhǔn)測(cè)試） 上實(shí)現(xiàn) 38.1% 的完整計(jì)算機(jī)使用任務(wù)成功率，在 WebArena（用于構(gòu)建自主智能體的真實(shí)網(wǎng)絡(luò)環(huán)境） 上實(shí)現(xiàn)了 58.1% 的成功率，在 WebVoyager（大型多模態(tài)網(wǎng)絡(luò)智能體基準(zhǔn)） 上實(shí)現(xiàn) 87% 的 Web 端任務(wù)。

這些結(jié)果證明了 CUA 使用單一通用操作空間在不同環(huán)境中導(dǎo)航和操作的能力。

使用方式

根據(jù)描述，Operator 的使用方法很簡(jiǎn)單。用戶(hù)只需描述想要完成的任務(wù)，然后 Operator 就可以自己完成。用戶(hù)也可以隨時(shí)接管其遠(yuǎn)程瀏覽器，Operator 也可以根據(jù)當(dāng)前任務(wù)執(zhí)行情況主動(dòng)向用戶(hù)請(qǐng)求登錄、錄入付款詳細(xì)信息或解決驗(yàn)證碼等任務(wù)。

用戶(hù)可以在 Operator 中通過(guò)添加自定義指令來(lái)個(gè)性化自己的工作流程，無(wú)論是針對(duì)所有網(wǎng)站還是特定網(wǎng)站，比如可以在航班預(yù)訂網(wǎng)站設(shè)置自己偏好的航空公司。Operator 允許用戶(hù)在主頁(yè)上保存快速訪(fǎng)問(wèn)的提示詞，這非常適合完成一些重復(fù)任務(wù)，比如購(gòu)買(mǎi)日常消耗品。類(lèi)似于在瀏覽器上使用多個(gè)頁(yè)面，用戶(hù)可以通過(guò)創(chuàng)建新對(duì)話(huà)讓 Operator 同時(shí)運(yùn)行多個(gè)任務(wù)，例如在一個(gè)網(wǎng)站上訂購(gòu)個(gè)性化搪瓷杯，同時(shí)在另一個(gè)網(wǎng)站上預(yù)訂露營(yíng)地。

生態(tài)系統(tǒng)與用戶(hù)

OpenAI 表示：「Operator 可將 AI 從被動(dòng)工具轉(zhuǎn)變?yōu)閿?shù)字生態(tài)系統(tǒng)的積極參與者。它將簡(jiǎn)化用戶(hù)的任務(wù)，并為那些希望獲得創(chuàng)新客戶(hù)體驗(yàn)并希望提高轉(zhuǎn)化率的公司帶來(lái)智能體的好處?！筄penAI 也宣布了當(dāng)前的一些合作企業(yè)與服務(wù)，包括 DoorDash、Instacart、OpenTable、Uber 等。同時(shí)，OpenAI 還在努力改善 Operator 在公共部門(mén)應(yīng)用中的適用性，為此他們還與斯托克頓市等組織建立了合作關(guān)系。

安全和隱私

在很多用戶(hù)關(guān)心的安全問(wèn)題上，OpenAI 也進(jìn)行了說(shuō)明。該公司表示 Operator 采用了 3 層保護(hù)機(jī)制，可以防止該工具被濫用同時(shí)確保用戶(hù)掌控。

第一層，Operator 可以確保使用它的用戶(hù)總是具有控制權(quán)，并會(huì)在關(guān)鍵時(shí)刻請(qǐng)求用戶(hù)輸入。這涉及到四個(gè)方面：

• 接管模式：在向?yàn)g覽器輸入敏感信息時(shí)，Operator 會(huì)請(qǐng)求用戶(hù)接管。在接管模式下，Operator 不會(huì)收集或截取用戶(hù)輸入的信息。
• 用戶(hù)確認(rèn)：在完成任何重要操作（例如提交訂單或發(fā)送電子郵件）之前，Operator 會(huì)征求批準(zhǔn)。
• 任務(wù)限制：Operator 會(huì)拒絕某些敏感任務(wù)，例如銀行交易或需要高風(fēng)險(xiǎn)決策的任務(wù)，例如決定一份工作申請(qǐng)。
• 監(jiān)視模式：在特別敏感的網(wǎng)站上，例如電子郵件或金融服務(wù)，Operator 會(huì)要求密切監(jiān)督其行為，從而可讓用戶(hù)直接發(fā)現(xiàn)任何潛在的錯(cuò)誤。

第二層，OpenAI 簡(jiǎn)化了 Operator 的數(shù)據(jù)隱私管理方式。

• 退出訓(xùn)練：用戶(hù)可在 ChatGPT 設(shè)置中關(guān)閉「為所有人改進(jìn)模型」，這樣其 Operator 中的數(shù)據(jù)就不會(huì)用于訓(xùn)練模型。
• 透明的數(shù)據(jù)管理：用戶(hù)可以在 Operator 設(shè)置的「隱私」部分下一鍵刪除所有瀏覽數(shù)據(jù)并退出所有網(wǎng)站。Operator 中的過(guò)去對(duì)話(huà)也可以一鍵刪除。

第三層，針對(duì)可能試圖通過(guò)隱藏提示、惡意代碼或網(wǎng)絡(luò)釣魚(yú)嘗試誤導(dǎo) Operator 的惡意網(wǎng)站，OpenAI 也建立了一些防御措施：

• 謹(jǐn)慎導(dǎo)航：Operator 在設(shè)計(jì)時(shí)就考慮了檢測(cè)和忽視提示詞注入攻擊。
• 監(jiān)控：有一個(gè)專(zhuān)門(mén)的「監(jiān)控模型」來(lái)監(jiān)視可疑行為，如果出現(xiàn)異常，可以暫停任務(wù)。
• 檢測(cè)管道：OpenAI 部署了一個(gè)持續(xù)識(shí)別新威脅并快速更新保障措施的自動(dòng)和人工審核流程。

OpenAI 表示：「我們知道壞人可能會(huì)試圖濫用這項(xiàng)技術(shù)，因此我們將 Operator 設(shè)計(jì)為可以拒絕有害請(qǐng)求和阻止不允許的內(nèi)容。我們的審核系統(tǒng)可以對(duì)重復(fù)違規(guī)行為發(fā)出警告甚至撤銷(xiāo)訪(fǎng)問(wèn)權(quán)限，并且我們集成了其他審核流程來(lái)檢測(cè)和解決濫用問(wèn)題?！?/p>

未來(lái)計(jì)劃

OpenAI 在博客中簡(jiǎn)單公布了對(duì) Operator 的未來(lái)計(jì)劃。

• 通過(guò) API 使用 CUA：OpenAI 表示很快就會(huì)通過(guò) API 揭示驅(qū)動(dòng) Operator 的模型，以便開(kāi)發(fā)者可以使用它來(lái)構(gòu)建自己的 computer use 智能體。
• 增強(qiáng)功能：還將繼續(xù)提高 Operator 處理更長(zhǎng)、更復(fù)雜工作流程的能力。
• 讓更多人可用：OpenAI 還計(jì)劃將 Operator? 擴(kuò)展到 Plus、Team 和 Enterprise 用戶(hù)。并且該公司還表示，一旦在安全性與大規(guī)模可用性方面建立信心后，就會(huì)將該功能直接集成到 ChatGPT 中，從而實(shí)現(xiàn)無(wú)縫的實(shí)時(shí)和異步任務(wù)執(zhí)行。

項(xiàng)目貢獻(xiàn)者

OpenAI 也在博客中發(fā)布了相關(guān)貢獻(xiàn)者名單。

參考鏈接：

• https://openai.com/index/introducing-operator/
• https://openai.com/index/computer-using-agent/