在 ChatGPT 引爆科技圈之后，人們對于先進技術產生了更多期待，但一直有專家警告 AI 可能造成的危害。我們知道，OpenAI 的使命是確保通用人工智能 —— 比人類更聰明的 AI 系統，能夠造福全人類。本周五，這家公司發布了「AGI 路線圖」，詳細解釋了這家前沿研究機構對通用人工智能研究的態度。

在路線圖中，OpenAI 對新技術的發展有了更加謹慎的態度，這可能意味著以后用戶和應用范圍會受到更嚴密的監控和限制。讓我們看看 OpenAI 是怎么說的：

如果通用人工智能（AGI）最終被成功構建起來，這項技術不僅可以帶來更多可能性，推動全球經濟發展，也能改變新興科學知識的發現，會從各種角度幫助人類提升生活水平。

AGI 有潛力賦予每個人不可思議的新能力。我們可以想象這樣一個世界，在其中，所有人都可以獲得幾乎所有認知任務的幫助，它或許是人類才智和創造力的巨大力量倍增器。

但另一方面，正如一些人所擔心的，通用人工智能也會帶來嚴重的濫用、嚴重事故和社會混亂的風險。由于 AGI 的好處如此之大，我們不能認為讓社會永遠停止其發展是可取的方向，相反，社會和 AGI 的開發者必須要想辦法把它做好。

與通用人工智能共同生活的未來圖景難以預測，當前的 AI 進展可能會遭遇新的挑戰，但在 ChatGPT 獲得成功的當下，OpenAI 列出了我們最關心的幾項原則：

1. 我們希望通用人工智能使人類能夠在宇宙中實現最大程度的繁榮。我們不希望未來成為一個虛假的烏托邦，但我們希望將技術好的一面最大化，壞的一面最小化，讓 AGI 成為人類善意的放大器。

2. 我們希望 AGI 的益處、接入和治理能得到廣泛和公平的分享。

3. 我們要正確應對潛在風險。在面對這些風險時，理論上似乎正確的事情在實踐中往往比預期更難以控制。我們必須通過部署功能較弱的技術版本來不斷學習和適應，以最大程度地減少「無可挽回」的情況。

短期目標

OpenAI 認為，若為通用人工智能的發展做準備，有幾件事要先做好。

首先，隨著我們不斷構建出更為強大的 AI 系統，我們必然希望快速部署 AGI 并獲得在現實世界中操作它們的經驗。謹慎管理 AGI 存在的最佳方式應該是逐漸過渡到 AGI 的世界。我們期望強大的 AI 能夠加快世界進步的速度，OpenAI 認為最好是逐步適應這一點。

漸進的方式讓人們、政策制定者和機構能有時間了解正在發生的事情，親身體驗這些系統的好處和缺點，調整我們的經濟組織形式，并實施有效監管。漸進的方式還允許社會和 AI 共同進化，并允許人們在風險相對較低的情況下共同弄清楚自身所需。

OpenAI 目前認為，成功應對 AI 部署挑戰的最佳方法是采用快速學習和謹慎迭代的緊密反饋循環。在新技術的沖擊下，社會將面臨「人工智能系統被允許做什么、如何消除偏見、如何處理工作崗位流失」等重大問題。最佳決策將取決于技術所采用的路徑，并且與任何新領域一樣，到目前為止，大多數的專家預測都是存在偏差的。這使得在預期外進行規劃會非常困難。

一般來說，我們認為在世界上更多地使用 AI 會帶來好處，并希望推廣它（通過將模型放入服務 API 中，將它們開源等等）。OpenAI 相信，開放的訪問也將導致更多更好的研究，吸引更多的人貢獻新的想法。

OpenAI 表示，隨著其開發的系統越來越接近 AGI，該機構在模型的創建和部署方面都變得越來越謹慎。

OpenAI 需要權衡部署大模型的利弊。一方面，部署先進的大模型是重要的科技進展；另一方面，部署模型之后，公司和機構也需要考慮如何限制惡意行為者、避免對社會和經濟造成不良影響等問題。在這種情況下，OpenAI 表示將圍繞持續部署來改進其規劃。

其次，OpenAI 正在努力創建更加一致和可控的模型。從 GPT-3 的第一個版本到 InstructGPT 和 ChatGPT，這一步步的轉變就是 OpenAI 在這個方向上努力的例子。

值得注意的是，OpenAI 認為有一點非常重要，就是人類社會需要就如何使用人工智能達成極其廣泛的界限，而在這些界限內，個人用戶有很大的自由使用權。OpenAI 希望最終世界能夠就這些廣泛的界限達成一致。

隨著模型變得更強大，OpenAI 將需要開發新的對齊技術。OpenAI 的短期計劃是使用 AI 來幫助人類評估更復雜模型的輸出并監控復雜系統，而從長遠來看，OpenAI 將會使用 AI 來幫助其提出新的想法以獲得更好的對齊技術。

重要的是，我們需要在人工智能安全和能力方面共同取得進展，這二者不應該分開談論。OpenAI 表示其最安全的工作來自于其最有能力的模型。也就是說，提高人工智能的安全性對 AI 研究進步非常重要。

第三，OpenAI 希望就三個關鍵問題展開全球對話：如何治理這些系統，如何公平分配它們產生的收益，以及如何公平共享訪問權限。

除了這些，OpenAI 還提到在該公司的章程中有一個條款是關于協助其他組織提高安全性，而不是在后期 AGI 開發中與對手競爭。OpenAI 投資規則中對股東可以獲得的回報設定了上限，這樣研究機構本身就不會被激勵去嘗試無限制地獲取價值，也不會冒險部署具有潛在災難性危險的東西。

OpenAI 被一個非營利組織管理，以保證該機構是為人類的利益而運行（并且可以凌駕于任何營利利益之上）。

OpenAI 認為在發布新系統之前進行獨立審查是 AGI 研究非常重要的一步。關于 AGI 工作應何時停止訓練、確定模型可以安全發布或從生產使用中撤出模型的公共標準是很重要的。最后，OpenAI 認為世界主要政府應對超過一定規模的機器學習訓練保持監管。

長遠目標

OpenAI 相信人類的未來應該由人類自己決定，與公眾分享有關進步的信息至關重要。我們應該對所有試圖建立 AGI 的努力進行嚴格審查，并在重大決策上面向公眾進行咨詢。

從某種意義上說，第一個 AGI 將只是人工智能持續發展中的一個小節點，然后從這個節點開始不斷衍生出新的進展。AI 的發展可能會在很長一段時間內保持我們在過去十年中看到的進展速度。

有一天，世界可能會變得與今天截然不同，但科技的進步也可能帶給人類很大的風險。一個「錯位的」超級智能 AGI 可能會對世界造成嚴重的傷害。

加速科學發展的人工智能將是一個值得思考的特例，這也許比其他任何事情都更有影響力。有足夠能力加速自身進步的 AGI 可能會導致世界發生重大變化。也許 AGI 的發展在初期是比較緩慢的，但 OpenAI 預計給世界帶來巨大變化的 AGI 在最后階段一定會出現。

基于上述原因，OpenAI 認為 AGI 領域較慢的啟動速度更容易確保安全，并且 AGI 在關鍵時刻減速可能也很重要。即使技術的進展讓我們可以迅速發展 AGI，但減速的重要意義是要給社會足夠的時間來適應。

成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望，但也最可怕的項目。這種巨大進展的成功還遠未得到保證，但我們已經可以預見的利害關系有望將所有人團結起來。

無論如何，那將是一個繁榮到我們還無法完全想象的世界。而 OpenAI 希望為世界貢獻一個與這種繁榮相一致的通用人工智能。