編輯 | 云昭
出品 | 51CTO技術棧（微信號：blog51cto）
“人類智能會不會成為一切可能性的上限？我認為絕對不會。”
“如果我們真的走到這樣一個階段：人類智能被 ASI 遠遠甩在身后，那對社會意味著什么？”
上周末，那個一起提出被嘗試認真定義“AGI”概念的大佬，Google DeepMind 的聯創、首席 AGI 科學家 Shane Legg，終于在后大模型時代首次露面，公開了他對AGI、ASI的設想。在他的構想里，人類智能顯然不是最高級的智慧。
ps：其實 Shane 已經提這個概念已經有數十年了。在當年，AGI甚至還被視為他口中的“瘋狂邊緣話題”。
他提到，AGI與ASI，是一個連續光譜，而不是到某個門檻突然達到。
2028年，50%的概率會出現“最低限度的AGI”；而接下來就是，十年內實現完全覆蓋人類水平的“完全AGI”；再然后就是ASI（人工超級智能）。
但他認為，目前的AI，智能程度發展的并不均衡，在某些方面比如語言方面，顯然已經超過了人類，而在某些方面，比如視覺推理方面，就顯然很容易翻車。
AGI近兩年一直被外界炒作，但真正認真思考“AGI”的人卻很少。
Shane甚至覺得：現在很多領域的專家都沒有普通大眾那樣去認真對待和思考“AGI”。
在某種意義上，我甚至覺得，很多普通公眾反而比所謂的專家更敏銳。
因為當我和非技術背景的人聊起當下的 AI 時，常常有人會問我：“它不是已經有類似人類的智能了嗎？它會的語言比我多，會解的數學和物理題比我高中時強“
相反，很多領域專家會更傾向于認為，自己的領域足夠深、足夠特殊，AI 很難真正觸及。
訪談中，他還透露道，谷歌有著一條清晰地實現AGI的路徑。
提及如何解決AGI的倫理的問題，Shane 提出了一個很獨特的觀點：將倫理問題轉換成“系統二”的推理問題（注：系統二，即丹尼爾的《思考的快與慢》一書中提到的“慢思考系統”），非常精彩。
毫無疑問，AGI將是一場巨大的革命與社會轉型，會在結構層面改變經濟、社會以及方方面面。我們必須認真思考，應該如何去構建這個全新的世界。
在這場深入的對話中，谷歌的AGI實現路線、挑戰的解決方法以及 Shane 視角下的所見所聞、面向未來2年及十年的龐大敘事都有著深刻的“心流”輸出。
AGI 應該如何定義？當它真正出現時我們該如何識別？怎樣確保它是安全且合乎倫理的？以及最關鍵的——當我們真的走到那一步，世界會變成什么樣？
這是小編看到最有技術含量和思考深度的關于AGI的文章，重申：這篇AGI地文章不是炒作！
下面是小編對于訪談內容的觀點整理，希望能幫助各位全面深刻的理解未來即將到來的AGI，建議收藏細讀。
最低限度的AGI
Hannah Fry：
歡迎你再次來到節目。我們上一次聊天還是五年前，那時你談到的是你對 AGI 的設想，基于當時已有的 AI 系統。你現在覺得，它們是否已經顯露出一些 AGI 的“火花”了？
Shane Legg：我覺得已經不只是火花了。按照我對 AGI 的定義——有時我稱之為“最低限度的 AGI”——它指的是一種人工智能體，至少能夠完成通常人類可以完成的各種認知任務。我喜歡這個標準，因為如果低于它，就會感覺是在明顯地做不到人類理應能做到的認知事情；但如果把門檻設得更高，又會變成連很多人類自己都達不到的水平。我們相信人類擁有某種尚未完全理解的通用智能，所以只要系統至少能做到人類通常能做到的認知任務，甚至在部分方面更強，我就會把它視為進入了這個類別。
至于現在的系統處在什么位置？情況其實很不均衡。它們在某些方面已經遠遠超過人類，比如語言能力，可以掌握一百五十種語言，這是任何人都做不到的；在通用知識上也極其驚人，我甚至可以問它關于我在新西蘭長大的一個小鎮的細節，它居然都知道。
但另一方面，它們依然做不好一些我們會理所當然期待人類能做到的事情，比如持續學習。人在接手一份新工作時，并不需要一開始就樣樣精通，但必須能在時間中不斷學習、逐步勝任，這一點非常重要，而 AI 目前并不擅長。
還有推理能力上的短板，尤其是視覺推理。AI 現在已經很擅長識別物體，貓、狗這些早就不成問題了。但一旦要求它在一個場景中進行推理，就會變得不穩定。
比如你讓它看到一輛紅車和一輛藍車，問哪輛更大，人會自然理解透視關系，知道可能藍車更大，只是因為更遠看起來更小，而 AI 往往處理不好。
再比如給它一個由節點和邊構成的網絡圖，讓它回答某個節點有多少條“分支”，人會通過注意力轉移和心里計數來完成，但 AI 在這類任務上表現并不好。
類似的問題還有不少。我并不認為這些是無法逾越的根本性障礙。我們已經有了不少思路，指標也在多個方向持續改善。我的預期是，在未來幾年里，這些問題會逐步被解決，但現在還沒到位。因為人類能做的認知事情存在一個很長的“尾巴”，而 AI 在其中不少地方仍低于人類水平。
我認為這在幾年內會發生，具體時間不好說。屆時，AI 會變得可靠得多，這會在很多方面極大提升它的價值。同時，它們的能力也會不斷增強，達到甚至超過專業水平，比如在編程、數學、自然語言、通用知識等領域。但整體來看，這依然是一個非常不均衡的過程。
實現AGI，有清晰的路徑
Hannah Fry：如果說可靠性會隨著時間提升，那關鍵只是模型變大、規模變大嗎？還是更多數據？你們是否有一條清晰的路徑？
Shane Legg：我們是有路徑的，但它不是單一因素決定的。并不只是更大的模型，或者更多數據。有時確實需要特定類型的數據，比如專門用于訓練視覺推理的；有時則需要算法層面的改進和新的內部機制。
舉個例子，如果你希望 AI 能持續學習，就需要某種機制來存儲新信息，比如檢索系統或類似“情景記憶”的結構，再把這些經驗逐步訓練回底層模型中。這已經超出了單純堆數據的范疇，涉及架構和算法的變化。總體來說，這是多種手段的組合，取決于具體要解決的問題。
AGI是一個連續光譜，2年或可實現最低工資級別
Hannah Fry：你并不認為 AGI 是一個“是或否”的單一門檻，而更像一個連續的光譜。能具體講講嗎？
Shane Legg：我把它分成幾個層級。最低的是“最低限度的 AGI”，也就是一個人工智能體至少能完成我們通常期望人類完成的各種認知任務。現在還沒到，但可能是一年，也可能是五年，我個人猜大概兩年左右。我甚至把它戲稱為“最低工資級別的 AGI”——也就是當你把一個認知任務交給它時，它不再以那些如果交給人類會讓我們感到意外的方式失敗。
但這并不意味著我們已經完全理解了人類智能。人類中存在極其卓越的個體，能創造全新的物理或數學理論，譜寫偉大的交響樂，寫出杰出的文學作品。僅僅做到“典型人類水平”，并不等于我們掌握了實現這些非凡認知成就所需的全部機制。當 AI 能夠覆蓋人類認知所能達到的完整光譜時，我們才真正達到了所謂的“完全 AGI”。
那是否還有更高的層級？有的。當你開始超越人類認知所能達到的范圍，就進入了“人工超級智能”（ASI）的領域。這個概念并沒有一個真正清晰的定義，我自己嘗試過很多次，每一個定義都有明顯問題。但大致來說，它是一種具備 AGI 的通用性，同時在整體能力上遠遠超出人類所能企及的系統。
AGI的由來
Hannah Fry：你當年參與提出了這個術語。現在回頭看，你覺得它還好用嗎？畢竟現在各種定義層出不窮，幾乎成了一個被濫用的流行詞，而且常常被描述成一道突然跨過的“分界線”。
Shane Legg：當初我提出這個詞時，其實更多是把它當作一個研究領域的名稱。我當時在和 Ben Goertzel 交流——我曾在他手下工作過。他想寫一本書，討論 AI 最初的愿景：不僅是下棋、打牌、語音轉文字這種高度專用的系統，而是能夠學習、推理、使用語言、寫詩、做數學、繪畫，具備高度通用能力的機器。我當時就在想，我們該如何稱呼這種“老夢想”里的 AI？
AGI的定義分歧
Hannah Fry：在定義人工通用智能這件事上，有人提出過不同思路。比如，有人認為可以用一份任務清單，或者所謂“人類的終極考試”——一個覆蓋人文與自然科學、包含 2500 道題的大語言模型基準測試。也有人說，它得能在廚房里工作：作為一名受訓廚師，被投放到一個完全陌生的廚房，依然能勝任。還有一種說法是，它能不能用 10 萬美元賺到 100 萬美元。你怎么看這些定義？
Shane Legg：這些說法我基本都想過。比如“用 1 萬或 10 萬賺到 100 萬”這種定義，顯然是一個非常偏經濟視角的看法。老實說，很多人類也做不到這一點，而且它在某種意義上是相當狹窄的。你甚至可以想象，一個專門的交易算法也許就能做到，但那并不是我所討論的對象。
對我來說，關鍵在于 AGI 里的那個 “G”——通用性。人類心智最了不起的地方之一，就在于它的靈活性和通用性，能夠做非常多不同類型的事情。如果你只是給定一組特定任務，也許可以構建一個系統把這些任務完成得很好，但它依然可能在一些非常基礎的認知能力上失敗，而這些恰恰是我們幾乎會默認任何一個人都能做到的。這種情況在我看來是無法令人滿意的。
所以，如果我要把我的定義落到可操作層面，我會設計一整套任務集合，并且我很清楚人類在這些任務上的“典型表現”是什么樣的。然后我會看 AI 能不能完成所有這些任務。只要它在其中任何一項失敗，就不符合我的定義，因為它還不夠通用——它在某個我們本來會期待人類能完成的認知任務上失敗了。
如果它通過了這一階段，我會進入第二階段，也就是更具對抗性的測試：我們會組織一支團隊，讓他們有幾個月時間，可以查看 AI 的內部結構，做任何他們想做的測試，目標只有一個——找出某個我們認為“人類通常能做到”的認知任務，而 AI 卻做不到。如果他們找到了，那 AI 按定義失敗；如果他們在幾個月的反復測試、不斷嘗試之后，依然找不到這樣的失敗案例，那么在絕大多數實際意義上，我們就已經到達了，因為這種失敗已經變得極其難以發現。
人類終會不再糾結什么是AGI，只是在意有沒有用Gemini 9
Hannah Fry：你覺得人們最終會在“什么是 AGI”這個問題上達成共識嗎？
Shane Legg：我猜在若干年之后，AI 會在如此多的維度上表現出高度通用的能力，以至于人們會很自然地把它們稱為 AGI，而 AGI 這個詞本身也會變得不再那么有爭議。到那時，人們可能不會再糾結“這算不算 AGI”，而是會說：“我用的是最新的 Gemini 9 之類的模型，它真的很強。”
它能寫詩、能學你剛發明的紙牌游戲并陪你玩、能做數學、能翻譯、甚至能陪你度假。它的通用性會顯得如此明顯。但在那之前，擁有一條清晰、被定義過的“通往 AGI 的路徑”仍然很重要。
Hannah Fry：你之前提到過，如果沒有這樣的路徑，可能會出現風險，比如它在某些能力上發展得太快——先精通化學工程，卻還沒真正理解倫理。這種提前做工作的必要性有多大？
Shane Legg：我認為非常重要。我們必須思考，社會要如何應對強大、能力突出的機器智能的到來，而這絕對不能用單一維度去理解。它可能在某些方面遠超人類，但在另一些方面卻非常脆弱。如果你不了解這種能力分布，就無法真正理解機會在哪里，也無法理解風險和潛在的誤用方式。你可能只看到“它在這里非常強”，卻忽視了“它在那邊非常弱”，而問題往往就出現在這些薄弱點上。所以，理解這種全貌，是社會正確應對當下局勢的重要組成部分。
現在很多關于 AI 的討論，要么把它描述得無所不能，要么又說它被嚴重高估了。我覺得現實要復雜得多：它在某些方面極其強大，在另一些方面卻相當脆弱，必須整體來看。這其實也很像人類智能本身——有的人語言能力出眾，有的人擅長數學，有的人精于音樂，但同時也各自有短板。
AI倫理問題可以轉化成推理問題
Hannah Fry：如果我們已經討論了性能和通用性，那我想轉向另一個重要分支：倫理。倫理在這一切中該如何定位？
Shane Legg：倫理有很多層面。其中一個核心問題是：AI 自身是否真正理解什么是倫理行為？它是否能夠分析自己可能采取的行動，在倫理層面進行穩健、值得信任的判斷？也就是說，AI 本身是否具備對其行為進行倫理推理的能力。
Hannah Fry：那具體要怎么做呢？倫理要如何被“嵌入”到系統里？我自己也有一些想法，但這顯然不是一個簡單的問題。不過我認為這是一個極其重要的問題。
Shane Legg：我很喜歡一種被一些人稱為“思維鏈監控”（chain-of-thought monitoring）的做法。我在一些短講里也談過這個。我把它稱為“系統二安全”。Hannah Fry：就是丹尼爾·卡尼曼提出的系統一、系統二思維？（快思考、慢思考）Shane Legg：沒錯。基本思路是這樣的：假設一個人面對一個復雜的倫理情境，光憑直覺往往是不夠的。你需要坐下來認真思考：當前的情境是什么？有哪些復雜因素和細微差別？可能采取哪些行動？每種行動的后果分別是什么？然后把這些放進你所遵循的一套倫理、規范和道德體系中進行分析，經過一番推理，才能決定應該怎么做。這正是卡尼曼所說的系統一和系統二的區別。有人惹你生氣時，那一瞬間的憤怒和沖動反應，是系統一；你停下來，深呼吸，思考后果，再決定怎么回應，那就是系統二。
舉個例子，我們通常知道“說謊是不好的”。但在某些特定情境下，比如有壞人要來傷害某個人，而你如果說一個謊就能救他的命，那在這種情況下，說謊反而可能是更符合倫理的選擇。簡單的規則并不足以覆蓋所有現實情境，你需要邏輯和推理去真正想清楚，在這個具體案例中，什么才是合乎倫理的行為。這就會變得非常復雜，比如大家常提到的“電車難題”，在這些問題中，我們的直覺和理性分析往往會發生沖突。
現在的 AI 已經具備這種“思考型”的能力了，你甚至可以看到它在解決問題時所使用的推理鏈。當你向 AI 提出一個帶有倫理維度的問題時，它確實會對情境進行推理。如果我們能讓這種推理過程非常嚴謹，并且讓它對我們希望它遵循的倫理與道德原則有非常深入的理解，那么在原則上，它甚至可能比人類更“合乎倫理”，因為它能夠更一致、更系統地應用這些原則，在某些情況下達到超越人類的推理水平。這樣一來，倫理就被轉化成了一個可推理的問題，而不只是憑感覺做判斷。
AI如何扎根人類現實？
Hannah Fry：不過聽你這么說，我也會擔心“扎根性”的問題。這些系統至少在目前，并不像人類那樣生活在真實世界中。它們真的有可能理解人類視角下的真實體驗，并在此基礎上建立起真正的人類倫理嗎？
Shane Legg：這里面確實有不少復雜性。首先，人類并不存在唯一的一套倫理體系，不同的人、不同的文化和地區，對倫理的理解本身就有差異。AI 必須理解，在不同地方，社會規范和期望并不完全相同。從某種程度上說，模型其實已經吸收了不少這樣的信息，因為它們的訓練數據來自世界各地。但它確實需要在這方面做得非常好。
至于“扎根現實”，目前我們構建這些智能體的方式，主要還是通過收集大量數據、訓練大型模型，然后它們就變成相對靜態的對象，與我們互動，但并不會持續學習太多新東西。這種狀況正在改變，我們正在引入更多的學習算法，讓它們能夠持續學習。與此同時，系統也在變得更加“代理化”，不再只是你對它說一句話，它處理完再給你一個回應，而是可以真的去“做事”。
你可以讓它寫一段軟件、規劃一次去墨西哥的旅行，考慮你的偏好和不喜歡的東西。再往后，這些智能體還會更多地進入機器人等具身形態。有的軟件智能體，有的則會成為具身 AI。隨著這一過程推進，AI 會通過交互和經驗，與現實建立越來越緊密的聯系，而不只是依賴一開始灌入的大規模數據。那時，它與現實世界的連接會大大增強。當然，也要記住，這些最初被灌入的大量數據，本身就是來自真實的人類世界，這本身也是一種重要的現實扎根方式。
AGI 不可能100%符合倫理，重要的是能解釋動機
Hannah Fry：有一種觀點認為，AI 在倫理判斷上可能會比人類更“好”。但問題在于，在它的推理能力還沒有達到或接近人類之前，如何確保這些倫理被安全地實現？舉個例子，功利主義在自動駕駛領域看起來很合理——盡可能挽救更多生命；可在醫療領域，同樣的邏輯就行不通了，你不會犧牲一名健康的病人去救五個人。那要怎樣確保系統最終朝“對的方向”去推理？
發言人二：你沒法保證一切。現實世界中行動的可能性空間太大了，100% 的可靠性本身就不存在。其實現實世界也是這樣：你去找外科醫生做手術，如果他說“百分之百安全”，作為一個懂點數學的人，你會知道這不是真的。沒有任何事情是 100% 的。
我們能做的，是盡可能測試這些系統，讓它們盡量安全、盡量可靠，同時在收益和風險之間做權衡，并在部署后持續監控。如果我們發現失敗案例已經超出可接受范圍，就需要回滾、暫停，或者采取其他措施。這是一整套流程：上線前的測試、上線后的監控，以及可解釋性——能夠“看進”系統內部。如果所謂的 system two 安全機制實現得當，你可以看到它在如何推理，但還要確認這些推理確實反映了它真實的目標。如果我們能理解系統為什么這么做，就能多一層安心。
另外還有一個很微妙但重要的點：不只是結果，動機也很關鍵。有人故意傷害你，和不小心撞到你，我們的理解完全不同。如果我們能看到系統的“內部理由”，知道它是在復雜情境下盡力做出判斷，只是帶來了副作用，很多人可能是可以接受的；畢竟人類在同樣情況下，也未必能做得更好。但如果是“有意為之”，那就是另一回事了。這些都是 AGI 安全的一部分，目前已經有人在系統性地研究這些問題。
Hannah Fry：那在你們有足夠信心之前，會不會限制它們與現實世界的交互程度，或者控制發布節奏？
Shane Legg：會的。我們有一整套測試基準，會在內部跑很長時間，重點覆蓋高風險領域，比如系統是否會被誘導去協助生物武器研發——這顯然是不能發生的。如果我們發現可以通過某些方式“騙”它在這些領域變得有幫助，那就是嚴重問題。黑客攻擊也是類似的測試方向。這些測試集合會不斷擴展，我們會評估模型在不同風險領域的能力水平，并配套相應的緩解措施。結果可能是延遲發布，甚至不發布，具體取決于我們看到什么。
高度AGI之后：可能會有意識，甚至超越人類
Hannah Fry：我們聊聊更宏觀的影響吧。當我們真的擁有高度能力的 AGI 之后，會發生什么？
Shane Legg：
我現在最關心的是：假設我們真的得到了一個在其能力水平上“還算安全”的 AGI，那接下來呢？“接下來”的問題清單非常龐大。比如，它是否有意識？這是不是一個有意義的問題？對此我們確實有團隊在研究，也和全球很多頂尖專家討論過。簡短的結論是：沒人真的知道。
我們這里討論的是完整意義上的 AGI，而不是現在這些系統——我不認為當下的模型是有意識的。但如果是十幾、二十年后的高度 AGI，當你和它對話時，它有沒有意識？即便是研究這個問題的頂級專家，也只能說“也許有”“也許沒有”，但沒有人能百分之百確定。
更麻煩的是，這個問題本身都很難被嚴格地轉化為一個科學問題，因為我們不知道如何把“意識”定義成一個可測量的指標。我可以確定的一點是：一定會有人相信它們是有意識的，也一定會有人堅信它們不是，尤其是在缺乏公認定義和測量方法的情況下。我們要如何在這種分歧中前行，本身就是一個非常值得思考的問題。而這還只是眾多問題中的一個。
還有更大的問題：我們會不會從 AGI 進一步走向超智能？如果會，是很快發生，還是很慢，或者根本不會？如果真的出現超智能，它的“認知結構”會是什么樣？哪些方面會遠超人類？我們已經看到，它可以掌握上百種語言。但是否也存在某些領域，因為計算復雜性等原因，它并不會比人類強太多？這些問題，對人類來說都非常關鍵。你怎么看超級智能？你覺得 AGI 會發展到那個階段嗎？它是否能像愛因斯坦提出相對論那樣，對世界形成超越人類的科學理解？
Shane Legg：我認為會的，根本原因在于計算。人類大腦是一個移動處理器，重幾斤，功耗大約 20 瓦，信號通過樹突傳輸，頻率大約在 100 到 200 赫茲，傳播方式是電化學波，速度大約 30 米每秒。再看數據中心：不是 20 瓦，而是 200 兆瓦；不是幾斤，而是幾百萬斤；信道頻率不是 100 赫茲，而是百億赫茲；信號傳播速度不是 30 米每秒，而是接近光速，每秒 30 萬公里。能耗、規模、帶寬、速度，這四個維度上同時拉開了六到八個數量級。
所以，人類智能會是上限嗎？我不這么看。
隨著我們對“如何構建智能系統”的理解不斷加深，這些系統會在認知層面遠超人類，就像人類無法在 100 米賽跑中跑贏頂級賽車，無法比起重機更有力量，也無法比哈勃望遠鏡看得更遠一樣。我們已經在很多領域看到機器超越生物極限，我認為認知領域也會如此。某種意義上，我們早就接受了一點：你知道的事情，已經不可能比 Google 多了。
認真思考AGI的人并不多
Hannah Fry：要真正拿到這些好處，同時把風險和成本降到最低，我們顯然需要非常謹慎地穿越這個過程。但我感覺，眼下真正認真思考 AGI 會帶來什么影響的人，還是遠遠不夠。我們需要更多人投入進來。你還記得 2020 年 3 月嗎？當時專家們在說，疫情要來了，我們正站在指數曲線的起點；但大多數人還在酒吧、在看球賽，專家的警告聲音卻越來越急切。現在的感覺有點像當時。
Shane Legg：是的，確實有點像。人們往往很難相信一次真正巨大的變化正在逼近，因為大多數時候，那種“馬上要發生驚天大事”的說法最后都會不了了之。所以作為一種經驗法則，如果有人告訴你會發生極其夸張、極其巨大的變化，你大概率可以忽略。但問題在于，有些時候，確實存在著非常扎實的底層驅動因素；一旦你理解了這些基本面，就必須認真對待“巨大變化真的會發生”這個可能性。歷史上，真正的巨大變化，確實發生過。
完整AGI：逐步演變且極不均衡，軟件工程會80%被替代，然后是高認知白領工作，最后是水管工
Hannah Fry：那這具體意味著什么？你描述的是一個長期愿景——完整的 AGI，潛在的繁榮可以被共享。但在走到那一步之前，我們會經歷非常劇烈的過程。這不僅是“大規模經濟沖擊”那么簡單，而是結構性的風險。你能不能講講，接下來幾年你預期會發生什么？有哪些是我們現在還沒有真正意識到的？
Shane Legg：我認為，未來幾年我們看到的，并不會立刻是你描述的那種巨大斷裂式沖擊。更可能的情況是，AI 會從“非常有用的工具”，逐步演變為承擔大量真正具有經濟價值工作的系統，而且這個過程會非常不均勻，在某些領域發生得更快。
比如在軟件工程領域，未來幾年，由 AI 參與編寫的代碼比例會明顯上升。過去可能需要 100 名工程師的團隊，幾年后也許只需要 20 人，而這 20 人配合先進的 AI 工具完成工作。AI 會從“提升效率的工具”，轉變為真正做出生產性貢獻的角色，同時顯著提高從業者的生產力。這也會在某些領域帶來勞動力市場的沖擊，而一旦這種變化開始顯現，關于 AI 的公共討論也會變得更加嚴肅。
討論的重心會發生轉移：從“這東西挺酷的，可以幫你規劃假期、輔導孩子作業”，轉向“這已經不是一個新奇工具了，而是一種會從根本上重塑經濟和社會結構的力量”。
我們必須開始認真思考，新世界該如何被組織。我確實相信，如果我們能把這種能力引導好，這可能會是一個真正的黃金時代——機器可以大幅提升各種產品和服務的生產能力，推動科學進步，并讓人類擺脫大量并不一定非要親自去做的勞動。但前提是，我們要把機器帶來的驚人能力，轉化為一種社會愿景：讓個體和群體都能從中受益、真正繁榮。
與此同時，你必須正視現實：那 80 名不再被需要的軟件工程師怎么辦？還有現在的初級員工、應屆畢業生——他們往往是最先感受到沖擊的人。短期到中期來看，并不是所有行業都會被同等程度地影響。事實上，還是有不少工作相對“抗 AI”的。比如水管工這個例子就經常被提到。
在接下來的幾年里，即便 AI 發展得很快，它主要仍然是認知層面的能力。機器人要真正成為一個合格的水管工，并不是短期內會發生的事情；即便在技術上可行，也還需要相當長的時間，才能在成本上與人類水管工競爭。因此，那些并非純粹依賴認知能力的工作，在相當一段時間內都會相對受到保護。
一個很有意思的現象是，當前很多報酬極高的工作，本質上都是“精英級的認知勞動”。比如做跨國并購的頂級律師，從事高端金融工作的從業者，或者現在做先進機器學習、軟件工程等領域的人。有一些數學家提出過一個我挺喜歡的經驗法則：如果一份工作可以完全通過互聯網遠程完成，只需要一臺筆記本電腦，而不需要什么全身觸覺設備、機器人操控之類的東西，只用鍵盤、屏幕、攝像頭、揚聲器、麥克風、鼠標這些基本接口就能完成，那么這份工作大概率就是高度認知型的。如果你處在這個范疇里，我認為先進的 AI 將能夠在這個空間中運作，并勝任這些工作。
Shane Legg：另一個我認為具有一定“保護性”的因素是，即便某些工作被歸類為認知勞動，其中仍然可能包含不可替代的人類因素。比如你是一個內容創作者或網紅，這份工作也許可以遠程完成，但“你是你”這件事本身——你的個性、你的身份、別人知道背后有一個真實的人——在很多情況下在后AGI時代依然是有價值的。
但總體來看，這仍然會留下一個巨大的群體需要重新思考未來。我之前對英國羅素集團高校校長們說過，我們真的需要研究社會各個方面的人，都嚴肅對待 AGI 的到來。我的感受是，很多人并沒有這樣做。
很多專家并沒有嚴肅對待AGI
Shane Legg：我去和一些關注這些議題的人交流時，常常聽到的反應是：“挺有意思的工具”“挺好玩的”“挺新奇的”。但他們并沒有真正內化一個事實：他們現在看到的能力，以及他們記憶中的那些局限，其實往往已經過時了。
很多人會說，“我一年前試過”，但在 AI 的世界里，一年前幾乎已經是史前時代；而且一年之后，系統還會比現在強得多。
在某種意義上，我甚至覺得，很多普通公眾反而比所謂的專家更敏銳。因為當我和非技術背景的人聊起當下的 AI 時，常常有人會問我：“它不是已經有類似人類的智能了嗎？它會的語言比我多，會解的數學和物理題比我高中時強，知道的菜譜比我多，還能幫我處理報稅、解釋復雜問題。那它為什么不算智能？”這是我經常從非技術人士那里聽到的直覺反應。相反，很多領域專家會更傾向于認為，自己的領域足夠深、足夠特殊，AI 很難真正觸及。
2028年實現AGI的概率：50%，十年之內實現完全AGI
Hannah Fry：我想用你那個現在已經相當有名的 AGI 預測來收尾。你在這一點上保持了十多年幾乎完全一致的判斷。你曾經說過，到 2028 年實現 AGI 的概率是 50%。你指的是“最低形態的 AGI”嗎？
Shane Legg：是的。
Hannah Fry：哇。那你現在仍然堅持 2028 年、50% 的判斷嗎？
Shane Legg：是的，還是 2028 年。你現在還能在我 2009 年的博客里看到這個判斷。
Hannah Fry：那如果是“完整意義上的 AGI”，你的時間預期是什么？
Shane Legg：會晚一些，大概再往后幾年，可能是三年、四年、五年，或者六年之后。
Hannah Fry：但也就是說，在十年之內，對嗎？
Shane Legg：是的，我認為會在十年之內。
堪比工業革命的機會：財富、技術、藥物以及風險
Hannah Fry：你有沒有哪怕一瞬間，會因為知道這么多而感到有點虛無？
Shane Legg：我反而覺得這里面有著巨大的機會。現在有非常多人投入大量時間和精力去工作，但其中很大一部分其實并不怎么有趣。我認為，這里存在著一種堪比工業革命的機會。
當年，人類學會了馴服能源，讓機器去完成大量機械勞動，從而在社會中創造了巨大的財富。現在，我們可以馴服數據、算法和計算能力，讓它們去完成大量認知層面的工作。這不僅意味著可以創造出更多的財富，而且這種“財富”不只是商品和服務的產出，還包括新技術、新藥物，以及各種此前難以想象的進步。所以，這是一項具有極其巨大潛在價值的技術。
Shane Legg：真正的挑戰在于，我們如何在獲得這些好處的同時，妥善應對風險和潛在成本？我們能否設想一個未來世界，在那里，智能真正幫助人類實現更好的生活？那樣的世界會是什么樣子？
這個問題不是我一個人就能回答的。我對此非常感興趣，也在努力理解，但這確實是一個極其深刻的問題，牽涉到哲學、經濟學、心理學、倫理學等諸多領域。我們需要更多的人去認真思考這些問題，去想象一個積極、可行的未來圖景。
Hannah Fry：非常感謝你。這次對話，至少對我來說，極大地拓展了認知。人類并不擅長理解指數級變化。而此時此刻，我們正站在這條曲線的拐點上。AGI 已經不再是一個遙遠的思想實驗。
我覺得這次與 Shane 的對話中最有意思的一點在于：他認為，普通公眾在某種程度上比專家更早意識到這一點。如果他的時間判斷大體準確（事實證明，他過去確實多次判斷正確），那我們可能并沒有充裕的時間去慢慢消化、慢慢反應。我們正面對一些困難、緊迫，但也可能真正令人興奮的問題，它們需要被認真對待。
