近一年多，依賴大模型技術，讓人們燃起來對AI的新憧憬。

關于大模型是否有意識，依靠大模型是否能夠構建“世界模型”，一直有很大的爭論。

從信仰上來看，分為兩大陣營。一種是大模型的反對派，他們認為大模型是鸚鵡學舌，根本不懂的自己在說什么，也沒有人那樣的創造力，想通過大模型通向AGI是誤入歧途。這個陣營代表為Yann LeCun、李飛飛。

雖然LeCun作為MetaAI首席科學家，Meta也發布了Llama系列大模型，但他卻在不同場合表達了對大語言模型的不屑，他認為LLM本質上只是自回歸文本生成模型，它們只能非常粗淺地理解世界，并且捕獲的只是文本的統計規律，無法真正理解文本在現實世界中所代表的含義，甚至曾公開表示5年內GPT就將被拋棄，利用大模型技術連一只貓的智能都達不到。

LeCun同時提出了自己解決方法，他認為要想讓AI接近人類水平，其需要像嬰兒一樣學習世界如何運作。由此，他提出了“世界模型”的概念，解決方案即為JEPA（聯合嵌入預測架構）。

JEPA通過一系列的編碼器提取世界狀態的抽象表示，并使用不同層次的世界模型預測器，來預測世界的不同狀態，并在不同的時間尺度上做出預測。所有復雜的任務都可以通過“分層”的方式完成，他曾舉了一個例子：我想從紐約前往北京，第一件事是去機場，第二件事是乘去往北京的飛機，最終的代價函數（cost function）可以表示從紐約到北京的距離。那么我該如何去機場？解決方案是把任務分解到毫秒級，通過毫秒級的控制來找到預測成本最小的行動序列。顯然層次規劃是最大的挑戰，所謂“失之毫厘，差之千里”，其計算量和誤差累積都將是JEPA的大麻煩。

而李飛飛也在一些場合表達了大模型并不是通往AGI的正路。她曾態度堅決的表示AI沒有知覺，LeCun也轉發了盟友的X。

她表示當前沒有發現大模型具有意識，在未來的ChatGPT版本中也不可能出現。

而與之戰在對立面的支持大模型是有可能通向AGI的支持派，他們表達的觀點相對溫和務實，某種意義上講，他們是在不斷實踐自己的設想，并且已經取得了一定的成就。他們的代表人物是Hinton以及其愛徒ChatGPT之父Ilya。

Hinton在最近一個與Joel Hellermark的訪談里表示，在過去他們通過生理或者哲學層面理解人類智能并模擬制造AGI是不可行的，AGI表現的智能實現或許是另一種方式。

他相信他的學生ilya的判斷。而ilya在他學生時代就憑著自己超人的直覺相信，大模型不簡單只是學習文字符號概率，而是可以學習到自然規律，具備一定的推理能力，因為為了預測下一個符號，它必須進行一些推理。就從實際情況看，即使你不加入任何特殊的推理元素，僅僅是制造出大的模型，它們也已經可以進行一些推理了。隨著大模型被做得更大時，它們就能進行更多的推理，甚至非常有創造力。Hinton利用一個例子來體現大模型甚至擁有超越人類的類比思維，而不是簡單重復自己之前預訓練學習過的內容。

比如訊問 GPT-4，為什么堆肥堆像原子彈？大多數人回答不出來。大多數人沒有想過，他們會認為原子彈和堆肥堆是非常不同的東西。但 GPT-4 會告訴你，它們的能量規模非常不同，時間規模非常不同。但它們的共同點是，當堆肥堆變得更熱時，它產生熱量的速度更快；當原子彈產生更多的中子時，它產生中子的速度也更快。所以這就得到了連鎖反應的概念。

大模型似乎理解這兩種連鎖反應，并使用這種理解將所有這些信息壓縮到它的權重中。如果它確實在這樣做，那么它將會對我們還沒有看到的所有事物進行同樣的操作。這就是創造力的來源 —— 看到這些表面上截然不同的事物之間的類比關系。

Hinton在采訪時表示，大腦認知實際上采用了和大模型一樣的處理邏輯。即大腦將這些符號轉換為嵌入，并使用多層嵌入，因而大腦將得到非常豐富的嵌入。而嵌入仍然與符號相關聯，從這個意義上講，符號有其對應的大向量。這些向量相互作用產生下一個詞的符號的向量。因此理解是指知道如何將符號轉換為向量，以及向量的元素如何相互作用以預測下一個符號的向量。人們曾認為符號處理只是簡單地匹配符號，一個符號只有一個屬性：要么與另一個符號相同，要么不相同。實際并不是這樣，而是利用上下文為符號提供嵌入向量，然后利用這些嵌入向量的組件之間的相互作用來進行思考。 

Hinton甚至表示，大模型也可以擁有情感。但不一定是人類理解的樣子，而意識應該是我們在沒有外界限制的情況下可能會采取的行動，例如，1973 年在愛丁堡，他見過一個機器人表現出情感。這個機器人有兩個抓手，可以在綠色毛氈上組裝玩具汽車，只要將零件分開放置。但如果你把零件堆在一起，由于它的視覺系統不夠好，無法分辨情況，它會顯得困惑并將零件擊散，然后再進行組裝。如果這種行為發生在人類身上，可能會認為他因為不理解情況而感到惱怒，并因此摧毀了它。 

Ilya自己也多次表示，大語言模型學習的不僅僅是文字概率，而是世界模型，并且曾經暗示大模型已經擁有意識。

未來誰可能是正確的？現下還難有明確結論。但筆者想說，想要打造最快的交通工具，不一定非要有四個輪子，想要打造AGI，也不見得要和人類完全一樣，關鍵是我們能做的，它們是否能做，無需關注黑盒本身。

參考：???https://mp.weixin.qq.com/s/OydltjpVwsQ7hNBH6hq_Og??

本文轉載自??AI工程化??，作者： ully ????