應該通過復制我們的生物學來模仿人類的智慧嗎?或者是我們的精神病學性與AI不相關的方式與鳥類生物學與航空航天工程無關緊要?

這是一個人在概念的概念以來一直在思考。我們希望建立智能系統，人類可以說是唯一真正聰明的物種。看著我們的靈感不是邏輯嗎?但是，由于AI的構建塊與生物基本件如此不同，我們不應該忘記人類，并跟隨我們的研究導致我們的道路?

[[416058]]

沒有人知道ai將未來持有什么。我們所知道的是，現在深入學習越來越靠近人類的認知。也許人類在智能方面不那么特別，但進化給了我們一些獨特的功能，我們在創建AI系統時更好地考慮。我們在這種環境中發展了幾千年，慢慢地調整到不變的自然法則。為什么不通過模擬拋光機制來繞過這個過程?

在本文中，我將討論目前是AI研究的最前沿的五個例子。每個都基于人類認知功能的某些方面，至少是松散的。這些概念在接下來的幾年里將是中心的，因此讓我們留意他們。

Transformer - 人類注意力機制

不久前，當基于復發的架構主導自然語言處理(NLP)時。如果您面臨NLP問題 - 翻譯，語音到文本，生成任務 - 您要么使用了Gated Recurrent單元(GRU)或長短短期內存(LSTM)。這兩個架構旨在處理順序輸入數據。例如，系統可以采用英語句子并在西班牙語翻譯中處理每個連續的單詞。

這些模型的主要缺點之一是消失的梯度問題。因為信息被順序處理，所以當系統即將輸出第一個法語單詞時，僅僅記住了第一個英文單詞。為了解決這一缺陷，研究人員在2014年介紹了關注機制。通過模仿認知的關注，神經網絡可以稱重背景的影響。沒有更多的信息損失。

2017年，谷歌的AI團隊發表了最新的注意力機制。他說：注意機制足夠強大，可以解決語言任務。我們不需要再次發生，我們不需要順序處理。他們發明了著名的Transformer架構。Transformer影響了深入學習景觀的方式，2012年亨廷的團隊贏得了Imageenet挑戰時的計算機視覺(CV)中的比賽。

Transformer通過并行處理句子的所有單詞(令牌)并學習它們之間的上下文關系。與LSTM相比，Transformer不會順序處理數據。訓練時間要短得多。Transformer是現在任何NLP任務的轉移架構。甚至CV科學家們已經開始將Transformer應用于圖像和視頻問題。甚至卷積都會幸存下來。

從2017到2021年，研究人員進一步開發了Transformer，旨在解決各種缺點和提高性能。變換器-XL更大，允許系統在較大的上下文中學習依賴性。GPT-3 - 建于原始Transformer架構 - 無法查看其上下文窗口，這使其無法記憶。改革者解決了訓練成本的禁止成本。它提高了效率并降低了訓練時間，同時實現最先進的性能。

Transformer近年來的一些最值得注意的應用是多任務的AIS，如谷歌的BERT，Openai的GPT家族 - 其中GPT-3是無可爭議的明星 - 或吳道2.0，其擁有最大的神經網絡的記錄。Transformer也是新一代Chatbots - Meena，Blenderbot 2.0或Lamda后面的核心算法。它甚至在生物學世界中踏上了腳。幾天前，Deepmind宣布他們發布了alphafold的代碼和數據庫2.一個可能有助于更深入地了解蛋白質折疊的工作的模型。

自監督的訓練 - 人類學習

自2012年以來，監督深度學習系統主導了AI景觀。這些系統從標記的數據中學習以將新實例對學習的類進行分類。我們將大量資源分類為分類培訓例子，以促進學習。然而，這些模式匹配的系統只學會了我們的任何東西。

強化學習更好地類似于我們學習的方式。這些系統生活在受限制的虛擬世界中，他們可以實現有限的行動來實現獎勵。深度研究人員幾個月前發表了一篇論文，爭論“獎勵足夠”以實現一般人工智能。然而，不是人們所做的一切都意味著在同一感覺中優化獎勵加強AI。這更不用說我們世界的復雜性，每個瞬間提供的可能行動的數量，或者我們想要或需要的復雜性和細微差別。

由于上述原因，研究人員最近對無人監督或自監督的范式更興趣，因為Yann Lecun喜歡稱之為IT - 學習。他認為我們與這些系統類似地學習(至少與其他范例相比)。人類通過觀察和感知世界來學習很多。這就是自監督的學習。

“[自監督的學習]是在學習任務之前學習代表世界的想法。這是嬰兒和動物所做的。[…]一旦我們有良好的世界代表，學習任務需要很少的試驗和少數樣本。“

• 監督學習系統學會在不關心世界的情況下找到數據的模式。
• 加強學習系統學會在不關心世界的情況下優化獎勵。
• 自我監督的學習系統需要代表世界，以了解彼此的事情。

這些系統可以從這些輸入的可見部分學習輸入的隱藏部分。例如，如果你要向一個自我監督的系統獻給半句，那么它可以預測遺漏的詞語。為此，他們需要更深入地了解事物之間的關系(這并不是說他們在我們所做的同樣的感覺中理解世界，這不是這種情況)。

需要大量標記數據(監督學習)和不可數模擬(強化學習)是一種障礙。自我監督的學習旨在解決這兩個問題。這些系統沒有明確地告訴他們他們必須學習的東西。沒有課程。沒有任務。

自我監督學習的一些重要成功與變壓器建筑有關。例如，BERT或GPT-3已證明在語言生成任務中非常成功。在許多NLP域中，自我監督系統現在是最先進的。這些系統的值得注意的缺點是它們無法處理連續輸入，例如圖像或音頻。

及時編程 - 人類溝通

幾十年前，低碼和無代碼計劃出現了對編碼世界中越來越大的技能差距的反應。創建良好代碼和知道如何處理設計生產管道中不同點的任務的技術能力昂貴。隨著軟件產品更復雜，編程語言也是如此。沒有代碼旨在解決非技術商界人士的這種差距。這是一種方法，繞過編碼，以使任何人可訪問的結果。

了解如何代表代表可以說是在幾年前說英語的重要性。你要么知道，要么你錯過了很多。工作機會，書籍和文章，論文和其他技術工作……將來，智能房屋的百分比將增加。技術軟件技能可能是重要的，然后現在就像如何修復管道或破碎的光線一樣重要。

在無代碼計劃和AI的未來，我們有提示編程。GPT-3是使用提示的最佳已知的AI系統。Openai去年發布了API，人們很快就會認識到提示的獨特性。這是不同的;既不與人類也不是正式意義上的編程。提示編程，因為調用它，可以理解為一種新的編程形式。它不那么膚淺，因為我們與系統溝通 - 我們在自然語言中編程它。它與C或Python中的編程相比并不高明。

GPT-3引起了研究人員和開發人員的注意，許多人有動力尋找缺點。有些人發現GPT-3失敗了它應該成功的地方。然而，GWERN證明他們錯了。他認為我們應該接近GPT-3，好像我們用英語編程它。我們必須做對，而不是一切都去了。他重復測試調整提示并成功地教授GPT-3正確地完成任務。他說：

“[提示]是一種使用DL [深度學習]模型的一種相當不同的方式，最好將其作為一種新的編程，在那里提示現在是一個”程序“，程序GPT-3做新的事物。”

GPT-3引發了通過用英語寫作編程系統的可能性。系統可以理解我們的意圖并以其在沒有不確定性的情況下解釋它們的方式將它們轉換為計算機。

一個月前，微軟 - 去年與Openai合作 - 和Github發布了Github Copilot。由名為Codex的GPT-3后代推動的系統被創建為一個強大的代碼自動完成。微軟在創建代碼中看到了GPT-3的潛力以及它如何理解英語并將其轉換為寫成良好的功能計劃。副本可以讀取描述用英語，解釋它的函數的評論，并記下函數。

GPT-3和GitHub Copilot結合了無代碼的承諾，并提示編程到一個新的時代，允許非技術人員訪問編碼世界。

提示編程的主要優勢以及它的成功原因是我們的人類已經發展到了自然語言中的溝通，而不是正式的語言。英語有一系列直觀地知道的規則。我們學會在理解我們使用的規則之前正確地說話。我們沒有發明規則，然后堅持他們。我們發現我們已經遵循的規則。

寫python或c是不同的。我們稱他們為語言，但它們以重要的方式與英語不同。計算機需要明確的，未解釋的命令來了解該做什么。編程語言具有嚴格的語法規則，無法損壞或程序無法運行。這沒有捷徑。如果您想與計算機通信，則無需提示編程，您必須學習其語言。即使是Python等高級語言也需要大多數人沒有的高度技術專長。

提示編程是編碼的未來：我們將能夠在自然語言中編程大多數事情。將有中間系統解決我們不精確，細微統計和背景上的思想之間的翻譯，并且正式指示計算機需要工作。

多模 - 人類感知

直到最近，深入學習系統旨在解決單峰問題。如果您希望在機器翻譯中實現最先進的性能，則使用英語 - 西班牙語對文本數據培訓您的系統。如果您想擊敗ImageNet挑戰，您的系統必須是對象識別的最佳狀態，而不是別的。NLP系統和CV系統截然不同，難以解鎖。

現在，從神經科學中獲取靈感在尋求模擬我們的感知機制，研究人員專注于創建從不同類型數據學習的AI系統。而不是將系統除以他們的專業領域，為什么不使他們組合來自視覺和語言來源的數據?文本有信息。有圖像的信息。但兩者都有信息。這種多式聯運系統的新趨勢是谷歌和貝達分別與媽媽和吳道2.0分別做過的。這是試圖使人工系統類似于人腦的一步。

我們在多模式世界中發展。我們周圍的事件和對象產生了不同類型的信息：電磁，機械，化學……例如，蘋果有顏色，形式，質地，味道，味道……這就是為什么我們的大腦是多用戶的。我們有一系列感知系統，捕獲了世界多模式的一部分(其他生命形式有不同的感知系統，讓他們感知到我們生物學上不知道的模式)。更有趣的是，大腦在一個現實的一個代表中將信息與感知渠道集成在一起。

這就是我們可以從這種功能中找到Umbuing AI的實用程序的地方。如果給模型的一對文本圖像允許它更準確地表示世界，它可能更精確到其預測或動作并更好地適應環境。這是今天對情報的定義：“通過使用遺傳能力和學到知識來理解和適應環境的能力。”

具有人為相當于眼睛，耳朵和手和GPT-3的機器人，因為大腦的大腦比任何當前的AI更強大。大腦是所有處理發生的地方，而是處理已處理的數據。未來的AI系統將有傳感器，控制器和執行器，以信息處理快速，準確，豐富的方式相互連接。

重點仍然是以軟件為中心的虛擬系統，但某些研究組已經完成了文本和圖像數據的成功集成。這些網絡如何結合兩種類型的信息仍然是一個謎(也不完全理解人類)，但現在的嘗試已經成功了。Dall·E，Clip，Mum，UC²和Wu Dao 2.0都是居住的證據。

多任務和任務轉移 - 人類多功能性

監督和加強AI系統是壞的多時期。甚至是alphazero等系統，它旨在學習不同的任務，必須為每個任務而釋放和relearn。然而，自我監督的系統本質上是更好的。原因是他們采用任務無關方式培訓。由于這些系統未明確告知要從輸入數據中學到的內容，因此可以應用于不同的任務，而無需更改參數。這是GPT-3的情況。

GPT-3最有效的特征之一是其能夠處理具有相同重量級的不同任務。系統在內部沒有改變以進行機器翻譯，問題應答或產生創造性小說。該系統從大多數互聯網文本數據中以無人監督的方式培訓。但它不知道它是如何使用它所學到的東西。在提示編程的幫助下，用戶可能會使GPT-3條件解決給定任務。對于記錄，GPT-3在未經培訓的若干任務中實現了最先進的。這是多任務處理和任務傳輸的力量。

多任務系統可以將相同的輸入應用于不同的任務。例如，如果我向系統喂掉“貓”這個詞，我可以要求它找到西班牙語翻譯’gato’，我可以要求它向我展示一只貓的形象，或者我可以要求它寫一篇文章關于為什么貓太奇怪了。相同輸入的不同任務。

這個想法經常與少量學習相結合。監督深度學習系統培訓并在預先選擇的類集中進行培訓。如果CV系統學會了對汽車，飛機和船舶圖像進行分類，則在這三個類上測試時它只會良好。在幾次(或零拍/單次)學習設置中，系統被測試針對新類 - 沒有體重更新。

一個例子是在測試時間向系統展示自行車的三張圖像，然后要求它通常對汽車，飛機，船舶和自行車圖像進行分類。這幾乎沒有鏡頭，因為我們已經在測試時間3例3示出了自行車是什么。學習了如何學習(例如GPT-3)的系統應該能夠在這些極端情況下表現良好。GPT-3證明它是可能的。它的表現與監督系統沒有任何意義。

如果我們組合多任務和幾次拍攝設置，我們可以構建一個能夠解決尚未培訓的任務的系統。在這種情況下，我們不會在測試時間顯示系統新類，我們要求它執行新任務。在幾次拍攝設置的情況下，我們將顯示有關任務完成的一些示例。而且，如果沒有內部學習任何新的，系統現在將被調節以解決新任務。

例如，讓我們拍攝一個系統訓練的系統。在一次性任務傳輸設置中，我們可以寫：“我愛你 - > te quiero。我討厭你 - > ____。“我們隱含地要求系統將一個句子從英語翻譯成西班牙語(通過顯示它尚未訓練的任務)，通過顯示一個例子(單次設置)。

如果我們考慮一下，我們人類可以這樣做。我們是學習者。我們不僅僅是學會做任務，但我們知道如何學會做新的任務。如果我看到有人掃地房間，我知道如何立即完成。我明白，掃帚的運動必須定向一致地清潔地板，我試圖協調手腳，使過渡平滑。當有人訓練我們時，我們不僅要了解。我們通過觀察來學習。這就是幾次任務轉移的是什么。和AI系統開始變得更好。

原文鏈接：https://towardsdatascience.com/5-must-know-ai-concepts-in-2021-75d8c1ff938