隨著生成式 AI 模型掀起新一輪 AI 浪潮，越來越多的行業(yè)迎來技術(shù)變革。許多行業(yè)從業(yè)者、基礎(chǔ)科學研究者需要快速了解 AI 領(lǐng)域發(fā)展現(xiàn)狀、掌握必要的基礎(chǔ)知識。

如果有一份「機器學習精煉秘笈」，你認為應(yīng)該涵蓋哪些知識？

近日，一份網(wǎng)傳 OpenAI 聯(lián)合創(chuàng)始人兼首席科學家 Ilya Sutskever 整理的一份機器學習研究文章清單火了。網(wǎng)友稱「Ilya 認為掌握了這些內(nèi)容，你就了解了當前（人工智能領(lǐng)域） 90% 的重要內(nèi)容。」

推薦清單：https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

從研究主題上看，Ilya Sutskever 重點關(guān)注 transformer 架構(gòu)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短期記憶網(wǎng)絡(luò)（LSTM）、神經(jīng)網(wǎng)絡(luò)的復(fù)雜度等。

推薦清單部分截圖。

例如，Ilya 推薦谷歌在 2017 年發(fā)表的經(jīng)典論文《Attention Is All You Need》，這是 transformer 架構(gòu)的問世之作。transformer 架構(gòu)今天已經(jīng)成為人工智能領(lǐng)域的主流基礎(chǔ)架構(gòu)，特別是它是生成式 AI 模型的核心架構(gòu)。

Ilya 不僅推薦原論文，還推薦一篇由康奈爾大學副教授 Alexander Rush 等研究者在 2018 年撰寫的博客文章 ——《The Annotated Transformer》。這篇文章以逐行實現(xiàn)的形式呈現(xiàn)了論文的注釋版本，它重新排序梳理了原論文的內(nèi)容，并刪除了一些部分，最終展現(xiàn)的是一個完全可用的實現(xiàn)。2022 年 Austin Huang 等研究者又在其基礎(chǔ)上編輯整理出一份采用 PyTorch 實現(xiàn)的更新版博客。

在 RNN 方面，Ilya 首先推薦閱讀 AI 大牛 Andrej Karpathy2015 年撰寫的一篇博客，強調(diào)「RNN 驚人的有效性」。

Ilya 還推薦了由紐約大學 Wojciech Zaremba（OpenAI創(chuàng)始團隊成員）和 Ilya Sutskever 本人 2015 年發(fā)表的論文《Recurrent Neural Network Regularization》。當時，Ilya 還是谷歌大腦的研究科學家。

這篇論文為 RNN 提出了一種簡單的正則化技術(shù)，闡述了如何正確地將 dropout 應(yīng)用于 LSTM，大大減少了各種任務(wù)的過擬合，包括語言建模、語音識別、圖像字幕生成、機器翻譯等等。

此外，Ilya 還推薦了 DeepMind、倫敦大學學院 2018 年聯(lián)合發(fā)表的論文《Relational recurrent neural networks》。

在 LSTM 方面，Ilya 推薦了 Anthropic 聯(lián)合創(chuàng)始人、前 OpenAI 可解釋性團隊技術(shù)負責人 Christopher Olah 2015 年撰寫的博客文章《Understanding LSTM Networks》，這篇文章全面細致地講解了 LSTM 的基本知識，并闡明 RNN 取得的顯著成果本質(zhì)上是依靠 LSTM 實現(xiàn)的。

在「復(fù)雜度」方面，Ilya 重點推薦了《Kolmogorov Complexity and Algorithmic Randomness》一書中講解「算法統(tǒng)計」的部分。柯爾莫哥洛夫復(fù)雜度為計算理論提供了一個用于探索問題固有復(fù)雜度的框架，可幫助研究人員更好地設(shè)計和評估 AI 模型。

在這份推薦清單中，我們還看到了一些著名 AI 學者的經(jīng)典論文。例如，2012 年 ImageNet 圖像識別大賽中圖靈獎得主 Geoffrey Hinton 組的論文《ImageNet Classification with Deep Convolutional Neural Networks》，這篇論文提出了 AlexNet，引入了全新的深層結(jié)構(gòu)和 dropout 方法，顛覆了圖像識別領(lǐng)域，甚至被認為開啟了深度學習革命。Ilya 也是這篇論文的三位作者之一。

還有 2014 年，DeepMind Alex Graves 等人提出的神經(jīng)圖靈機（NTM）。NTM 將神經(jīng)網(wǎng)絡(luò)的模糊模式匹配能力與可編程計算機的算法能力相結(jié)合，具有 LSTM 網(wǎng)絡(luò)控制器的 NTM 可以從輸入和輸出示例中推斷出簡單的算法，例如復(fù)制，排序等。

此外，Ilya 還推薦了神經(jīng)網(wǎng)絡(luò)應(yīng)用于基礎(chǔ)科學（化學）的研究論文、擴展定律相關(guān)文章等等，并推薦了斯坦福大學計算機科學課程 CS231n：用于視覺識別的卷積神經(jīng)網(wǎng)絡(luò)。

感興趣的讀者可以查看原推薦清單，了解更多內(nèi)容。