剛剛，ICLR 2025時間檢驗獎公布！

斬獲大獎的是，xAI工程師、Hinton高徒Jimmy Ba發表的Adam優化器。

獲得亞軍的是，Yoshua Bengio團隊提出的「注意力機制」，為Transformer和大模型奠定了基礎。

每年，ICLR時間檢驗獎都會頒給10年前發表，且對領域產生持久影響的論文。

滑鐵盧大學CS助理教授Gautam Kamath做了一個總結：

• OpenAI聯創Diederik P. Kingma已連續第二次拿下ICLR ToT大獎，去年因VAEs論文獲獎
• 今年ToT冠軍/亞軍，全都授予加拿大高校的學者
• 2024年和2025年亞軍來自NYU團隊

時間檢驗獎

ICLR 2025時間檢驗獎公布，再次讓所有人見證了深度學習領域的「黃金十年」。

Adam優化器讓大模型訓練更快更穩，注意力機制更是賦予了AI超強理解力，成為深度學習領域的重要里程碑。

Adam優化器：深度學習「加速引擎」

標題：Adam: A Method for Stochastic Optimization

作者：Diederik P. Kingma, Jimmy Ba

機構：阿姆斯特丹大學/OpenAI、多倫多大學

論文地址：https://arxiv.org/abs/1412.6980

如果說深度學習是一輛飛馳列車，那么Adam優化器就是它的「超級引擎」。

2015年，由Diederik P. Kingma和Jimmy Ba提出的Adam算法，徹底改變了神經網絡訓練的方式。

Adam全稱是Adaptive Moment Estimation，通過結合梯度算法的一階矩和二階矩，自動調整學習率，不僅加速了模型收斂，還提升了訓練的穩定性。

它之所以成為深度學習領域，重要的算法之一，其魅力在于不同領域和神經架構中的通用性與高效性。

無論是CV、NLP、還是RL，Adam幾乎成為所有深度學習模型的默認優化器，成為無數頂尖模型的基石。

注意力機制：Transformer前世今生

標題：Neural Machine Translation by Jointly Learning to Align and Translate)

作者：Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

機構：康斯特大學、蒙特利爾大學

論文地址：https://arxiv.org/abs/1409.0473

由Yoshua Bengio帶隊這篇論文，首次引入了注意力機制（Attention Mechanism），為現代深度學習架構奠定了基礎。

它從根本上改變了序列到序列模型處理信息的方式。

在此之前，編碼器-解碼器架構通常將整個輸入序列，壓縮成固定長度向量，面對較長序列往往捉襟見肘。

Bengio團隊的突破在于，讓模型能夠「動態關注」輸入序列相關部分，極大地提升了翻譯任務的性能。

要知道，這篇論文的影響力遠遠超出了機器翻譯領域。

2017年，Attention is All You Need開山之作出世，注意力機制成為了Transformer模型的核心，催生了BERT、GPT系等大模型的繁榮。

如今，幾乎所有頂尖的AI模型都離不開注意力機制的加持。

正因如此，這篇論文也被業界譽為「現代深度學習的基石」。

深度學習巨擘領銜

這兩篇2015年里程碑式論文榮登榜首，分別是由圖靈獎得主Yoshua Bengio，以及Jimmy Ba領銜。

正如Gautam Kamath所指出那樣，加拿大在深度學習領域的領先地位。

Jimmy Ba

作為Adam論文共同作者，Jimmy Ba的學術軌跡堪稱耀眼。

他分別于2011年和2014年獲得了多倫多大學本科與碩士學位，分別師從Brendan Frey和Ruslan Salakhutdinov教授。

博士期間，他又在多倫多大學跟著Geoffrey Hinton學習。

Jimmy Ba的長期研究目標致力于解決一個核心計算問題：如何構建具備類人效率和適應性的通用問題求解機器？

具體而言，他的研究聚焦于為深度神經網絡開發高效的學習算法。

他的研究成果頻頻亮相NeurIPS、ICLR和ICML頂會，2016年更是摘得Facebook機器學習方向研究生獎學金（Facebook Graduate Fellowship）。

目前，Google Scholar主頁顯示，Adam這篇論文被引超20萬。

Yoshua Bengio

提到Yoshua Bengio，AI界無人不曉。

作為深度學習三巨頭之一，他的每項研究都在改寫AI的歷史。

Yoshua Bengio，生于1964年3月5日是一位加拿大-法國籍計算機科學家，也是人工神經網絡和深度學習領域的先驅。他是蒙特利爾大學的教授，也是AI研究所MILA的科學總監。

他在麥吉爾大學獲得了理學學士學位（電氣工程）、理學碩士學位（計算機科學）和博士學位（計算機科學）。

獲得博士學位后，Bengio曾在MIT（導師是Michael I. Jordan）和AT&T貝爾實驗室擔任博士后研究員。

自1993年以來，他一直是蒙特利爾大學的教員，領導著MILA，并且是加拿大高等研究院（CIFAR）「機器與大腦學習」項目的聯合主任。

2017年，Bengio被授予加拿大勛章。同年，他被提名為加拿大皇家學會會士，并獲得了Marie-Victorin Quebec獎。

2018年，他與Geoffrey Hinton和Yann LeCun因其在深度學習領域的基礎性工作，共同獲得了計算領域的「諾貝爾獎」——ACM圖靈獎。

2020年，他當選為英國皇家學會會士。2022年，他與Geoffrey Hinton、Yann LeCun和Demis Hassabis共同獲得了「科學研究」類別的阿斯圖里亞斯女親王獎。

2023年，Bengio被授予法國最高榮譽勛章——榮譽軍團騎士勛章。同年，被評為ACM Fellow。

2025年，Bengio與Bill Dally、Geoffrey E. Hinton、John Hopfield、Yann LeCun、黃仁勛和李飛飛共同獲得了伊麗莎白女王工程獎。

Google Scholar個人主頁中，Bengio總被引數破90萬，其中被引量最高的論文便是與LeCun和Hinton共同撰寫的「深度學習」的論文。

有趣的是，他的兄弟Samy Bengio也是一位在神經網絡領域很有影響力的計算機科學家，目前擔任蘋果AI和機器學習研究高級總監。