谷歌17年老將，正式加入字節(jié)跳動。

據(jù)報道，吳永輝博士已確認離職谷歌，加盟字節(jié)負責AI基礎研究領域的工作。

他將在字節(jié)擔任大模型團隊Seed基礎研究負責人，專注于大模型基礎研究搜索、AI for Science科研工作，直接向CEO梁汝波匯報。

谷歌AI掃地僧，17年AI老將

2008年9月，吳永輝博士最初作為一名排序工程師加入谷歌，致力于改進谷歌核心網(wǎng)頁搜索排名的算法。

自2015年1月起，他轉(zhuǎn)入了Google Brain團隊，專注于深度學習及其應用研究。他是谷歌神經(jīng)機器翻譯和RankBrain項目的核心貢獻者，推動了語音識別的技術(shù)發(fā)展。

直到2023年，他又晉升為谷歌DeepMind研究副總裁，Google Fellow級別。

要知道，Google Fellow是谷歌頂尖工程師才能享有的稱號，只有極少數(shù)的員工能夠獲得這個頭銜。

有網(wǎng)友為此，還做了非常詳細的解說，成為Google Fellow（10級）是一個終身榮譽。

值得一提的是，目前谷歌只有兩位Senior Fellow（11級，相當于高級副總裁）：Sanjay Ghemawat和Jeff Dean。

以下是Google工程師的職級體系，從1級開始：

L1：IT支持人員

L2：應屆大學畢業(yè)生

L3：擁有碩士學位

L4：需要幾年工作經(jīng)驗或博士學位

L5：大多數(shù)工程師的職業(yè)發(fā)展止步于此

L6：頂尖10%的工程師，他們的能力往往能決定項目的成敗

L7：具有長期優(yōu)秀業(yè)績記錄的L6級工程師

L8：Principal Engineer（首席工程師），通常負責某個重要產(chǎn)品或基礎設施

L9：Distinguished Engineer（杰出工程師），令人敬仰的存在

L10：Google Fellow，這是終身榮譽，獲得者通常是該領域全球頂尖專家

L11：Google Senior Fellow，目前公司僅有的兩位11級工程師是Jeff Dean和Sanjay Ghemawat

吳永輝曾獲得了南京大學計算機學士學位，并于2008年獲得了加州大學河濱分校的數(shù)據(jù)科學碩士學位和計算機科學博士學位。

他的研究興趣包括信息檢索、排序?qū)W習、機器學習、機器翻譯、自然語言處理等領域。

Gemini背后核心貢獻者

作為谷歌大牛，吳永輝參與了Gemini模型的開發(fā)，在團隊貢獻名單中，是Gemini應用總技術(shù)負責人之一。

他也參與了Gemini 1.5的研發(fā)，將大模型上下文擴展到100萬token。

論文地址：https://arxiv.org/pdf/2312.11805

他還是Palm 2大模型訓練團隊的核心貢獻者。

論文地址：https://arxiv.org/pdf/2305.10403

根據(jù)谷歌Scholar個人介紹，截至目前，吳永輝總被引數(shù)超5萬，h-index為72。

其中，被引數(shù)最高的文章便是2016年發(fā)表的——Google's Neural Machine Translation System。

論文地址：https://arxiv.org/pdf/1609.08144

這篇論文主要提出了神經(jīng)機器翻譯系統(tǒng)：GNMT，由一個深度LSTM網(wǎng)絡構(gòu)成，包含8層編碼器和8層解碼器，使用了注意力機制和殘差連接。

為了提高并行性并縮短訓練時間，注意力機制將解碼器的底層連接到編碼器的頂層。

為了更好地處理稀有詞匯，作者還將詞匯分解為一組有限的常見子詞單元（wordpieces），同時用于輸入和輸出。這種方法在「字符」分隔模型的靈活性和「詞」分隔模型的高效性之間提供了良好的平衡，能夠自然處理稀有詞匯的翻譯，最終提高了系統(tǒng)的整體準確性。

在WMT’14 英語-法語和英語-德語基準測試中，通過對一組獨立簡單句子的人工對比評估，相比于谷歌基于短語的生產(chǎn)系統(tǒng)，GNMT將翻譯錯誤減少了60%。

其次，被引第二高是2020年發(fā)表的Conformer，一個語音識別模型，基于Transformer改進而來。

主要改進的點在于，提取長序列依賴的時候更有效，而卷積則擅長提取局部特征，因此將卷積應用于Transformer的Encoder層，同時提升模型在長期序列和局部特征上的效果。

實際證明，該方法確實有效，在當時的LibriSpeech測試集上取得了最好的效果。