今年，DeepMind 公布了大約 2.2 億種蛋白質的預測結構，它幾乎涵蓋了 DNA 數據庫中已知生物體的所有蛋白質。現在，另一家科技巨頭 Meta 正在填補另一空白，微生物領域。

簡單來說，Meta 使用 AI 技術預測了約 6 億種蛋白質結構，這些蛋白質來自細菌和其他尚未被表征的微生物。團隊負責人 Alexander Rives 表示：「這些蛋白質是我們所知最少的結構，它們是非常神秘的蛋白質。我認為這些發現為深入了解生物學提供了潛力。」

通常，語言模型是在大量文本上進行訓練的。Meta 為了將語言模型應用于蛋白質，Rives 及其同事將已知的蛋白質序列作為輸入，這些蛋白質由 20 種氨基酸組成，并用不同的字母表示。然后，該網絡在遮蔽一定比例氨基酸的情況下學會了自動補全蛋白質。

Meta 將這個網絡命名為 ESMFold。雖然 ESMFold 預測準確性不如 AlphaFold，但在預測結構方面，它比 AlphaFold 快約 60 倍。這一速度意味著可以將蛋白質結構預測擴展到更大的數據庫。

• 論文地址：https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2
• 項目地址：https://github.com/facebookresearch/esm

如今，作為測試，Meta 決定將他們的模型應用于宏基因組 DNA 數據庫，這些 DNA 全部來自環境，包括土壤、海水、人類腸道、皮膚和其他微生物棲息地。Meta AI 宣布推出包含 6 億多個蛋白質的 ESM 宏基因組圖譜（ESM Metagenomic Atlas），它是首個蛋白質宇宙「暗物質」的綜合視圖。這還是最大的高分辨率預測結構數據庫，比任何現有的蛋白質結構數據庫都要大 3 倍，并且是第一個全面、大規模地涵蓋宏基因組蛋白質的數據庫。

Meta 團隊總共預測了超過 6.17 億個蛋白質結構，只花了兩周的時間。Rives 說，預測是免費的，任何人都可以使用，就像模型的底層代碼一樣。

交互版本地址：https://esmatlas.com/explore?at=1%2C1%2C21.999999344348925

舉例而言，下圖為 ESMFold 對 PET 酶的預測。

引言

眾所周知，蛋白質作為復雜且動態的分子，其由基因編碼，主要負責生命基本過程。蛋白質在生物學中有著驚人作用。比如，人類眼睛中的視桿和視錐細胞可以感知光線，因而我們能看到外面的世界；構成聽覺和觸覺基礎的分子傳感器；植物中把光能轉化為化學能的復雜分子；驅動微生物和人類肌肉運動的「馬達」；分解塑料的酶；保護我們免受疾病的抗體，等等這些都是蛋白質。

1998 年，來自威斯康辛大學植物病理學部門的 Jo Handelsman 首次提出宏基因組學（Metagenomics）這一概念，它是源于將來自環境中基因集可以在某種程度上當成單個基因組研究分析的想法，而宏的英文正是 meta-，也翻譯為元。

宏基因組學揭示了數十億個對科學來說是新的蛋白質序列，并首次編入由 NCBI、歐洲生物信息學研究所 (European Bioinformatics Institute) 和聯合基因組研究所 (Joint Genome Institute) 等公共項目編制的大型數據庫中。

Meta AI 開發的新的蛋白質折疊方法，該方法利用大型語言模型，在宏基因組數據庫中（具有數億蛋白質）創建了首個全面的蛋白質結構視圖。Meta 發現，相對于現有的 SOTA 蛋白質結構預測方法，語言模型可以將預測蛋白質原子級三維結構的速度提高 60 倍。這一進展將有助于加速蛋白質結構理解的新時代，這是首次人類有可能了解基因測序技術正在編目的數十億蛋白質的結構。

解鎖隱藏的自然世界：宏基因組結構空間的首個綜合視圖

我們知道，基因測序的進步使得對數十億個宏基因組蛋白序列進行編目成為可能。但是，通過實驗確定數以億計蛋白質的 3D 結構遠遠超出了時間密集型實驗室技術的范圍，例如 X 射線晶體學，它可能需要數周乃至數年的時間來檢測單個蛋白質。計算方式可以讓我們深入了解使用實驗技術無法實現的宏基因組學蛋白質。

ESM 宏基因組圖譜將使科學家能夠在數億蛋白質的尺度上搜索和分析宏基因組蛋白質的結構。這可以幫助識別以前未被表征的結構，尋找遙遠的進化關系，并發現可用于醫學和其他應用的新蛋白質。

如下為一張包含數以萬計高置信度預測的圖譜，展示了與目前已知結構的蛋白質的相似性。并且，該圖像首次顯示了完全未知的蛋白質結構空間的更大區域。

學習閱讀生物學語言

如下圖所示，ESM-2 語言模型經過訓練，可以預測進化過程中被序列掩蓋的氨基酸。Meta AI 發現，作為訓練的結果，蛋白質結構的信息出現在該模型的內部狀態中。這實在令人驚訝，因為該模型僅在序列上進行了訓練。

?

就像論文或信件的文本一樣，蛋白質可以寫成字符序列。其中，每個字符對應 20 種標準化學元素（氨基酸）中的一種，每種又具有不同的特性，它們是蛋白質的構建塊。這些構建塊能夠以天文數字的不同方式組合在一起，例如對于由 200 個氨基酸組成的蛋白質，存在 20^200 個可能的序列，這要比可見宇宙中的原子數量還要多。每個序列都折疊成 3D 形狀（但并非所有序列都會折疊成連貫的結構，許多序列折疊成無序形式），正是這種形狀在很大程度上決定了蛋白質的生物學功能。

學習閱讀這種生物學語言帶來了很大挑戰。雖然蛋白質序列和文本段落都可以寫成字符，但它們之間存在著深刻而根本性的差異。蛋白質序列描述了一個分子的化學結構，該分子根據物理定律折疊成復雜的 3D 形狀。

蛋白質序列包含了傳遞蛋白質折疊結構信息的統計模式。舉例而言，如果一個蛋白質中的兩個位置共同進化，或者換言之，如果其中一個位置出現某種氨基酸，通常與另一個位置的某種氨基酸配對，這可能意味著這兩個位置在折疊結構中相互作用。這類似于拼圖游戲中的兩塊拼圖，進化必須選擇在折疊結構中拼合在一起的氨基酸。這又意味著我們通常可以通過觀察蛋白質序列中的模式來推斷蛋白質的結構。

ESM 使用 AI 來學習閱讀這些模式。2019 年，Meta AI 提供證據證明語言模型學習了蛋白質的特性，例如它們的結構和功能。通過一種被稱為掩碼語言建模的自我監督學習形式，Meta AI 在數百萬個天然蛋白質的序列上訓練了一個語言模型。使用這種方法，模型必須正確填寫文本段落中的空白，例如「To _ or not to , that is the _____」。

之后，Meta AI 訓練了一個語言模型來填補蛋白質序列中的空白。他們發現，蛋白質結構和功能的信息在這一訓練中浮現了出來。2020 年，Meta 發布了一個 SOTA 蛋白質語言模型 ESM1b，用于各種應用，包括幫助科學家預測 COVID-19 的演變以及發現疾病的遺傳原因。

現在，Meta AI 擴展了這種方法，用來創建下一代蛋白質語言模型 ESM-2，它的參數為 150 億，是迄今為止最大的蛋白質語言模型。他們發現，當模型參數從 800 萬放大到 150 億時，內部表示中會出現信息，從而能夠以原子分辨率進行 3D 結構預測。

將蛋白質折疊實現數量級加速

在下圖中，隨著模型的擴大，高分辨率的蛋白質結構出現。同時隨著模型的縮放，蛋白質結構的原子分辨率圖像中會出現新的細節。

使用當前 SOTA 計算工具，在實際時間范圍內預測數億蛋白質序列結構可能花費數年時間，即便用上主要研究機構的資源也是如此。因此，想要在宏基因組尺度上進行預測，預測速度的突破至關重要。

Meta AI 發現使用蛋白質序列的語言模型大大加快了結構預測的速度，最高提升 60 倍。這足以在短短幾周內對整個宏基因組數據庫做出預測，并且可以擴展到比我們當前發布的數據庫大得多的數據庫。事實上，這種新的結構預測能力能夠在短短兩周內，在大約 2000 個 GPU 組成的集群上預測超過 6 億多個宏基因組蛋白的序列。

此外，當前 SOTA 結構預測方法需要搜索大型蛋白質數據庫以識別相關序列。這些方法實際上需要一整組進化相關的序列作為輸入，以便它們可以提取與結構相關的模式。Meta AI 的 ESM-2 語言模型在其對蛋白質序列的訓練過程中學習這些進化模式，進而能夠直接從蛋白質序列中對 3D 結構進行高分辨率預測。

下圖展示了使用 ESM-2 語言模型進行蛋白質折疊。箭頭從左到右顯示了網絡中從語言模型到折疊 trunk 再到結構模塊的信息流，最后輸出 3D 坐標和置信度。

更多詳細內容請參閱原文。

博客鏈接：https://ai.facebook.com/blog/protein-folding-esmfold-metagenomics/