編輯：編輯部
【新智元導讀】最近西湖大學人工智慧團隊發表了一篇對AlphaFold 2的功能進行深入研究的論文，得到了一些有趣的研究結果。相關論文發表在人工智慧頂級會議NeurIPS 2022。
隨著深度學習領域的發展，大規模蛋白質語言模型（PLM）在蛋白質預測任務中的取得了很大的成績，比如蛋白質3D結構預測和各種功能預測。
其中AlphaFold2是一個具有革命性的人工智慧蛋白質模型，在CASP14蛋白質結構預測任務上取得了原子級別的預測準確度，該成果可能會重塑結構生物學。
然而對於蛋白質的研究，結構僅僅只是開始。對於蛋白質功能的解讀，例如，未知蛋白質功能註釋、突變影響、蛋白質工程、摺疊的穩定性等研究更加具備實際意義。
目前，除了結構預測之外，
還沒有相關研究對於AlphaFold的核心元件Evoformer（一種新穎的PLM）進行結構以外任務的評估檢驗
。
最近來自西湖大學的研究者們聚焦Evoformer的表徵能力研究，尤其是探究其蛋白質功能預測水平。
論文題目：Exploring evolution-aware & -free protein language models as protein function predictors
論文連結：https：//arxiv。org/abs/2206。06583
程式碼連結：https：//github。com/elttaes/Revisiting-PLMs
作者的主要動機是：既然蛋白質結構決定功能，而AlphaFold2如此精準的結構預測能力是否也具有較強的功能預測能力。
針對此，研究者探究了三種流行的PLM的表徵能力：ESM-1b（單序列PLM）、MSA-Transformer（多序列比對PLM）和 Evoformer（基於結構的PLM），尤其關注Evoformer的能力。
三種主流蛋白質語言模型神經網路對比
論文旨在回答以下
關鍵問題
：
1、作為AlphaFold的核心表徵模型，
Evoformer是否產生適合蛋白質功能預測任務的特徵向量
？
2、如果是，
Evoformer能否取目前最強大的PLM
，也就是Meta的ESM-1b和MSA-Transformer？
3、這些PLM在
多大程度上依賴於同源蛋白的進化資料
？
文章透過實證研究比較這些模型，並在此基礎上提出新的見解和結論。
AlphaFold2並非全能
蛋白質是生命活動的主要執行者，因此，破譯其結構和功能特性背後的機制至關重要。
其中蛋白質序列-結構-功能關係使得基於序列的機器學習方法在結構和功能預測上取得很大成功，這些方法可以從氨基酸 （AA） 序列推斷蛋白質結構和功能。
億級別引數的大規模的蛋白質語言模型透過自監督學習方法已經成為AI預測蛋白質功能的最主流做法。
同時，AlphaFold在蛋白質資料庫（PDB）的3D蛋白質結構上進行了訓練，最終可以輸出與實驗結構同樣準確的蛋白質3D結構。
它的多序列比對錶示模組Evoformer結合了新的深度學習機制、PLM殘差重建任務和直方圖形式的結構監督。與MSA-Transformer一樣，Evoformer將一系列與進化相關且對齊的蛋白質序列作為輸入，而ESM-1b和TAPE等PLM僅採用單個蛋白質序列。
簡而言之我們將前兩個模型稱為進化感知型PLM，後兩個模型稱為無（顯式）進化型PLM。
儘管AlphaFold在從序列預測結構方面取得了顯著成功，但目前尚不清楚其Evoformer模組是否可以應用於其他問題，特別是蛋白質功能和適應度預測。破譯AlphaFold而不是將其視為黑匣子對AI和生物學界都有好處。
因此，我們試圖回答以下關鍵問題：
Q1：AlphaFold的主要模組Evoformer語言模型是否學習到了可用於各種蛋白質功能預測的通用表徵（也就是超出結構預測）？
與ESM-1b和MSA-Transformer不同，Evoformer在3D結構的監督下進行訓練。
此外，AlphaFold的第二部分，即結構模組建立在48個Evoformer塊之上，比ESM-1b和MSA-Transformer中使用的傳統（線性）分類頭更復雜、更深入。這些差異使得Evoformer的蛋白質功能表示能力成為一個懸而未決的問題。
Q2：如果Evoformer的表徵是通用的，它在下游任務上是否優於ESM-1b和MSA-Transformer？
雖然這三個模型使用不同的引數大小和資料集進行訓練，但我們認為比較結果仍然很有價值，因為它們是目前最先進的PLM。由於所涉及的計算成本，從頭開始訓練這些大型模型對於大多數學術研究團隊來說是遙不可及的。
任務詳細介紹
Q3：進化感知的PLM， 如Evoformer 與MSA-Transformer的功能預測效能在多大程度上依賴於輸入的MSA資料？無進化感知的PLM能否在MSA構建方面幫助具有進化意識型的PLM？
研究人員透過對各種結構和功能預測任務做經驗驗證，研究解決上述問題，可以得到以下
主要結論
：
（i）
AlphaFold的主要模組Evoformer可以產生對結構和功能預測都有用的表徵，如兩個蛋白質結構預測任務、兩個功能註釋任務和兩個突變適應度景觀預測任務。
（ii）
Evoformer輸出的向量表示對於蛋白質級別和殘基級別的預測任務都很有用。
（iii）
Evoformer在結構預測和新型小蛋白穩定性預測方面優於ESM-1b和MSA-Transformer，但在其他功能預測任務上不如ESM-1b。與ESM-1b和MSA-Transformer相比，它在零樣本適應度預測任務上表現不佳。
（iv）
進化感知型PLMs僅在結構預測任務中優於無進化的ESM-1b模型，但在大多數功能預測任務中通常比ESM-1b差。
（v）
MSA-Transformer和Evoformer在預測蛋白質功能時也對MSA的數量非常敏感。此外，它們在使用ESM-1b構建的MSA作為輸入時，模型的效能與使用Jackhmmer或HHblits生成的MSA的效能相當，但速度大幅提升，本研究也提出了一種深度學習方式快速準確生成MSA。
實驗部分
這篇論文將ESM-1b、MSA-Transformer和Alphafold2進行了一系列任務，包括蛋白質結構預測如二級結構，接觸圖預測。
蛋白質功能預測包括金屬離子結合、抗生素耐藥性。以及蛋白質穩定性預測，蛋白質熒光性預測，以及零樣本遷移學習突變適應度景觀預測。
二級結構預測（SS）
這是一個殘基級序列到序列的任務，其中蛋白質序列 x = {x_1，x_2，…。。，x_L} 的每個殘基x_i對映到標籤y_i對應於八個二級結構任務y_i∈ { G， H， 。。。， C } 之一。二級結構預測檢查PLM學習區域性結構的程度。
接觸圖預測
對於給定的蛋白質結構，如果兩個殘基的 C_β 碳在 8Å 以內，則認為它們是接觸的。我們評估在一級結構中相距超過6 個位置的氨基酸。使用Precision@L測量結果，它代表著具有最高預測接觸機率的Top-L氨基酸對的精度。L是蛋白質序列的長度。
研究人員還評估了兩個功能（註釋）分類任務：
1、
金屬離子結合 （MIB）
：這是一個二元分類任務，其中使用PLM來確定蛋白質中是否存在金屬離子結合位點。
2、
抗生素耐藥性 （ABR）
：這是一個多類別分類任務，PLM 需要正確確定蛋白質降解的抗生素類別。我們從 CARD構建資料集，其中包含 19 種不同的抗生素型別。
以及三個適應度預測任務。與功能註釋預測不同，此任務中的蛋白質序列均來自相同的野生型，具有少量突變殘基。
1、
穩定性
：這是一個蛋白質級別的迴歸任務，它預測蛋白質可以維持其摺疊的蛋白酶濃度。
2、
熒光
：這也是一個蛋白質級別的迴歸任務，預測蛋白質序列的對數熒光強度。
3、
零樣本突變效應預測
：這是一項蛋白質級別的預測任務，透過對比分配給突變殘基的似然可能性與分配給野生型的可能性之間的差建立與蛋白質適應度景觀之間的關係。此子任務僅考慮單點突變資料。
新蛋白接觸圖預測結果
蛋白質功能預測結果如下：
（1）
蛋白質功能註釋預測：
蛋白功能預測結果
（2）
蛋白質突變適應性景觀預測
蛋白突變適應度景觀預測結果
（3）
下圖為零樣本突變適應度景觀預測結果
零樣本突變適應度分數預測
（4）
在MIB和ABR兩個功能預測任務上測試了MSA數量對於模型效果的影響，在失去MSA的情況下Evoformer和MSA-Transformer無論是否經過預訓練，都會產生更差的功能預測結果。
MSA的有無對模型結果的影響
（5）
進一步提出一種新的MSA構建方式，其速度遠遠高於傳統的生信方法例如HHblits，如下所示：
ESM-MSA搜尋的MSA與Jackhmmer準確度對比
其中ESM-MSA為採用ESM-1b構建神經網路產生的MSA資料，詳細構建方式見下圖：
結論
透過對各種蛋白質相關任務的實驗，可以得到以下結論：
（1）
AlphaFold2訓練的Evoformer能夠得到對結構和功能預測都有用的表徵。
（2）
Evoformer產生的表徵對於蛋白質或殘基級別預測任務都很有用。
（3）
Evoformer在結構預測和蛋白穩定性預測方面優於ESM-1b和MSA-Transformer，但在其他功能預測任務上不如ESM-1b。
（4）
與ESM-1b和MSA-Transformer相比， Evoformer在零樣本突變任務上表現很差。
（5）
基於進化資訊的蛋白質語言模型僅在結構預測任務中優於無進化資訊的ESM-1b模型，在大多數功能預測任務中通常比ESM-1b差。
（6）
與結構預測類似，基於進化資訊的蛋白質語言模型在預測蛋白質功能時也對MSA的數量比較敏感。
本文主要觀點是透過大量的實驗證實：AlphaFold2雖然在蛋白質結構預測任務上取得了革命性的成果，但其核心表徵學習元件
Evoformer並不能直接帶來蛋白質功能預測的顯著提升
，更
不可能替代已有的SOTA
， 也就是Facebook研發的 ESM1b與MSA-Transformer。
參考資料：
https：//arxiv。org/abs/2206。06583
