（來(lái)源：MIT News）

尋找具備研發(fā)新藥物和新材料所需特性分子的過(guò)程既繁瑣又昂貴，需要耗費(fèi)大量計(jì)算資源，研究人員往往要花費(fèi)數(shù)月時(shí)間，才能在浩如煙海的候選分子中篩選出數(shù)量有限的目標(biāo)分子。

像 ChatGPT 這樣的大語(yǔ)言模型有望簡(jiǎn)化這一流程，然而，讓大語(yǔ)言模型像理解句子中的單詞那樣理解和推理構(gòu)成分子的原子與化學(xué)鍵卻存在技術(shù)壁壘。

近期，麻省理工學(xué)院和 MIT-IBM 沃森人工智能實(shí)驗(yàn)室的研究人員開發(fā)出一種頗具前景的方法，利用基于圖的模型（Graph-based Model）來(lái)增強(qiáng)大語(yǔ)言模型（這些模型專為生成和預(yù)測(cè)分子結(jié)構(gòu)而設(shè)計(jì)）。

該方法通過(guò)基礎(chǔ)大語(yǔ)言模型解析用戶自然語(yǔ)言需求后，能在分子設(shè)計(jì)、原理闡釋及合成路線規(guī)劃等環(huán)節(jié)智能切換 AI 模塊。

它將文本、圖形和合成步驟生成交織在一起，把單詞、圖形和反應(yīng)整合為一個(gè)通用詞匯表，供大語(yǔ)言模型使用，實(shí)現(xiàn)多模態(tài)信息無(wú)縫銜接。

與現(xiàn)有的基于大語(yǔ)言模型的方法相比，這種多模態(tài)技術(shù)生成的分子更符合用戶設(shè)定的規(guī)格，有效合成方案成功率從 5% 提升至 35%

該方法的效果優(yōu)于規(guī)模比它大 10 倍以上、僅使用文本表示來(lái)設(shè)計(jì)分子和合成路線的大語(yǔ)言模型，這表明多模態(tài)融合是新系統(tǒng)成功的關(guān)鍵。

“這有望成為一個(gè)‘端到端’的解決方案，能實(shí)現(xiàn)分子設(shè)計(jì)與合成全過(guò)程的自動(dòng)化。如果大語(yǔ)言模型能在幾秒鐘內(nèi)給出答案，將為制藥公司節(jié)省大量時(shí)間。”麻省理工學(xué)院研究生、該技術(shù)論文的合作者 Michael Sun 說(shuō)道。

這項(xiàng)研究成果將在國(guó)際學(xué)習(xí)表征會(huì)議上發(fā)表。論文的合作者還包括圣母大學(xué)研究生 Gang Liu、麻省理工學(xué)院電氣工程與計(jì)算機(jī)科學(xué)教授 Wojciech Matusik，以及 MIT-IBM 沃森人工智能實(shí)驗(yàn)室資深科學(xué)家 Jie Chen。這項(xiàng)研究部分由美國(guó)國(guó)家科學(xué)基金會(huì)、海軍研究辦公室以及 MIT-IBM 沃森人工智能實(shí)驗(yàn)室資助。

優(yōu)勢(shì)互補(bǔ)

大型語(yǔ)言模型并非為理解化學(xué)的微妙之處而設(shè)計(jì)，這也是它們難以進(jìn)行逆向分子設(shè)計(jì)的原因之一。逆向分子設(shè)計(jì)是指識(shí)別具有特定功能或特性的分子結(jié)構(gòu)的過(guò)程。

大語(yǔ)言模型將文本轉(zhuǎn)換為一種名為標(biāo)記的表示形式，用于按順序預(yù)測(cè)句子中的下一個(gè)單詞。但分子是由原子和化學(xué)鍵組成的“圖形結(jié)構(gòu)”，不存在特定順序，這使得它們很難編碼為順序文本。

另一方面，基于圖的模型將原子和分子鍵表示為圖形中相互連接的節(jié)點(diǎn)和邊。盡管這些模型在逆向分子設(shè)計(jì)中應(yīng)用廣泛，但它們需要復(fù)雜的輸入，無(wú)法理解自然語(yǔ)言，且生成的結(jié)果可能難以解釋。

麻省理工學(xué)院的研究人員將大語(yǔ)言模型與基于圖的模型整合到一個(gè)統(tǒng)一框架中，實(shí)現(xiàn)了優(yōu)勢(shì)互補(bǔ)。

Llamole（Large Language Model for Molecule Discovery，分子發(fā)現(xiàn)大型語(yǔ)言模型）利用基礎(chǔ)大語(yǔ)言模型作為“智能調(diào)度員”，理解用戶的查詢，即用戶用通俗語(yǔ)言對(duì)具有特定屬性分子的需求。

例如，用戶在尋找一種分子量為 209、具有特定鍵特性，且能穿透血腦屏障并抑制 HIV 的分子。

當(dāng)大語(yǔ)言模型響應(yīng)用戶查詢預(yù)測(cè)文本時(shí)，系統(tǒng)會(huì)通過(guò)獨(dú)特的“觸發(fā)令牌”機(jī)制，在三大功能模塊間智能切換：1、結(jié)構(gòu)生成模塊（基于圖擴(kuò)散模型，根據(jù)輸入條件構(gòu)建分子骨架）；2、語(yǔ)義轉(zhuǎn)換模塊（通過(guò)圖神經(jīng)網(wǎng)絡(luò)將分子結(jié)構(gòu)重新編碼為大語(yǔ)言模型可理解的詞元）；3、合成規(guī)劃模塊（根據(jù)中間體結(jié)構(gòu)預(yù)測(cè)反應(yīng)路徑，逆向推導(dǎo)從基礎(chǔ)原料到目標(biāo)分子的完整合成方案）。

“這樣做的精妙之處在于模塊間的信息閉環(huán)，大語(yǔ)言模型在激活特定模塊前生成的所有內(nèi)容，都會(huì)輸入到該模塊中。該模塊會(huì)以與之前一致的方式進(jìn)行工作。”Michael Sun 說(shuō)道，“同樣，每個(gè)模塊的輸出都會(huì)經(jīng)過(guò)編碼，并反饋到大語(yǔ)言模型的生成過(guò)程中，這樣大語(yǔ)言模型就能了解每個(gè)模塊的作用，并繼續(xù)根據(jù)這些數(shù)據(jù)預(yù)測(cè)標(biāo)記。”

更優(yōu)、更簡(jiǎn)單的分子結(jié)構(gòu)

最終，Llamole 會(huì)輸出分子結(jié)構(gòu)圖像、分子文本描述以及分步合成計(jì)劃，該計(jì)劃詳細(xì)說(shuō)明了如何合成分子，包括具體的化學(xué)反應(yīng)。

在設(shè)計(jì)符合用戶規(guī)格分子的實(shí)驗(yàn)中，Llamole 的表現(xiàn)優(yōu)于 10 種標(biāo)準(zhǔn)大語(yǔ)言模型、4 種微調(diào)大語(yǔ)言模型，以及最先進(jìn)的特定領(lǐng)域方法。同時(shí)，它通過(guò)生成更高質(zhì)量的分子，將逆合成規(guī)劃成功率從 5% 提升至 35%，這意味著這些分子結(jié)構(gòu)更簡(jiǎn)單，構(gòu)建模塊成本更低。

“大語(yǔ)言模型自身很難確定如何合成分子，因?yàn)檫@需要大量多步驟規(guī)劃。我們的方法能生成更優(yōu)且更易合成的分子結(jié)構(gòu)。”Gang Liu 說(shuō)道。

為了訓(xùn)練和評(píng)估 Llamole，研究人員從頭構(gòu)建了兩個(gè)數(shù)據(jù)集，因?yàn)楝F(xiàn)有的分子結(jié)構(gòu)數(shù)據(jù)集細(xì)節(jié)不足。他們用 AI 生成的自然語(yǔ)言描述和自定義描述模板，對(duì)數(shù)十萬(wàn)個(gè)專利分子進(jìn)行了擴(kuò)充。

他們?yōu)槲⒄{(diào)大語(yǔ)言模型構(gòu)建的數(shù)據(jù)集包含與 10 種分子特性相關(guān)的模板，因此 Llamole 的一個(gè)局限在于，它被訓(xùn)練為僅考慮這 10 種數(shù)值特性來(lái)設(shè)計(jì)分子。

在未來(lái)的研究中，研究人員希望擴(kuò)展 Llamole 的功能，使其能夠考慮任何分子特性。此外，他們還計(jì)劃改進(jìn)圖形模塊，提高 Llamole 的逆合成成功率。

從長(zhǎng)遠(yuǎn)來(lái)看，他們希望利用這種方法拓展應(yīng)用范圍，超越分子領(lǐng)域，創(chuàng)建能處理其他圖基數(shù)據(jù)的多模態(tài)大語(yǔ)言模型，例如電網(wǎng)中的互連傳感器數(shù)據(jù)或金融市場(chǎng)中的交易數(shù)據(jù)。

“Llamole 展示了將大型語(yǔ)言模型用作處理文本描述之外復(fù)雜數(shù)據(jù)的接口的可行性，我們預(yù)計(jì)它們將成為與其他 AI 算法交互以解決各類圖形問(wèn)題的基礎(chǔ)。”Jie Chen 說(shuō)道。

https://news.mit.edu/2025/could-llms-help-design-our-next-medicines-and-materials-0409