導語

推薦系統(tǒng)需同時處理結構信息和文本信息，但傳統(tǒng)圖神經網絡(GNN)難以處理復雜語義，大語言模型(LLM)則缺乏對結構信息的理解。北郵GAMMA Lab與百度合作發(fā)布的綜述首次系統(tǒng)討論了圖基礎模型(GFM)在推薦領域的應用，GFM整合了GNN與LLM的優(yōu)勢，更有效地結合結構與文本信息。研究方法分為圖增強LLM、LLM增強圖以及圖與LLM協調三類，為推薦系統(tǒng)提供了新范式。

關鍵詞：推薦系統(tǒng)、圖基礎模型(GFM)、圖神經網絡(GNN)、大語言模型(LLM)、協同過濾、結構信息、多模態(tài)推薦、知識整合

伍斌丨作者

北郵 GAMMA Lab丨來源

去年7月，我們在arXiv網站上推出了圖基礎模型綜述文章《Towards Graph Foundation Models: A Survey and Beyond》的V3版本，這篇綜述自最初版本首次提出圖基礎模型的核心概念并探討了它們的能力和特征以來，進一步迭代，力求全面覆蓋該領域的研究并跟進最新研究進展。

近日，北郵GAMMA Lab師生與百度公司多名推薦領域專家學者合作發(fā)布了名為“Graph Foundation Models for Recommendation: A Comprehensive Survey”的文章，首次討論了圖基礎模型在推薦領域的應用，并提出了該領域的挑戰(zhàn)和未來研究方向。

標題：Graph Foundation Models for Recommendation: A Comprehensive Survey 作者：Bin Wu, Yihang Wang, Yuanhao Zeng, Jiawei Liu, Jiashu Zhao, Cheng Yang, Yawen Li, Long Xia, Dawei Yin, Chuan Shi 鏈接：https://arxiv.org/abs/2502.08346

簡介：

推薦系統(tǒng)（Recommender System，RS）已經成為現代數字化社會不可或缺的一部分，它的應用范圍廣泛，包括電子商務、社交媒體以及娛樂等多個領域。在這些領域中，推薦系統(tǒng)為我們提供個性化服務。這些推薦系統(tǒng)所依賴的數據通常包含結構信息，例如用戶與物品之間的交互，以及文本信息，如用戶屬性和物品描述等。隨著圖學習的快速發(fā)展，基于圖神經網絡（GNN）的方法已經在推薦系統(tǒng)中占據重要的地位，它們不僅增強了協同過濾中的協同信號，還將這些信號擴展到了更高階的結構中。然而，由于GNN的設計目標是建模相關性，它難以處理復雜語義。另一方面，LLM在自然語言處理（NLP）領域的影響力不言而喻，它的應用也延伸到了推薦系統(tǒng)領域。通過借助LLM強大的文本處理能力，我們可以有效地處理用戶和物品的文本信息，并整合世界知識以提升推薦的效果。但是，它們的推理能力受限于難以精細理解結構信息。受LLM在NLP領域的成功的啟發(fā)，圖學習領域正在發(fā)生變革，圖基礎模型（GFM）隨之誕生。GFM通過整合GNN和LLM的技術，使得推薦系統(tǒng)能夠更有效地利用數據來對齊用戶的偏好，做出更精準的推薦?；贕FM的推薦系統(tǒng)可以高效地利用結構信息和文本信息，這使得它們有很大的潛力成為推薦系統(tǒng)的新興范式。

GFM有效地利用了GNN和LLM的技術互補性。GNN在建模文本信息方面存在困難，而LLM的推理能力并不支持它們理解更高階的結構信息。這兩種技術在GFM中互補了彼此的不足，為推薦領域的未來創(chuàng)造了新的可能。在這個綜述中，我們全面調研了基于GFM的推薦系統(tǒng)的相關工作，并基于圖和LLM在GFM中的協同關系做出了清晰的分類：圖增強LLM，LLM增強圖以及圖和LLM協調。圖增強LLM方法可以被視為利用圖的結構信息來輔助LLM預訓練獲取的知識進行推薦。而LLM增強圖方法，則是由圖的結構信息主導，LLM的世界知識作為輔助信息。圖和LLM協調方法則是讓兩者的嵌入在表征空間進行變換。

圖增強LLM的方法

LLM增強圖的方法

圖和LLM協調的方法

推薦系統(tǒng)作為學術界和工業(yè)界的常青樹，已經成為許多綜述的核心主題。其中，一部分研究專注于探索具體推薦方法，如基于圖神經網絡（GNN）的推薦系統(tǒng)，或者是基于大語言模型（LLM）的推薦系統(tǒng)。另一些研究則關注如何運用大語言模型（LLM）來增強圖，從而解決與圖相關的問題。然而，隨著圖學習領域的快速發(fā)展，圖基礎模型正在嶄露頭角，它很有可能成為推薦系統(tǒng)研究的新范式。我們的這篇綜述旨在提供一個全面且具有時效性的概覽，盡可能地覆蓋基于圖基礎模型的推薦系統(tǒng)的所有相關工作。

這篇綜述的貢獻可以歸納為以下幾個方面：

• 我們對基于圖基礎模型的推薦系統(tǒng)這個研究領域做了全面的介紹，據我們所知這是這個領域的第一篇綜述。

• 我們設計了一套清晰的分類法，使得未來的研究能夠輕松地歸入相應的類別。

• 我們提出了本領域所面臨的挑戰(zhàn)以及未來可能的研究方向，這將為這個快速發(fā)展的領域提供一定的參考。

該綜述的主要章節(jié)安排如下：第1節(jié)，我們簡要介紹了推薦系統(tǒng)以及基于GFM的推薦系統(tǒng)，并闡明了我們文章的動機與貢獻。第2節(jié)中，我們進一步介紹這個領域的一些背景知識，包括基于GNN的推薦系統(tǒng)，基于LLM的推薦系統(tǒng)以及圖基礎模型。后面3到5節(jié)我們在圖增強LLM，LLM增強圖，圖和LLM的協調三個分類中對這個領域的方法做了細致地介紹和討論。而在第6節(jié)，我們討論了基于圖基礎模型的推薦系統(tǒng)的未來方向。

圖神經網絡與組合優(yōu)化讀書會

現實世界中大量問題的解決依賴于算法的設計與求解。傳統(tǒng)算法由人類專家設計，而隨著人工智能技術不斷發(fā)展，算法自動學習算法的案例日益增多，如以神經網絡為代表的的人工智能算法，這是算法神經化求解的緣由。在算法神經化求解方向上，圖神經網絡是一個強有力的工具，能夠充分利用圖結構的特性，實現對高復雜度算法的高效近似求解?；趫D神經網絡的復雜系統(tǒng)優(yōu)化與控制將會是大模型熱潮之后新的未來方向。

為了探討圖神經網絡在算法神經化求解的發(fā)展與現實應用，集智俱樂部聯合國防科技大學系統(tǒng)工程學院副教授范長俊、中國人民大學高瓴人工智能學院副教授黃文炳，共同發(fā)起「圖神經網絡與組合優(yōu)化」讀書會。讀書會將聚焦于圖神經網絡與算法神經化求解的相關領域，包括神經算法推理、組合優(yōu)化問題求解、幾何圖神經網絡，以及算法神經化求解在 AI for Science 中的應用等方面，希望為參與者提供一個學術交流平臺，激發(fā)參與者的學術興趣，進一步推動相關領域的研究和應用發(fā)展。歡迎感興趣的朋友報名參與！

詳情請見：

1.

2.

3.

4.

5.

6.