新智元報道

編輯：LRST

【新智元導讀】Hyper-RAG利用超圖同時捕捉原始數據中的低階和高階關聯信息，最大限度地減少知識結構化帶來的信息丟失，從而減少大型語言模型（LLM）的幻覺。

大語言模型（Large Language Models, LLMs）在面對專業領域知識問題的時候，經常會生成偏離既定事實的回復，或模糊不清的回答，從而帶來了潛在應用風險。

檢索增強生成（Retrieval-Augmented Generation, RAG）通過構建特定領域知識庫，采用基于向量的檢索技術來提取與給定查詢相關的信息，從而使LLM能夠生成更準確、更可靠的內容。

然而，現有的基于圖的RAG方法受限于僅能表示實體之間的成對關聯，無法表示那些更復雜的多實體間的群組高階關聯，導致數據結構化過程中這些高階信息的丟失。

為了解決這一難點，清華大學、西安交通大學等提出Hyper-RAG：一種超圖驅動的檢索增強生成方法。

Hyper-RAG將超圖表征融入RAG中，通過超圖捕獲原始數據中的成對低階關聯和群組高階關聯，從而最大限度減少領域知識結構化帶來的信息損失，提高生成響應的準確性和可靠性，可以作為醫療診斷金融分析等高可靠需求應用的有利支撐。

在神經科學任務上對六種LLMs進行的實驗表明，Hyper-RAG相比于直接使用LLM，其準確率平均提升了12.3%，比GraphRAG和LightRAG分別高出6.3%和6.0%。

此外，Hyper-RAG在查詢問題復雜性增加的情況下仍能保持穩定性能，而現有方法的性能則有所下降；其輕量級變體Hyper-RAG-Lite在檢索速度上達到了Light RAG的兩倍，并且性能提升了3.3%。

論文地址：https://arxiv.org/abs/2504.08758

Github倉庫：https://github.com/iMoonLab/Hyper-RAG

Hyper-RAG集成系統

超圖驅動的本地檢索增強大模型

超圖本地知識庫可視化系統

RAG困境

現有基于知識結構化的RAG方法，如Graph RAG和Light RAG，利用圖結構來表示特定領域文本中的關系信息。

然而，基于圖的方法僅限于成對關系，限制了其捕捉復雜互連的能力，如下圖所示，在敘事故事中，雖然圖可以有效地模擬人物之間錯綜復雜的相關關系，但卻不足以表示涉及多個人物同時互動的事件。

在敘事故事中，雖然圖可以有效地模擬人物之間錯綜復雜的關聯，但卻不足以表示涉及多個人物同時互動的事件。在構建知識圖譜的過程中，通常會丟失這些超出成對相關的關聯，從而導致信息的損失。

相比之下，超圖能夠對多個數據點之間的高階關聯(及以上)進行建模，提供了更全面的領域知識表示。

研究人員探討了基于超圖的RAG技術，以實現關鍵知識的全面覆蓋。通過整合基于超圖的結構，大型語言模型能夠更好地減輕與關鍵信息相關的幻覺現象，從而增強其在專業領域輸出的可靠性和準確性。

超圖建模索引

下圖舉例說明了如何從原始語料中提取實體、低階關聯和高階關聯。可以看出，加入高階關聯可確保更全面地檢索相關信息。與此相反，如果使用傳統圖，則僅提取成對相關性，會導致潛在的信息丟失，從而導致大模型產生幻覺。

方法概述

為了減少LLM的幻覺，Hyper-RAG將超圖建模納入RAG框架，利用超圖來捕捉錯綜復雜的多方面相關性。

具體來說，首先，從原始數據集中提取實體，作為超圖中的節點。隨后，這些實體之間的低階和高階關聯會被識別和整合，從而構建一個基于超圖的知識庫。

在查詢階段，首先從輸入查詢中提取關鍵實體，然后利用超圖結構從知識庫中檢索相關的先驗語料信息。

知識索引

在Hyper-RAG中，語料庫數據可以包含各種類型的文檔，包括書籍、手冊、報告和其他相關文本。首先對原始文檔進行預處理，并將其劃分為大小一致的chunk，從而形成語料庫集合：

隨后，使用文檔結構函數Φ從語料庫中提取結構信息，從而得到超圖G。

其中，v表示不同元素實體的集合，
分別表示實體間的低階和高階關聯。

檢索增強

在查詢環節給定一個查詢q，首先提取兩組不同的關鍵詞集合：實體關鍵詞

（基本組件）和關聯關鍵詞（復雜的相互依賴關系），如下所示：

其中，
是用于從輸入問題中提取關鍵字的提示詞。隨后，基于這兩類提取的關鍵詞，從超圖數據庫中檢索相關信息。

值得注意的是，實體關鍵字檢索的目標是頂點，而關聯關鍵字檢索的目標是超邊。出現這種區別是因為實體關鍵字主要描述單個實體，使頂點成為合適的檢索對象。

相反，相關性關鍵詞描述的是抽象信息，通常涉及多個實體之間的關系，因此需要超邊作為檢索目標。

對于實體信息檢索，通過擴散實體對應的超邊作為補充信息，對于關聯信息檢索，通過擴散超邊對應的實體作為補充信息：

通過超圖知識庫進行一步擴散，獲得與這些實體相關的超邊/超邊相關的節點作為補充信息。

隨后將頂點相關和超邊相關的信息合并送給大模型以獲得可靠知識補充，生成LLM對查詢的回答。

實驗結果

研究人員在9個不同領域數據集上（神經科學、病理學、數學、物理學、法律、藝術等），采用了6個不同大模型，2種不同評估策略，多維評價指標進行了實驗驗證。

基于打分的評估

在NeurologyCrop數據集上的實驗結果表明，Hyper-RAG的性能優于直接應用LLM，平均提高了12.3%；此外，與GraphRAG和LightRAG相比，Hyper-RAG的性能分別提高了6.3%和6.0%。

當通過引入嵌套，即一個問題后接另一個問題以增加復雜性，如下表所示。隨著問題難度的增加，現有的LLM和基于RAG的方法的性能顯著下降。相比之下，Hyper-RAG 保持了穩定的性能水平。

具體來說，隨著問題難度的增加，Hyper-RAG與直接使用LLM相比，性能提高了12.7%到15%。這些結果證實了基于超圖的全面信息表示的優越性。

對于簡單的查詢，直接來自大型語言模型的回答或簡單的成對（即低階）關聯可能已足夠。

然而，隨著查詢變得更加復雜，復雜的高階關聯的可用性對于約束和豐富模型的輸出變得至關重要，這一實驗趨勢強調了開發基于超圖的結構表示和檢索方法，以應對日益復雜的問題所帶來的挑戰的重要性。

基于選擇的評估

為了進一步驗證Hyper-RAG，本文將實驗擴展到跨越多個領域的九個不同語料庫數據集。

在這些數據集中，Hyper-RAG的性能始終優于傳統的基于圖的方法Light RAG，在使用基于選擇的評估方法對性能進行評估時，Hyper-RAG的平均性能提高了35.5%。

效率分析

這里進一步評估了從數據庫本地檢索獲取相關知識和構建先驗知識提示所需的時間。

作者開發了Hyper-RAG的輕量級變體，Hyper-RAG-lite，它保留了實體檢索的基本增強功能。

可以看出，Hyper-RAG和Hyper-RAG-lite都位于圖的左上角附近，這表明這些方法在速度和性能方面都優于其他方法。

總結

Hyper-RAG通過利用超圖對原始數據進行更加全面且結構化的知識表示，最大程度地減少信息丟失并降低大型語言模型的幻覺現象。

與現有的基于圖的RAG方法相比，Hyper-RAG在多個不同領域的數據集上表現出更優異的性能，能夠有效捕捉復雜的多實體群組高階關系，從而提升生成內容的準確性和可靠性。

研究表明，Hyper-RAG在增強LLM的可靠性和減少不準確輸出方面具有顯著優勢，能夠更好地應對輸出內容不可靠帶來的挑戰。

參考資料：

[1] Feng Y, You H, Zhang Z, et al. Hypergraph neural networks[C]//Proceedings of the AAAI conference on artificial intelligence. 2019, 33(01): 3558-3565.

[2] Gao Y, Feng Y, Ji S, et al. HGNN+: General hypergraph neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(3): 3181-3199.

[3] Feng Y, Han J, Ying S and Gao Y. Hypergraph Isomorphism Computation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(5): 3880-3896.

[4] Feng Y, Yang C, Hou X, et al. Beyond Graphs: Can Large Language Models Comprehend Hypergraphs?[C]//Proceedings of the Thirteenth International Conference on Learning Representations. 2025.

[5] Feng Y, Liu S, Han X, et al. Hypergraph Foundation Model[J]. arXiv preprint arXiv:2503.01203, 2025.