當前,基于成對的排序方法雖然在局部關系建模上表現出色,但是缺乏全局優化能力。
(來源:https://arxiv.org/pdf/2411.12064)
而基于列表的深度學習方法雖側重整體排序優化,卻因復雜的調參流程和跨領域遷移時的魯棒性不足,限制了其實用性。于是愛丁堡大學李尉銜博士和所在團隊開始思考是否能把列表和成對排序的優點都結合起來。
研究初期有兩篇論文給了他們帶來了很大啟發:一是本論文作者之一謝伊·科恩(Shay Cohen)教授早期關于利用組合優化推理食譜順序的研究[1];二是李尉銜的大學同學Yixuan He關于GNNRank的研究[2],該研究通過利用圖神經網絡建模成對關系從而能夠恢復全局排序。
受到這些工作的啟發,研究團隊將排序問題轉化為圖建模問題,并借助旅行商問題與排序問題的結構相似性,提出了一種全新的解決方案——TSPRank。
TSPRank通過將排序問題重構為旅行商問題,結合成對建模的局部優勢和全局優化能力,為復雜排序問題提供了創新性解決方案。
研究團隊在三個不同領域(股票排名、信息檢索、歷史事件排序)和多模態輸入(數值與文本)上進行了實驗,驗證了TSPRank的跨領域適用性和優越性能。
對于相關論文,審稿人認為TSPRank將排序問題重構為旅行商問題的想法非常新穎,結合了成對建模的魯棒性與全局優化的能力,為解決傳統排序方法的局限性提供了新思路。
此外,實驗設計的全面性和結果的有效性也得到了審稿人的肯定。與此同時,審稿人也提出了一些建設性建議,例如進一步解釋局部與全局建模的結合點以及優化目標與排序誤差之間的關系。
同時,審稿人建議未來應在更大規模的數據場景下探索低延遲的求解器,以便提升TSPRank的計算效率。
在金融領域,TSPRank可以用于股票排名和投資組合優化,幫助投資者在多維特征下進行資產篩選和排序,從而提高投資決策的準確性和效率。
在搜索引擎和信息檢索領域,TSPRank可以作為重排序(reranking)模塊,提升檢索結果的相關性和用戶體驗。它能夠利用精細化的全局優化策略,在初步檢索后的結果中對文檔或網頁進行更準確的排序,從而確保用戶在查詢結果的前幾項中看到最優內容。
此外,TSPRank在教育和科學研究中也有潛在應用。例如,在學術論文排序中,它可以綜合不同的評價指標(如引文、下載量和閱讀量)生成更合理的推薦順序,為研究人員提供更相關的參考文獻。在教育領域,它可以用于學生評估或學校排名,通過整合多維數據(如考試成績、活動參與度、教師評估)提供更加精準的排序。
目前,TSPRank的主要限制在于推理延遲問題。由于旅行商問題本質上是NP-Hard的,其求解時間會隨著問題規模的增加呈指數增長。因此,現階段TSPRank的應用主要局限于中小規模的場景,例如排序系統的重排序階段。然而,基于神經網絡的組合優化求解器近年來發展迅速,這為研究團隊在未來的優化計劃提供了新的方向。
研究團隊計劃探索基于深度學習的近似求解算法,例如通過神經網絡模擬TSP的最優解或快速近似解。通過引入這些新的求解器,研究團隊希望能夠將TSPRank的應用范圍擴展到更大規模的問題中,如電商平臺的大規模商品排序、搜索引擎的實時文檔排序,以及需要處理更高數據吞吐量的金融市場分析場景。
參考資料:
1.Abend, Omri, Shay B. Cohen, and Mark Steedman. "Lexical event ordering with an edge-factored model." Proceedings of the 2015 conference of the north american chapter of the association for computational linguistics: Human language technologies. 2015.
2.He, Yixuan, et al. "Gnnrank: Learning global rankings from pairwise comparisons via directed graph neural networks." international conference on machine learning. PMLR, 2022.
3.Niepert, Mathias, Pasquale Minervini, and Luca Franceschi. "Implicit MLE: backpropagating through discrete exponential family distributions." Advances in Neural Information Processing Systems 34 (2021): 14567-14579.
4.Li, Weixian Waylon, et al. "BERT is not The Count: Learning to Match Mathematical Statements with Proofs." European Chapter of the Association for Computational Linguistics. 2023.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.