當前，推薦系統在我們日常數字生活中扮演著重要角色，其能幫助用戶從大量信息中找到感興趣的內容。

然而，傳統推薦系統依賴靜態數據，無法及時響應用戶興趣的變化。為解決這一問題，強化學習被引入到了推薦系統里，人們借此開發出了強化學習推薦系統。

這種系統通過實時反饋能夠不斷地調整推薦內容，能夠增強系統的靈活性和智能性，進而得以盡可能地讓推薦內容符合用戶的興趣和需求。

在強化學習推薦系統中，系統的效率主要依賴于三個關鍵要素：狀態表示、策略優化和獎勵機制。

其中，狀態表示——是系統理解和描述用戶與環境互動的基礎，它涵蓋了用戶的個人信息（如年齡、性別、最近的活動）、推薦物品的屬性（如價格、類別、受歡迎程度）以及上下文因素（如時間、地點等）。

如何有效地提取和處理這些信息，是確保系統能夠做出精準推薦的核心挑戰。

如果忽略了重要信息，系統可能會提供不準確的推薦；而如果包含了過多不相關的細節，系統可能會被無關的信息干擾，導致預測準確性下降。

近年來，強化學習中的表示學習算法取得了顯著進展，其能從復雜、高維的數據中提取出更有意義的特征。這些進展對于提升強化學習推薦系統的效率至關重要。

然而，當前關于狀態表示的研究仍然不足，特別是在如何識別和利用因果關系上。強化學習推薦系統涉及復雜的數據和因果關系，簡單地壓縮和聚合信息已經無法滿足需求。

基于此，北京郵電大學本科畢業生、澳大利亞新南威爾士大學博士生王思宇和所在團隊，提出了因果不可或缺狀態表示（CIDS，Causal-InDispensable State）的概念。

圖 | 王思宇（來源：王思宇）

CIDS 的核心思想是利用因果關系來識別對策略學習至關重要的狀態維度，從而使推薦系統更加精準和高效。

CIDS 主要關注如下兩個因果關系：

一是直接受用戶操作影響的狀態維度，例如用戶瀏覽歷史因特定推薦內容的變化；

二是影響這些關鍵維度的其他狀態維度，例如用戶的靜態屬性如年齡和性別如何在某些類別中影響用戶的偏好。

為了識別這些復雜的因果關系，課題組使用了因果圖模型。這種模型能夠幫助確定哪些狀態維度在策略學習中不可或缺，并通過條件依賴和獨立關系來學習這些因果關系。

通過這種方法，CIDS 為推薦系統提供了更加有效和更加有針對性的狀態表示，使得系統能夠更精準地捕捉和響應用戶的需求。

總的來說，這項研究旨在提升強化學習推薦系統在動態和復雜環境中的表現，通過引入因果關系分析，使推薦系統能夠更好地理解用戶行為和偏好，進而提供更加個性化和精確的推薦。

據王思宇介紹，因果推斷作為一個新興領域，正在受到越來越多的關注和研究。在強化學習推薦系統中引入因果推斷，不僅能夠幫助系統更深入地理解用戶行為背后的因果關系，還可以提供更加精準和個性化的推薦。

（來源：Proceedings of the 33rd ACM International Conference on Information and Knowledge Management）

在應用前景上：

首先，在電子商務平臺中，因果推斷可以幫助識別哪些因素真正驅動了用戶的購買決策，從而優化推薦內容和提高轉化率。

通過更好地理解用戶的行為邏輯，平臺能夠在合適的時間點推薦最適合的產品或服務，顯著提升用戶的購物體驗。

其次，在內容推薦領域，因果推斷可以用于識別影響用戶內容消費習慣的關鍵因素。

例如，流媒體平臺可以利用因果推斷來分析用戶觀看特定類型節目的原因，從而更有效地推薦相關內容。這不僅可以增加用戶的觀看時間，還能提高用戶的滿意度和忠誠度。

再次，在廣告投放中，因果推斷可以幫助廣告主更精確地定位目標受眾，了解哪些廣告內容和形式最能引發用戶的興趣和行動，在提高廣告投放效果的同時，還能減少資源浪費。

總之，因果推斷在推薦系統中的應用前景十分廣闊，它能夠幫助各類平臺更加智能地分析和利用用戶行為數據，從而實現更高效、更個性化的服務。

這一成果在未來的若干年內，可能會在電子商務、內容推薦、廣告投放等多個領域中得到具體應用。

日前，相關論文以《基于因果解離狀態表示學習的強化學習推薦系統》（On Causally Disentangled State Representation Learning for Reinforcement Learning based Recommender Systems）為題發在第 33 屆 ACM 國際信息與知識管理會議（Proceedings of the 33rd ACM International Conference on Information and Knowledge Management）上 [1]。

（來源：Proceedings of the 33rd ACM International Conference on Information and Knowledge Management）

未來，該團隊將進一步地優化因果關系模型。

具體來說，他們計劃引入潛在的混淆因素，以更精確地捕捉和強化強化學習推薦系統中的因果關系，這將有助于提高模型的魯棒性和推薦質量。

此外，他們還打算探索同時訓練狀態表示和策略優化的可能性，通過這種聯合訓練，其希望能在效率和性能上取得更大突破。

同時，他們還考慮將這些改進用于更大規模的數據集和更復雜的場景中，以驗證其是否具備廣泛適用性。

另外，考慮到用戶行為的多樣性和復雜性，課題組可能也會開展更深入的個性化推薦策略研究，包括動態調整因果模型以適應不同用戶群體的需求。

參考資料：

1.Wang, S., Chen, X., & Yao, L. (2024, October). On Causally Disentangled State Representation Learning for Reinforcement Learning based Recommender Systems. InProceedings of the 33rd ACM International Conference on Information and Knowledge Management (pp. 2390-2399).

運營/排版：何晨龍