當Scaling Law應用于推薦場景，模型又將如何表現？

中科大認知智能全國重點實驗室陳恩紅團隊聯合華為諾亞方舟實驗室推出推薦模型性能定律，首次對模型的性能與模型、數據的規模和質量進行了定量分析。

針對現有工作只能對推薦大模型Scaling Law（擴展定律）做定性分析的局限性，論文首次嘗試對推薦大模型性能擴展定律給出明確的定量預測。

具體地，相較于傳統大模型擴展定律里的數據量指標，考慮推薦領域的數據特性提出了序列數據的質量衡量指標，并從模型性能預測角度出發避免傳統擴展定律帶來參數增大導致的模型過擬合問題。

最終基于論文發現的推薦大模型性能預測定律，能夠在給定的數據集和模型配置下，有效預測模型的擴展潛力，同時實現模型參數的最優性能配置。

下面具體來看。

提出推薦大模型性能預測定律

序列推薦系統旨在根據用戶過去的交互記錄預測下一個推薦給用戶的物品，以此來捕捉用戶的動態偏好。

近年來，隨著商業和互聯網場景中用戶數據量的急劇增長，推薦系統受到了越來越多的關注。然而，為了處理這些龐大的數據集，商用與學術領域均開始采用更為復雜和龐大的推薦模型。

這些模型的高計算要求不僅帶來了巨大的開發成本，而且還使得開發過程中的資源分配和GPU使用變得充滿挑戰。

如上圖所示，為了更好地預測推薦模型在不同情況下的性能，研究者們開發了一系列的擴展定律，用于在無需進行大規模實驗的情況下評估和預測模型效果。

擴展定律最初在大型語言模型中進行探索。例如Chinchilla擴展定律的通過模型參數數量和訓練樣本的數量來預測預訓練損失。

然而，將擴展定律應用于推薦系統分析面臨兩大主要挑戰：

(1) 與擴展定律中通常考察的模型損失指標相比，推薦模型中性能指標（如命中率）更為重要，由擴展定律導向的增大模型規模雖然能使模型損失降低，卻會由于模型過擬合問題導致性能出現衰減。

(2) 除了數據的規模之外，推薦系統的數據集通常具有結構和協作特性，同時重復序列片段和冗余度較高，這使得數據質量成為影響結果的核心因素，但在現有的推薦模型擴展定律中尚未被充分討論。

這些挑戰使得現有的推薦系統擴展定律工作僅僅給出了一些定性的分析，并不能對模型的精度進行定量預測。

為應對這些挑戰，研究人員提出了推薦大模型性能預測定律，首次對模型的性能與模型、數據的規模和質量進行了定量分析。

通過擬合推薦模型的關鍵性能指標，包括命中率（HR）和歸一化折扣累積增益（NDCG），可以定量預測模型的層數和物品嵌入維度對其性能的影響。

此外，為了應對數據質量研究因素匱乏的挑戰，引入了近似熵（ApEn）作為評價數據質量的創新性指標，將原有擴展定律中的數據規模替換為數據規模與近似熵之比，并通過理論和實驗驗證了這一替代的合理性。

研究人員也對提出的大模型性能預測定律進行了應用實驗，有效地預測了模型的最優性能參數配置和擴展潛力。

引入近似熵因子

如前所述，研究人員引入了近似熵因子，以進一步增強序列推薦系統中的擴展定律。

具體來說，近似熵是一種用于量化時間序列數據的規律性和不可預測性的統計測度，其計算方法如下：

首先，對于一個長度為N的時間序列{ }以及參數m（嵌入維度）和r（容差），構造m維向量=[，+1，…，+m-1 ] ，其中=1，…，N-m+1 。然后，定義兩個向量和之間的距離為：

接著，對于給定的容差r ，計算相似性度量：

平均相似性的計算公式為：

最終，近似熵定義為：

在后續對近似熵的計算中，研究人員將容差設定為r = 0 。這一決定是基于推薦物品的獨特特性，其中具有相似ID的產品可能傳達完全不同的意義。

總的來說，近似熵值越高，數據的重復率越高。

然而，傳統熵通常與數據復制率呈現負相關性。因此，盡管ApEn被冠以”熵”的稱謂，但其變化趨勢與傳統熵指標具有相反特性。

為避免概念混淆，本研究采用ApEn′=1/ApEn作為近似熵的最終測度。研究人員進一步引入數據平均最小編碼長度作為最終的數據質量衡量指標。

由于重復的序列模式均可用相似的編碼表征，從而降低平均最小編碼長度，該指標將保障數據的最小可學知識量、有效防止重復與無效數據導致的數據量虛高問題。

研究證明了最小編碼長度有如下的下界保障引理。

假設用戶序列可以被建模為一階非周期性平穩馬爾可夫鏈。如果用戶序列為S={S，∈U } ，那么所有序列的最小編碼長度之和|U|L(C)由以下公式給出：

這個下界表達了在給定的用戶序列情況下，最小編碼長度應該至少等于序列元素長度總和除以序列的近似熵。這個不等式利用了近似熵的概念來提供編碼效率的下界。

于是研究人員將D′=∑∈U|S| · ApEn′(S)代入了原有的擴展定律公式D。

研究人員進一步證明能將每一項參數用1/x+log(x）的形式以加入衰減項，從而優化性能擬合。他們擬合模型的最終形式為：

其中N為模型層數，demb為嵌入維度，D′=∑∈U|S| · ApEn′(S)為數據質量衡量指標，其余均為擬合參數。

實驗環節

驗證實驗

研究人員的驗證實驗目標是驗證理論的準確性，主要從兩個方面進行：一是其模型是否符合擴展法則，二是使用近似熵（ApEn）和標記數量來評估數據規模的方式是否合適。

他們首先檢查模型損失曲線與擴展法則的一致性，從圖像上可看出實際模型性能非常貼合其表現定律。

然后，數據參數D’加入參數進行一并擬合，以研究其影響因素。在下圖中他們擬合的數據參數與ApEn的組合呈現出明確的線性關系，這證明了理論的有效性。

應用實驗

由于性能法則中包含衰減項，使得實現全局最優解成為可能。

在前述擬合分析的基礎上，研究人員在下表從全局和給定參數規模篇兩個方面利用Performance Law給出了兩個參數最優擬合，均獲得了較好的結果。

同時研究人員也可以在小規模實驗上分析擬合參數對模型增大時的提升潛力與全局最優性能進行預測。

他們在下表驗證了這個應用，在更小的衰減項參數上模型的擴展潛力更大，最優結果更強。

更多細節歡迎查閱原論文。

論文鏈接: https://arxiv.org/abs/2412.00430