本文作者劉圳是香港中文大學（深圳）數據科學學院的助理教授，肖鎮中是德國馬克思普朗克-智能系統研究所和圖賓根大學的博士生，劉威楊是德國馬克思普朗克-智能系統研究所的研究員，Yoshua Bengio 是蒙特利爾大學和加拿大 Mila 研究所的教授，張鼎懷是微軟研究院的研究員。此論文已收錄于 ICLR 2025。

在視覺生成領域，擴散模型（Diffusion Models）已經成為生成高質量圖像、視頻甚至文本的利器。然而，生成結果往往離我們所偏好的不一致：結果不美觀，圖文不符，等等。

雖然我們可以像大語言模型中的RLHF（基于人類反饋的強化學習）一樣直接用傳統強化學習來微調擴散模型，但收斂速度往往慢；而基于可微計算圖直接最大化獎勵函數的方法又往往陷入過擬合和多樣性缺失的問題。

有沒有一種方法，既能保留生成樣本的多樣性，又能快速完成微調？我們基于生成流網絡（Generative Flow Network，GFlowNet）提出的 Nabla-GFlowNet 實現了這一速度和質量間的平衡。

論文標題：Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets

論文地址：https://arxiv.org/abs/2412.07775

代碼地址：https://github.com/lzzcd001/nabla-gfn

利用 Nabla-GFlowNet 在 Aesthetic Score 獎勵函數（一個美學指標）上高效微調 Stable Diffusion 模型。

擴散過程的流平衡視角

生成流網絡 GFlowNet 示意圖。初始節點中的「流」通過向下游的轉移概率流經不同節點，最后匯聚到終端節點。每個終端節點所對應的流應匹配該終端節點對應的獎勵。

在生成流網絡（Generative Flow Network, GFlowNet）的框架下，擴散模型的生成過程可以視為一個「水流從源頭流向終點」的動態系統：

流梯度平衡條件

在 GFlowNet 框架下，前后向水流需要滿足一定的平衡條件。我們通過推導提出我們稱為 Nabla-DB 的平衡條件：

前向匹配損失：

后向匹配損失：

終端匹配損失：

對數流梯度參數化設計

直觀解釋

其中第一項是基于內積的匹配度函數（殘差擴散模型與獎勵梯度估計之間的匹配），第二項是讓微調模型趨近于預訓練模型的正則化。

偽代碼實現

實驗結果

我們分別用以下獎勵函數微調 Stable Diffusion 網絡：

Aesthetic Score，一個在 Laion Aesthetic 數據集上訓練的美學評估獎勵函數；

HPSv2 和 ImageReward，衡量指令跟隨能力的獎勵函數。

定性實驗結果表明，通過 Nabla-GFlowNet 微調，我們可以快速得到獎勵更高但避免過擬合的生成圖像。

ReFL 和 DRaFT 等直接獎勵優化的方法雖然收斂速度快，但很快會陷入過擬合；而 DDPO 這一基于傳統策略梯度的強化學習微調方法由于沒有理由梯度信息，微調速度顯著劣于其他方法。

同時，我們的定量實驗表明，我們的 Nabla-GFlowNet 可以更好保持生成樣本的多樣性。

Aesthetic Score 獎勵函數上的微調結果（微調 200 步，取圖片質量不坍塌的最好模型）。Nabla-GFlowNet（對應 Residual Nabla-DB 損失函數）方法微調的網絡可以生成平均獎勵更高且不失自然的生成圖片。

相較于 ReFL，DRaFT 等直接獎勵優化的方法，Nabla-GFlowNet 更難陷入過擬合。

Aesthetic Score 獎勵函數上的定量結果 Nabla-GFlowNet 在獎勵收斂快的同時，保持更高的 DreamSim 多樣性指標（越高代表多樣性越好）和更低的 FID 分數（越低代表越符合預訓練模型的先驗）。

HPSv2 獎勵函數上的微調結果

ImageReward 獎勵函數上的微調結果