H3DFACT: Heterogeneous 3D Integrated CIM forFactorization with Holographic Perceptual Representations

H3DFACT：用于因式分解的異構3D集成計算存儲（CIM）系統，結合全息感知表示

https://arxiv.org/pdf/2404.04173

摘要

將各種感官信號的屬性進行解耦是類人感知與推理的核心，也是高階認知和神經符號人工智能系統的關鍵任務。一種優雅的方法是通過受大腦啟發的向量符號架構，利用高維全息向量來表示這種復雜的因式分解。然而，全息因式分解涉及高維矩陣-向量乘法的迭代計算，并存在非收斂問題。在本文中，我們提出了H3DFACT，這是一種異構3D集成內存內計算引擎，能夠高效地對高維全息表示進行因式分解。H3DFACT利用了全息向量的疊加計算能力以及基于憶阻器的3D內存內計算所固有的隨機性。在大規模因式分解和感知問題上的評估表明，H3DFACT在因式分解精度和運算能力方面表現出卓越的性能，最高可提升五個數量級，同時相較于同等容量的2D設計，其計算密度提高了5.5倍，能效提升了1.2倍，硅片占用面積減少了5.9倍。

I. 引言

大腦卓越的推理和理解世界的能力在很大程度上依賴于其解耦感官屬性的能力。這一復雜的過程涉及將各種感官輸入（如視覺、聽覺、觸覺）分解為不同的感知特征。這種因式分解不僅有助于感知，還為更高階的認知功能（如問題解決和抽象思維）奠定了基礎，因此成為神經符號人工智能（neuro-symbolic AI）[1]–[5] 的關鍵組成部分。

一種優雅的方法是通過受大腦啟發的向量-符號架構（vector-symbolic architecture）[6], [7] 中的高維全息向量來表示這種復雜的因式分解。每個感官屬性都使用一個獨特的全息向量進行編碼和處理，從而創建出獨特且可分離的表示。這些表示可以通過一組代數運算進行操作。例如，具有多個屬性的對象可以通過逐元素乘法（element-wise multiplication）將所有代表這些屬性的向量組合起來描述。而因式分解問題則關注將一個乘積向量分解為其構成的屬性向量。當面對復雜的屬性結構時，這成為一個困難的組合搜索問題[8]。

全息向量表示的組合特性催生了一種高效的因式分解算法——諧振網絡（resonator network），它具備彌合神經符號人工智能認知鴻溝的強大能力，通過接受來自神經網絡的感知表示并對其進行因式分解以實現符號推理[9], [10]。諧振網絡能夠在疊加狀態下執行搜索，從而允許同時探索一個乘積的組成元素。這種因式分解過程表現出類似動態系統的特性，參與了一個包含高維矩陣-向量乘法（MVMs）的迭代計算流程。它還依賴隨機探索策略來規避潛在的優化周期陷阱。這些特性使得因式分解適用于支持內存內計算（CIM）且本質上具有隨機性的計算平臺，例如憶阻器設備[11]–[14]。

最近，提出了一種基于諧振網絡的內存內因式分解器[15]，其中每個單獨的芯片包含一個2D CIM陣列以加速特定的MVM操作。然而，這種方法并未充分利用CIM的潛力；由于每次迭代中不同芯片之間的硅片面積增加和數據通信成本，帶來了顯著的開銷。我們的目標是通過利用新興存儲技術的能力，并結合3D堆疊配置中的多個異構陣列[16]–[18]，實現高效的全息因式分解。

在本文中，我們提出了H3DFACT，這是首個用于高維全息向量表示的異構3D（H3D）集成CIM因式分解器。H3DFACT采用混合存儲設計，將模擬RRAM計算與數字SRAM組件相結合。RRAM層用于高效處理MVM操作，并使用傳統的技術節點設計，以支持相對較高的編程電壓。另一方面，RRAM的外圍電路被放置在一個獨立的層級上，并使用更先進的節點與SRAM單元集成。通過H3D配置對這些層級進行集成，實現了硅片面積和能效的改進。此外，RRAM存儲元件的非確定性增強了因式分解的收斂性和運算能力。與同等容量的2D設計相比，H3DFACT在性能、功耗和面積方面表現出更高的效率。

因此，本文做出了以下貢獻：

- 我們提出了首個H3D集成CIM加速器H3DFACT，用于高效且可擴展的高維全息表示因式分解。

- 我們提出了一種混合存儲設計，結合了傳統節點（40 nm）中RRAM計算的優勢和先進節點（16 nm）中數字SRAM組件的優點。

- 我們證明，由于固有的隨機性，H3DFACT將因式分解精度和運算能力提高了多達五個數量級，相較于同等容量的2D設計，其計算密度提升了5.5倍，能效提升了1.2倍，硅片占用面積減少了5.9倍。

II. 背景與動機

本節介紹了高維向量操作（第二節-A）用于感知編碼和因式分解（第二節-B），并闡述了為因式分解設計的3D集成CIM解決方案的動機（第二節-C）。

A. 高維全息向量操作

在高維全息向量操作中，原子特征和模式可以通過隨機生成的向量（稱為項目向量，item vectors）進行編碼，其中， D 的范圍可以達到數千。由于高維向量的隨機性和全息特性，這些項目向量是準正交的，即它們彼此不相似，從而能夠區分不同的表示特征。這些向量可以通過以下操作進行處理 [19]：

B. 因式分解與諧振網絡

我們在此說明如何使用全息向量對對象的組合結構進行編碼，以及諧振網絡如何通過因式分解解碼該結構的內容。以視覺對象的編碼為例，這些對象由四個屬性 F = 4 表征：形狀、顏色、垂直位置和水平位置。如圖1a所示，這四個屬性分別對應于不同大小為 M 的隨機生成項目向量代碼簿（codebook）。通過將這些代碼簿中的向量進行綁定，可以形成一個對象向量。

諧振網絡（因式分解）的工作方向則相反。它試圖將一個對象向量分解為其構成的屬性向量。提供給該算法的唯一輸入是組合的對象向量以及各個屬性的代碼簿。算法通過組合搜索這些代碼簿以找到確切的特征向量。以下狀態空間方程描述了這一搜索過程（圖1b）：

我們觀察到，矩陣-向量乘法（MVM）操作在因式分解算法中占據了大部分的計算時間。如圖1c所示，相似性計算和投影步驟中的MVM操作約占總計算時間的80%。這一結果為采用內存內計算（CIM）設計方法提供了明確的動機，因為CIM設計方法能夠使MVM操作始終在恒定時間內執行，而不受問題規模的影響。

使用CIM設計方法的另一個動機是解決因式分解精度隨問題規模擴大而下降的主要問題。具體來說，我們觀察到隨著問題規模的增加，因式分解精度顯著下降（圖1c）。這種精度下降的原因是極限環問題（limit cycle problem），這可能成為大規模因式分解的限制因素[15]。一個有效的解決方案是引入隨機性以擺脫極限環，從而探索更大的解空間。CIM設備本質上具有隨機性，因此它們為實現這一解決方案提供了自然的方式。

C. 異構3D CIM加速

先前的3D集成硬件設計主要集中在加速卷積神經網絡（CNNs）[20]、Transformer模型[16]或單片3D集成[21]。相比之下，H3DFACT處理的是高維認知系統中廣泛使用的不同類型的MVM工作負載，并將該因式分解工作負載的不同組件映射到混合RRAM/SRAM存儲層級（圖1d）。此外，H3DFACT在混合技術節點的設計上提供了靈活性，從而在計算密度、能效和硅片占用面積方面相較于同等容量的2D設計實現了顯著改進。

III. 內存內計算原語

本節首先詳細介紹了H3DFACT存儲層級的電路級視圖，包括RRAM（第三節-A）和數字SRAM層級（第三節-B），然后討論了H3DFACT固有隨機性對因式分解收斂的好處（第三節-C）。

A. RRAM層級

圖2a提供了RRAM層級的宏觀視圖，展示了單一層級上的多個陣列。每個陣列都配備了能夠在高維雙極空間中執行矩陣-向量乘法（MVM）的電路。該電路包括一個專門的“-1計數器”和一個處理雙極量的加法器[22]。值得注意的是，現有的用于向量符號架構（VSA）的陣列設計[23]通常無法完全支持雙極空間，因為它們經常將雙極元素{-1, +1}映射為單比特量，這并不適合需要在其計算流程中累積正負量的因式分解算法。

RRAM的操作涉及使用高電壓信號進行設置和復位，因此需要包含隔離開關以保護外圍電路免受這些高電壓的影響[24]。電壓調節通過連接到電源（AVDD）的PMOS器件和運算放大器實現（圖2b）。(VTGT) 代表傳感路徑中的目標感應電壓。此外，還引入了一個電流感應電阻（Rsense）以增強工藝-電壓-溫度（PVT）的抗干擾能力。鑒于RRAM可能會頻繁發生電源切換事件，該設計允許不同的斷電模式（包括完全關閉），同時使其他層級保持活動狀態。這些功能通過使用40納米技術制造的RRAM芯片進行了實驗驗證[25]。

B. 數字SRAM層級

RRAM與其外圍電路之間的交互通過包括模數轉換器（ADC）、加法器和控制器在內的數字電路實現（圖2a中的橙色塊）。異構集成的優勢之一是能夠將不同技術節點的系統集成在一起[26]。RRAM與其外圍電路之間潛在的面積不匹配導致了RRAM傳感的MUX共享[25]。為了充分釋放系統性能，H3DFACT中的數字組件采用16納米先進節點設計，為每個RRAM輸出提供一條獨立的傳感路徑。

我們為因式分解中頻繁更新的操作采用了混合計算方案，因為RRAM的寫操作以其巨大的開銷而聞名[27]。該混合計算方案利用XNOR邏輯門執行逐位解綁操作[28]。這是由因式分解中不同時間步長的解綁更新所需的持續內存寫操作驅動的。除了混合計算方案外，還有一種混合存儲（SRAM近存儲）方案，用于在H3D設計中緩沖硅通孔（TSV）數據傳輸，這將在第四節中進一步說明。為了減少TSV的開銷，我們僅在輸入和輸出端口啟用跨層級的連接。例如，連接僅存在于每個RRAM陣列的輸入行和輸出列上。這種方法遵循了最近的H3D設計，因為過多的TSV不僅會嚴重損害系統級的PPA（功率、性能、面積），還會降低RRAM的開關比（ON/OFF ratio）[16]。然而，這種方法要求每次僅激活一個RRAM層級。在第四節中，我們將進一步討論RRAM激活對架構的影響。

C. 隨機因式分解器

因式分解確定性搜索的無監督特性可能導致在多次迭代中反復檢查相同的解序列，從而阻止了在有限周期內收斂到最優解。受[15]的啟發，其中一個關鍵見解是，與憶阻器設備相關的固有隨機性可以顯著減少此類極限環的發生。如圖2b所示，內存內MVM讀取結果產生了一個隨機相似性向量，所有工藝-電壓-溫度（PVT）變化都被聚合在一起。表示在t+1 時間步長下的噪聲。硬件隨機性使因式分解器能夠擺脫可能陷入極限環的困境，從而能夠探索更大的解空間，展示了利用器件級動態作為應用性能寶貴來源的潛力。

IV. H3DFACT架構

本節介紹了H3DFACT架構，包括硬件設計、工作負載映射和數據流（第四-A節）、層級間互連（第四-B節）以及平面布局方案（第四-C節）。

A. 提出的H3DFACT架構

因式分解工作負載映射 H3DFACT通過將其計算核心劃分為三個層級來實現因式分解，其中相似性計算、投影和數字操作分別位于第3層、第2層和第1層（圖3）。這一設計選擇與數據以數字或模擬方式傳輸的事實有關：步驟I是用于相似性計算的解綁結果；步驟II是以模擬電流表示的相似性輸出；步驟III是從相似性計算中獲得的4位數字結果；步驟IV是來自投影的1位數字數據。從第3層到第1層以及從第2層到第1層的模擬數據傳輸被認為是可忽略的，因為模擬電流可以通過TSV一次性流動。另一方面，從第1層獲得的4位數字相似性結果被傳遞到第2層進行投影計算，以避免多比特數字值傳輸降低系統性能。因此，H3DFACT的設計將相似性置于頂層，投影位于中間層，而先進的節點數字電路位于底層。

第2層和第3層RRAM CIM

受[16]的啟發，H3DFACT中的單組RRAM外圍電路被第2層和第3層RRAM共享，第1層的互連連接到每個層級。因此，這種架構允許在任何時候只有一個RRAM層級處于活動狀態。這需要在每個RRAM層級中包含字線（WL）電平轉換器以管理它們的激活。圖3展示了兩個RRAM層級的控制方案。由于外圍電路是共享的，跨層級的RRAM字線（WL）、位線（BL）和源線（SL）在垂直方向上有效連接。為了確保一次只有一個RRAM層級被激活，設計中配備了完全關閉功能，非活動的RRAM單元不會對任何列電流產生貢獻。

第1層SRAM數字計算

我們在第1層采用SRAM以支持大于1的因式分解批處理大小。假設批處理大小為100，在相似性計算（第3層）之后，相似性輸出傳播到第1層進行模數轉換。如果沒有SRAM緩沖，第1層ADC輸出信號會被發送到第2層進行投影計算，這將違反單RRAM層級激活的原則，因為第3層仍在為同一批次的數據計算相似性。因此，我們建議在第1層采用數字SRAM作為緩沖區，以支持大批量因式分解計算。

設計方法通用化 H3DFACT架構擅長處理諧振網絡的多樣化參數。由于諧振網絡以高維向量維度D和F（第二節）為參數，H3DFACT配置了硬件維度以確定RRAM陣列的行數d和每層RRAM子陣列的數量f。在本文中，我們設置d=256和f=4作為H3DFACT設計的一個示例。此配置不僅適應指定的向量大小，還通過利用不同的子陣列促進了多個輸入的并行處理。

B. H3DFACT中的層級間互連

在表I中，我們概述了H3DFACT設計中層級間互連的參數。這些假設與最近的H3D設計（如H3DAtten[16]）和商業設計（如AMD的3D V-Cache[29]）一致。對于一個具有X行和Y列的RRAM陣列，連接到RRAM外圍電路的TSV總數包括X條字線（WL）、(Y)條位線（BL）和(Y/2)條源線（SL）。通常，較大的陣列會減少TSV開銷，但其利用率不如較小陣列高。H3DFACT選擇在每次迭代中將相似性矩陣存儲在同一陣列中，以優化TSV的利用率。鑒于TSV的顯著面積成本，我們的H3DFACT設計策略包括模擬CIM和SAR-ADC，以盡量減少TSV的面積需求。在模擬CIM中，MVM操作的部分和以模擬電流形式傳輸，僅需一組互連即可連接到第1層的ADC。H3DFACT提供了在更先進節點中設計RRAM外圍電路的靈活性[16],[30]，因此我們選擇為每個RRAM列分配一個4位ADC。為了驗證，我們將相似性計算量化為4位，并觀察到與8位ADC設計相比，因式分解精度沒有下降，同時收斂速度更快（第五-D節）。

C. H3DFACT的平面規劃與鍵合

為了驗證H3DFACT的3D堆棧中各層級的面積是否平衡，并為熱分析（第五-C節）提供數據，我們對每個層級進行了平面規劃近似。CIM陣列及其相關外圍電路的尺寸使用經過校準的NeuroSim框架[31]進行估算，該框架已通過實際基于RRAM的CIM宏[25]進行了交叉驗證。其他數字模塊的面積則從TSMC標準單元庫中提取。

圖4a展示了H3DFACT RRAM層級的平面規劃。每個RRAM子陣列的尺寸為256 × 256大小，每層設計包含四個子陣列。H3DFACT可以通過激活其對應的字線（WL）和位線（BL），在任意特定子陣列中執行RRAM CIM操作。

圖4b展示了RRAM外圍電路和SRAM數字計算層級的平面規劃。內存控制器和緩沖區也被放置在第1層，以避免與其他SoC或封裝之間的大量連接，因為外部引腳和C4凸點位于底層[20]。關于層級間TSV的鍵合技術，我們考慮了面對面（F2F）和面對背（F2B）的混合方案。在F2B集成中，TSV將多個層級鍵合在一起。由于TSV穿透硅片，存儲器的放置或TSV的使用受到限制。而F2F不會帶來任何布局和布線限制，但無法僅通過F2F集成實現所有三層的集成[20]。因此，我們的三層H3DFACT設計需要結合F2F和F2B的層級間連接方式。

V. H3DFACT評估

本節對H3DFACT在因式分解和全息感知系統中的表現進行評估。我們展示了H3DFACT在因式分解精度和運算能力（第五-A節）以及硬件效率（第五-B節）方面的改進。我們還分析了H3DFACT的熱行為（第五-C節），通過RRAM硅芯片驗證說明了H3DFACT的魯棒性（第五-D節），并演示了其在視覺感知任務中的作用，同時討論了潛在應用（第五-E節）。

A. 精度與運算能力

精度提升 表II比較了H3DFACT與基線諧振網絡[9]在不同屬性數量F和碼向量D下的因式分解精度。盡管基線諧振網絡和H3DFACT在較小的維度MD下均能達到99%的精度，但可以清楚地觀察到，H3DFACT在高維度下顯著提升了精度，并保持了99%的精度，這表明其在更大規模因式分解問題上的可擴展性得到了改善。

運算能力提升 表II還顯示了解決給定問題規模所需的迭代次數，要求精度至少達到99%。與基線諧振網絡[9]相比，H3DFACT實現了更快的收斂速度，并能夠在99%的精度下解決比基線大五個數量級的問題規模，這表明H3DFACT能夠通過提升運算能力來降低計算復雜度。這一觀察結果與基于CIM的因式分解器設計[15]一致。

B. 硬件效率

單片2D基線設計設置 我們通過將H3DFACT與兩種不同的2D架構進行對比，評估其優勢：一種是混合RRAM/SRAM設計，另一種是純SRAM設計（表III）。對于混合2D設計，所有模塊均使用40納米工藝節點集成，以適應統一的2D結構中的RRAM技術。相比之下，全SRAM設計將所有模塊擴展到更先進的16納米節點。我們在所有設計中保持相同的計算資源和參數，以確保公平比較。

硅片占用面積減少 表III顯示，全SRAM設計在2D中需要0.114 mm2的面積，所有組件均采用16納米工藝。盡管沒有TSV開銷，2D RRAM/SRAM混合設計仍因當前RRAM制造技術的限制而占用高達0.544 mm2的面積。相比之下，H3DFACT通過先進節點縮放和垂直集成實現了更緊湊的0.091 mm2占用面積。即使考慮到所有三個層級，H3DFACT仍分別比全SRAM設計和混合2D設計減少了1.25倍和5.97倍的總硅片成本。

計算密度和能效提升 與2D設計相比，由于TSV和混合綁定引入的寄生電容，H3DFACT的工作頻率略低，因此導致吞吐量略有下降。然而，如表III所示，通過將數字組件和RRAM外圍電路從40納米縮放到16納米，H3DFACT仍展示了1.2倍的計算密度和1.2倍的能效提升。與所有模塊均設計為16納米的2D全確定性數字SRAM基線相比，H3DFACT仍實現了相當的能效，同時由于固有的隨機性，計算密度提高了5.5倍，因式分解精度提高了3.5%（圖2c）。

與其他因式分解加速器的對比 與最近基于PCM的內存內因式分解[15]相比，H3DFACT通過3D堆疊和更高的計算密度，在相同硅片面積下實現了1.78倍的吞吐量和1.48倍的能效，且因式分解精度>99%。

C. 熱評估

熱分析 我們利用HotSpot[32]工具對H3DFACT進行熱分析，根據各自的平面布局（圖4）為每個組件分配功率密度。我們的芯片級熱設置包括混合鍵合和TSV連接第1-3層、C4凸點連接第1層到封裝，以及頂部用于冷卻的熱界面材料（TIM）。參數總結在圖5中，并與最近的設計[16]一致。如圖5所示，H3DFACT的各層級溫度范圍為46.8°C至47.8°C，而2D設計為44°C。由于中心區域冷卻效果更好，而每個宏單元的高功率密度位于南部區域，因此可以預見，芯片南部區域存在輕微的溫度升高。重要的是，H3DFACT使用的3D堆疊方法并未影響RRAM的可靠性，因為RRAM的保持性能在超過100°C時才會受到不利影響[33]。

D. 魯棒性評估與芯片驗證

收斂速度提升 降低ADC精度可以減少硬件成本，并加快全息感知因式分解的收斂速度，同時保持相似的精度。如圖6a所示，在對相似性計算應用低精度4位ADC后，因式分解在第10次迭代時達到99%的精度，而使用8位ADC則需要30次迭代。這是因為在降低精度時引入了量化隨機性，這防止了因式分解器陷入極限環，并幫助其在更短時間內收斂到正確的因式分解結果（圖2c）。

RRAM測試芯片驗證 我們在制造的40納米RRAM測試芯片上驗證了所提出的H3DFACT設計的有效性[22],[25]。我們通過測量讀出信號從RRAM測試芯片中提取固有噪聲參數，并將其統計特性納入開發的全息感知因式分解框架中。我們還相應調整了閾值，因為設計的讀出外圍電路能夠改變讀出電壓（圖2中的 VTGT）。如圖6b所示，經過RRAM測試芯片驗證的H3DFACT設計在一次運行中實現了>96%的因式分解精度，并在25次迭代后達到99%的精度。

E. 全息感知任務評估

全息感知精度 圖7展示了H3DFACT在視覺感知任務中解耦原始圖像屬性的作用。該系統由兩部分組成：一個神經網絡將輸入圖像映射到全息感知向量，以及H3DFACT使用一組已知的圖像屬性（例如類型、大小、顏色和位置）對近似乘積向量進行解耦。在關系與類比視覺推理數據集（RAVEN）[34]上進行評估時，H3DFACT實現了99.4%的屬性估計精度。

可擴展至其他應用 H3DFACT不僅在視覺感知中表現出色，因式分解在感知和認知中也起著基礎性作用（例如類比推理、樹搜索和整數因式分解）。這種分層認知能力可以潛在地應用于需要高度魯棒性的自主系統中[35]-[37]。我們設想H3DFACT將為下一代神經符號人工智能系統解決復雜的組合搜索和分層認知問題鋪平道路。

VI. 結論

H3DFACT是首個實現高效且可擴展的高維全息向量因式分解的H3D集成CIM設計。H3DFACT利用了疊加計算能力、新興存儲技術以及固有的硬件隨機性，在因式分解精度和運算能力方面持續提升，相較于同等容量的2D設計，其計算密度提高了5.5倍，能效提高了1.2倍，硅片占用面積減少了5.9倍。我們預計H3DFACT將在探索其他強大且高效的認知和神經符號AI系統中發揮重要作用。

原文鏈接： https://arxiv.org/pdf/2404.04173