Improved Data Encoding for Emerging Computing Paradigms- From Stochastic to Hyperdimensional Computing

新興計(jì)算范式中的改進(jìn)數(shù)據(jù)編碼：從隨機(jī)計(jì)算到高維計(jì)算

https://arxiv.org/pdf/2501.02715

摘要：

數(shù)據(jù)編碼是新興計(jì)算范式中的一個(gè)基本步驟，尤其在隨機(jī)計(jì)算（SC）和高維計(jì)算（HDC）中，它在決定整體系統(tǒng)性能和硬件成本效率方面起著關(guān)鍵作用。本研究提出了一種先進(jìn)的編碼策略，利用對(duì)硬件友好的低差異（LD）序列類別，特別是Van der Corput序列的2的冪次方基（VDC-2?），作為隨機(jī)數(shù)生成的來源。我們的方法通過解決與隨機(jī)性相關(guān)的挑戰(zhàn)，顯著提高了SC和HDC系統(tǒng)的準(zhǔn)確性和效率。通過采用LD序列，我們改進(jìn)了相關(guān)性屬性并降低了硬件復(fù)雜性。實(shí)驗(yàn)結(jié)果表明，我們的方法在SC和HDC系統(tǒng)的準(zhǔn)確性和節(jié)能方面取得了顯著改進(jìn)。我們的解決方案為在資源受限的環(huán)境中整合SC和HDC提供了一個(gè)強(qiáng)大的框架，為高效且可擴(kuò)展的人工智能實(shí)現(xiàn)鋪平了道路。

關(guān)鍵詞：數(shù)據(jù)編碼、新興計(jì)算、高維計(jì)算、低差異、偽隨機(jī)性、準(zhǔn)隨機(jī)性、可擴(kuò)展人工智能、隨機(jī)計(jì)算。

I. 引言

數(shù)據(jù)編碼一直是新興計(jì)算模型中的一個(gè)基本步驟，也是一個(gè)具有挑戰(zhàn)性的任務(wù)。隨機(jī)計(jì)算（SC）和高維計(jì)算（HDC）作為機(jī)器學(xué)習(xí)系統(tǒng)高效硬件設(shè)計(jì)的兩種有前景的范式已經(jīng)出現(xiàn)。SC和HDC都使用由‘0’和‘1’組成的長(zhǎng)序列，而不是傳統(tǒng)的二進(jìn)制值（具有位置編碼或位重要性）作為其基本計(jì)算元素。比特流（BSs）和超向量（HVs）分別作為SC和HDC中的原始組件，充當(dāng)原子數(shù)據(jù)元素。這些原子數(shù)據(jù)元素是通過適當(dāng)?shù)碾S機(jī)源生成的。最先進(jìn)的方法通常使用偽隨機(jī)數(shù)生成器作為隨機(jī)源來生成比特流[1]、[2]或超向量[3]–[6]。

通過適當(dāng)?shù)碾S機(jī)數(shù)生成器（RNG）確保高質(zhì)量的隨機(jī)性對(duì)于實(shí)現(xiàn)SC和HDC系統(tǒng)的期望精度和硬件效率至關(guān)重要。在數(shù)論中，偽隨機(jī)性和準(zhǔn)隨機(jī)性是兩個(gè)已經(jīng)確立的概念。偽隨機(jī)性指的是那些在統(tǒng)計(jì)上看似隨機(jī)但實(shí)際上是由確定性算法生成的序列或過程。

偽隨機(jī)序列表現(xiàn)出關(guān)鍵的隨機(jī)性特征，例如在短區(qū)間內(nèi)具有均勻分布和不可預(yù)測(cè)性，但如果已知生成器的初始條件或種子，它們?nèi)匀皇强芍噩F(xiàn)的[7]。這些序列通常被稱為高差異序列，其中差異表示序列點(diǎn)偏離均勻性的程度[8]、[9]。線性反饋移位寄存器（LFSR）是生成偽隨機(jī)序列的著名來源。

相反，準(zhǔn)隨機(jī)序列（如Sobol和Halton序列）提供更均勻和均勻的分布。這些序列是由一種特殊的確定性算法生成的，旨在比偽隨機(jī)序列更均勻地填充空間（對(duì)于多維序列是超立方體）。準(zhǔn)隨機(jī)序列具有低差異（LD）特性，差異越低，均勻性越好。圖1（a）和（b）分別展示了偽隨機(jī)和準(zhǔn)隨機(jī)序列的點(diǎn)分布，突出了準(zhǔn)隨機(jī)序列中序列點(diǎn)的均勻分布。圖1（c）和（d）比較了這些序列中點(diǎn)的值分布，準(zhǔn)隨機(jī)序列顯示出更均勻的分布。

另一個(gè)表示適當(dāng)隨機(jī)性的重要因素是比特流（BS）或超向量（HV）對(duì)之間的相關(guān)性程度，如圖1（e）和（f）所示。相關(guān)性的程度在結(jié)果質(zhì)量中起著關(guān)鍵作用。例如，使用按位與進(jìn)行的SC乘法需要獨(dú)立的（或不相關(guān)的）比特流，而使用相同按位操作的SC最小值則需要高度相關(guān)的輸入比特流[10]。在HDC系統(tǒng)中，符號(hào)數(shù)據(jù)（例如，像素位置、字母、信號(hào)時(shí)間戳等）在學(xué)習(xí)模型的編碼階段需要正交（不相關(guān)）的超向量[11]、[12]。

采用偽隨機(jī)性將數(shù)據(jù)編碼為比特流或超向量可能導(dǎo)致模型性能下降和硬件成本增加。為了達(dá)到期望的精度水平，通常需要迭代運(yùn)行模型，這導(dǎo)致計(jì)算開銷增加、系統(tǒng)運(yùn)行時(shí)間延長(zhǎng)、能效低下和性能下降。先前的研究表明，偽隨機(jī)序列在級(jí)聯(lián)電路架構(gòu)中表現(xiàn)不佳，其中比特流之間的中等程度相關(guān)性至關(guān)重要[13]。為了緩解這些挑戰(zhàn)，我們提出了一種基于準(zhǔn)隨機(jī)性的新穎編碼方法，旨在提高SC和HDC系統(tǒng)的整體性能。

II. 背景與相關(guān)工作

在隨機(jī)計(jì)算（SC）中，任何數(shù)據(jù)值都由一系列隨機(jī)比特（‘0’和‘1’）表示[14]、[15]。比特流（BS）中‘1’出現(xiàn)的概率對(duì)應(yīng)于數(shù)據(jù)值。具有 n 位精度的數(shù)據(jù)值 x 由一個(gè)比特流 X 表示，整個(gè)比特流中‘1’出現(xiàn)的概率為 。生成比特流的一種常見方法是將給定數(shù)據(jù)與來自隨機(jī)數(shù)生成器（RNG）源的隨機(jī)值進(jìn)行比較。盡管大多數(shù)最先進(jìn)的工作使用線性反饋移位寄存器（LFSR）（圖1（g））作為RNG，但文獻(xiàn)[16]、[17]中的作者提出使用Sobol序列作為SC的確定性方法，顯著提高了模型精度。另一種在SC中的確定性方法，稱為一元計(jì)算（Unary Computing, UC）[18]、[19]，使用一元比特流，其中所有的‘1’都排列在一起。UC免受‘0’和‘1’比特的隨機(jī)波動(dòng)的影響，這是SC中一個(gè)重要誤差來源。

類似地，在高維計(jì)算（HDC）中，任何原子數(shù)據(jù)單元，稱為超向量（HV），以高維度表示，包含‘-1’（或‘0’）和‘1’的元素。在HDC中，符號(hào)數(shù)據(jù)——如字母、數(shù)字、傳感器數(shù)據(jù)以及時(shí)間和空間信息——可以通過不同的正交超向量來表示。這種結(jié)構(gòu)化的信息編碼也被稱為全息表示[20]。正交性是通過隨機(jī)性實(shí)現(xiàn)的，它生成獨(dú)立的超向量。理想情況下，一個(gè)超向量包含相等數(shù)量的‘1’和‘0’，每個(gè)元素分別占向量的50%[21]–[23]。

III. 提出的框架

鑒于在隨機(jī)計(jì)算（SC）和高維計(jì)算（HDC）中使用偽隨機(jī)性所帶來的效率低下問題，我們提出了一種高效、輕量級(jí)且高度準(zhǔn)確的確定性比特流生成器，通過利用 Van der Corput（VDC）序列[13]、[24]來實(shí)現(xiàn)。VDC序列是低差異（LD）序列的另一個(gè)例子，它們表現(xiàn)出確定性但準(zhǔn)隨機(jī)的特性。在我們的方法中，VDC序列作為主要的隨機(jī)性來源，是輕量級(jí)隨機(jī)數(shù)生成器（RNG）硬件設(shè)計(jì)的理想選擇。一般來說，VDC序列通過其基數(shù)來識(shí)別，用 B 表示。一個(gè)VDC-B序列數(shù)是通過在基數(shù)為 B 的數(shù)字系統(tǒng)中反轉(zhuǎn)數(shù)字生成的，結(jié)果是一個(gè)在 (0, 1) 區(qū)間內(nèi)的值。我們的提議采用2的冪次方基數(shù)的VDC序列（VDC-2?）。使用VDC-2?序列的優(yōu)勢(shì)在于其簡(jiǎn)單的硬件設(shè)計(jì)以及在生成比特流時(shí)的高精度。任何VDC-2?序列都可以通過硬連線一個(gè) n 位計(jì)數(shù)器（包括T觸發(fā)器）來實(shí)現(xiàn)（圖1（h））。我們提出的方案的一個(gè)顯著特點(diǎn)是它能夠通過不同的硬連線方案同時(shí)產(chǎn)生多個(gè)不同的序列。另一個(gè)與現(xiàn)有方法顯著不同的重要屬性是，我們的設(shè)計(jì)在單次運(yùn)行中就能實(shí)現(xiàn)高精度，而偽隨機(jī)方法需要多次執(zhí)行才能達(dá)到最佳精度。這一特性增強(qiáng)了系統(tǒng)的整體效率和吞吐量，這對(duì)于資源受限的設(shè)備尤其有益。

圖2（a）展示了一個(gè)非線性函數(shù)（具體為 sin(x) ）的隨機(jī)計(jì)算實(shí)現(xiàn)，比較了其傳統(tǒng)設(shè)計(jì)（?）[1]與我們利用VDC-2?序列修改后的設(shè)計(jì)（?）[25]、[26]。此外，我們還展示了基本的SC除法操作（?）[27]及其使用所提出的RNG的增強(qiáng)設(shè)計(jì)結(jié)構(gòu)（?）[28]、[29]。在SC操作[24]和三角函數(shù)[25]的設(shè)計(jì)中納入VDC-2?序列，顯著提高了精度，同時(shí)降低了整體硬件成本。

同樣，我們證明了在HDC模型中配備這種確定性序列可以提高整體性能，同時(shí)降低硬件成本。圖2（b）展示了將我們的方法應(yīng)用于HDC的編碼階段的過程。雖然基線方法（?）結(jié)合并綁定（使用逐元素乘法）位置和級(jí)別超向量（HVs）來對(duì)圖像進(jìn)行編碼，但使用準(zhǔn)隨機(jī)序列生成HVs消除了對(duì)位置HVs及其后續(xù)乘法操作的需求（?）[30]–[32]。

作為這種方法的擴(kuò)展，我們引入了UnaryHD架構(gòu)（?），其中通過使用量化后的低差異序列進(jìn)行超向量生成，將一元編碼應(yīng)用于HDC模型[33]、[34]。這種方法簡(jiǎn)化了硬件實(shí)現(xiàn)，提供了顯著的成本節(jié)約，并有助于在HDC系統(tǒng)中實(shí)現(xiàn)更高效的數(shù)據(jù)編碼。為了進(jìn)一步提高HDC系統(tǒng)的性能，我們提出了一個(gè)端到端的一元結(jié)構(gòu)。這種簡(jiǎn)化的設(shè)計(jì)特點(diǎn)是一個(gè)輕量級(jí)的、單一來源的動(dòng)態(tài)超向量生成器。該超向量生成器設(shè)計(jì)的主要目標(biāo)是在單次迭代中實(shí)現(xiàn)最佳的隨機(jī)性，同時(shí)與隨機(jī)序列的循環(huán)性質(zhì)相一致。與使用LFSR的基線HDC不同，我們的提議設(shè)計(jì)不使用多個(gè)隨機(jī)序列來生成 m 個(gè)不同的 D 維向量。相反，我們生成一個(gè) D 維序列，并用它來創(chuàng)建不同的超向量[35]。這一設(shè)計(jì)的另一個(gè)關(guān)鍵貢獻(xiàn)是一個(gè)用于生成級(jí)別超向量的輕量級(jí)硬件。在文獻(xiàn)中首次，我們不是隨機(jī)地而是確定性地使用我們的一元生成器來生成級(jí)別超向量，消除了對(duì)隨機(jī)性的需求。我們的提議設(shè)計(jì)包括一個(gè)左移模塊、一個(gè)向上計(jì)數(shù)器和一個(gè)比較器（?）。

IV. 結(jié)果與貢獻(xiàn)

為了評(píng)估我們提出方法的有效性，我們首先將其應(yīng)用于隨機(jī)計(jì)算（SC）設(shè)計(jì)。表I和表II評(píng)估了實(shí)現(xiàn) sin(x) 函數(shù)的精度和硬件成本。這一評(píng)估突出了我們方法在設(shè)計(jì)SC三角函數(shù)和非線性函數(shù)方面的潛力，這些是人工智能、計(jì)算機(jī)視覺、機(jī)器人技術(shù)和通信模型中的基本組成部分[25]、[41]。如結(jié)果所示，與最先進(jìn)的基線架構(gòu)相比，我們提出的設(shè)計(jì)顯著提高了精度，并分別將能耗降低了高達(dá)77%和92%。

使用確定性序列生成高質(zhì)量的超向量（HVs）顯著提升了高維計(jì)算（HDC）模型的性能。表III和表IV對(duì)比了圖2（b）中（?）和（?）所展示設(shè)計(jì)在圖像分類任務(wù)中的精度。結(jié)果顯示，使用確定性超向量編碼的HDC模型優(yōu)于基線模型。圖3展示了將圖2（b）中（?）的端到端一元結(jié)構(gòu)應(yīng)用于DermaMNIST數(shù)據(jù)集[42]時(shí)的性能表現(xiàn)。此外，鑒于該數(shù)據(jù)集相較于傳統(tǒng)手寫數(shù)字分類任務(wù)的復(fù)雜性增加，我們引入了基于周期（epoch）的訓(xùn)練選項(xiàng)。結(jié)果表明，在HDC編碼中采用我們的確定性解決方案，相比基線模型，能夠促進(jìn)更早的學(xué)習(xí)進(jìn)展[43]。除了改進(jìn)學(xué)習(xí)動(dòng)態(tài)外，所提出的架構(gòu)還提供了卓越的硬件效率。與基線方法相比，所提出的超向量生成器將功耗降低了98%，并將能效提高了15%，使其成為資源受限的邊緣設(shè)備中動(dòng)態(tài)向量生成的有前景的設(shè)計(jì)。

V. 結(jié)論

本研究提出了一種新穎的確定性序列生成器，并探索了其在隨機(jī)計(jì)算（SC）和高維計(jì)算（HDC）范式中的重要應(yīng)用。主要貢獻(xiàn)總結(jié)為以下四個(gè)研究亮點(diǎn)：? 在SC和HDC系統(tǒng)中利用對(duì)硬件友好的準(zhǔn)隨機(jī)序列生成高質(zhì)量的比特流。? 與現(xiàn)有最先進(jìn)技術(shù)相比，同時(shí)提高模型的吞吐量、效率和精度，并降低硬件成本。? 為SC和HDC設(shè)計(jì)引入一種新穎、簡(jiǎn)化且高效的隨機(jī)數(shù)生成器（RNG），為資源受限的設(shè)備提供了一種有前景的方法。? 開創(chuàng)性地將一元計(jì)算與HDC相結(jié)合，實(shí)現(xiàn)了輕量級(jí)且節(jié)能的HDC系統(tǒng)。

原文鏈接：https://arxiv.org/pdf/2501.02715