The Hyperdimensional Transform- a Holographic Representation of Functions2310.16065v1超維變換:函數的全息表示

https://arxiv.org/abs/2310.16065

相關論文：

摘要

積分變換是將函數映射到更容易表征的空間中的寶貴數學工具。我們引入超維變換作為一種新型積分變換。它將平方可積函數轉換為抗噪聲、全息、高維表示，稱為超維向量。核心思想是用隨機函數的線性組合近似一個函數。我們正式引入了一組隨機的正交基函數，并定義了超維變換及其逆變換。我們討論了一般變換相關的屬性，如其唯一性、逆變換的近似性質以及積分和導數的表示。超維變換提供了一個強大、靈活的框架，與其他積分變換（如傅里葉、拉普拉斯和模糊變換）緊密相連。此外，它為超維計算領域提供了理論基礎和新見解，這是一種正在迅速引起關注的計算范式，用于高效和可解釋的機器學習算法，具有在統計建模和機器學習中的潛在應用。此外，我們提供了簡單易懂的代碼，可以作為教程，允許重現演示示例，從計算變換到求解微分方程。

關鍵詞：積分變換、微分方程、超維計算、向量符號架構、機器學習、高效計算

10 結論

我們正式介紹了超維變換，它允許通過稱為超維向量的全息、高維表示來近似函數。我們討論了一般變換相關的屬性，如變換的唯一性、逆變換的近似屬性以及內積、積分和導數的表示。超維變換為超維計算領域的研究提供了理論基礎和見解。

我們還展示了這種變換如何被用來求解線性微分和積分方程，并討論了它與其它積分變換的聯系，如拉普拉斯變換、傅里葉變換和模糊變換。由于其處理噪聲數據的能力，我們也預期它在機器學習和統計建模領域的應用。在我們的未來工作中，我們將在這一方向上進一步闡述。明顯的方面包括基于函數評估樣本的經驗估計變換，以及利用超維計算快速高效能力的雙極近似變換。此外，變換將整個信號、函數或分布表示為超維空間中的點的能力，開辟了新的可能性。

9 與其他積分變換的聯系

在本節中，我們首先將超維變換與其它積分變換一般性地聯系起來，重點討論諸如拉普拉斯變換和傅里葉變換等突出的例子。其次，我們將更詳細地討論與模糊變換的緊密聯系。

9.1 積分變換

如第1節所介紹，超維變換就像拉普拉斯變換、傅里葉變換和模糊變換一樣，是一種積分變換。雖然拉普拉斯和傅里葉變換得到的是復數或實數變量的函數，但超維變換和模糊變換得到的函數定義域是一個有限集合。將函數值向量化后，模糊變換和超維變換可以被解釋為函數到向量的轉換。

一方面，超維變換的有限維度可能意味著表達能力較低，并可能帶來一些信息損失，而基函數的隨機性質引入了隨機噪聲。然而，隨著向量維度的增加，這些效應會逐漸減弱。因此，假定維度是較大的。

另一方面，轉換為有限維向量使得對更廣泛的函數集的積分計算變得可行：變換的每個分量都可以直接計算，無需解析表達式。注意，超維變換定義于任何具有度量的抽象宇宙，允許例如在集合、序列或圖上表示函數。

超維變換為求解微分方程開辟了一種獨特的方法。不是解析解，而是可以計算近似解。由于包含微分和積分的泛函自然表達，超維變換將線性微分方程和線性積分方程轉換為線性矩陣方程，將它們與線性回歸統一起來。

雖然傅里葉變換將函數分解為無限集合的所有可能頻率的波函數，但超維變換將函數分解為隨機的波狀函數。例如，在例1中，這些波狀函數在與長度尺度相關的某個“平均頻率”下在1和-1之間隨機切換。由于可以設置有限的長度尺度，超維變換允許整合噪聲數據。同樣，對于模糊變換（見9.2節），由于有限維度和長度尺度概念導致的較低表達能力，允許過濾噪聲。此外，基于全息表示的超維計算方法允許在機器學習中進行抗噪聲分類。

1 引言 1.1 積分變換

在數學中，存在各種類型的積分變換（通常簡稱為積分變換，強調變換的結果），將函數從其原始空間映射到一個新的空間，例如拉普拉斯變換、傅里葉變換、小波變換、模糊變換和Z變換，僅舉幾例[1, 5, 17, 21]。其基本思想是，在新空間中某些問題可能更容易解決，并且新空間中的解決方案可以（近似地）映射回原始空間。例如，拉普拉斯變換是解決微分方程的著名工具；傅里葉變換是分析頻率域中函數的工具；模糊變換除了用于解決微分方程外，還可以用于處理噪聲數據和數據壓縮目的。積分變換通常可以表示為數學算子，形式如下：

在這里，函數被變換為函數 ，變換的類型由和的定義域以及積分核(, )指定，積分核可以看作是一組基函數。例如，拉普拉斯變換將實變量的函數轉換為復變量的函數，指數基函數?決定了積分核。Z變換將變量的離散時間信號轉換為復變量的函數，積分核為?。最后一個例子是模糊變換，它將實變量的函數轉換為定義域為有限集的函數，積分核由有限模糊劃分{() ∣ = 1, 2,…, }確定。由于在這種情況下的定義域是一個有限集，因此可以將所有評估()()堆疊在一個向量中，并將變換解釋為函數到向量的變換。

1.2 超維計算

我們的工作將上述積分變換與超維計算（HDC）領域聯系起來[8, 9, 10]。超維計算，也稱為向量符號架構（VSA），是一個高度跨學科的領域，與計算機科學、電氣工程、人工智能、數學和認知科學等領域有關[9, 10]。特別是在機器學習和數據科學領域，超維計算最近引起了越來越多的興趣，作為一種節能方法的應用也在增加[9]。

HDC的基本思想是，任何類型的對象都可以用高維分布式表示來表示，稱為超維向量。HDC算法依賴于一組具有特定代數屬性的關鍵向量操作：綁定、疊加（也稱為捆綁或聚合）、置換和相似性測量。這些操作允許快速和穩健的計算。確切的代數運算取決于所選的超維向量類型。由于超維計算在很大程度上開始于各個領域的實證領域，已經描述和使用過不同類型的超維向量（例如，雙極、二進制、三進制、稀疏、實值或復值）。然而，以下四個屬性被認為是必不可少的[8]：

（i）超維性：向量應該具有大量的維度，例如10,000或更多。

（ii）魯棒性：向量的一小部分損壞不應導致信息的顯著丟失。HDC算法的結果應該能夠容忍這種組件故障。這種魯棒性來自于冗余表示。

（iii）整體或全息表示：信息不應該被局部存儲，而是“均勻”分布在整個向量中。這與計算機中數據的常規表示非常不同，在計算機中，特定的位具有特定的含義。

（iv）隨機性：向量應該是隨機繪制的，通常其元素獨立且同分布。

這些屬性從大腦的功能中汲取靈感，并允許實現人工智能的各個方面的實現，如記憶、推理和學習。有關超維空間的更多詳細信息，請參閱[8, 9, 10]。

1.3 進一步概述

本文介紹了一個線性算子，將函數轉換為超維向量，如上述四個屬性所定義。我們注意到最近有一項工作提出了類似的將函數表示為超維向量的想法。在[7 ]中，作者展示了與核方法的類比，并使用與超維“綁定”操作兼容的核將核分解的函數映射到超維空間。在我們的工作中，映射到超維空間更為通用。我們將其呈現為一個正式的積分變換。

具體來說，在第2節中，我們首先提供了一個具體的、正式的方法，將對象表示為超維向量。為此，我們引入了一個函數Δ ∶ → ?，稱為歸一化超維編碼，它將的元素映射到超維空間?，其中是一個大數。這個向量值函數的分量Δ()， = 1, 2,…, ，可以看作是正交基函數，類似于拉普拉斯變換中的函數?和模糊變換中的()。

第3節介紹了超維變換，這是一種線性算子 Δ，它將平方可積函數從 2() 映射到 ?。與許多積分變換的一個顯著不同是，這種變換不僅限于以實數區間為定義域的函數，而是為以更抽象的 為定義域的函數定義的。

另外請注意，盡管 被假定為較大，但來自無限維空間 2() 的函數被變換為有限維向量空間 ? 中的函數。因此，這種變換只能表示原始函數的一個近似。例如，模糊變換也允許這種行為。

本研究的其余部分討論了超維變換的各種與變換相關的屬性，如唯一性（第3節）、逆變換（第4節）及其近似質量（第5節），以及導數、積分和內積的表示（第6節）。在第7節中，我們將理論擴展到生活在不同通用的多變量函數。

第8節中，作為應用，我們展示了線性微分方程和線性積分方程如何自然地在超維空間中表示。最后，在第9節中，我們討論了與其他積分變換的密切聯系。我們指出它們與新的超維變換有何不同，以及它可能在哪些類型的應用中發揮作用。

2 超維編碼

在本節中，我們提供了一種具體的、正式的方法來將對象表示為超維向量。給定一個帶有度量的宇宙universe ，我們定義了一個基于隨機過程的超維編碼，將 的元素映射到超維向量。我們還引入了一種規范化的概念。相應的規范化超維編碼是將屬于 2() 的函數映射到超維空間的第一步。

這些向量的個分量分別是來自隨機過程Φ和ΔΦ的獨立樣本函數。如果Δ相對于是博赫納可積的，那么我們說Δ是相對于隨機過程Φ的的規范化超維編碼。函數被稱為未規范化的超維編碼。

備注1. 博赫納積分可以被視為向量值映射的勒貝格積分[2, 12]。隨著被積函數在向量空間?中取值，相對于的積分應該被解釋為分量式的。在方程(1)中，由于被積函數在?中取值，勒貝格積分和博赫納積分的解釋是一致的。

備注2. 相對于隨機過程Φ的的規范化超維編碼Δ只能定義，如果能夠找到規范化函數。對于任意隨機過程在任意度量空間(, , )上存在這樣的函數，一般而言是未知的。例子1-3展示了在不同的度量空間和不同的隨機過程中規范化函數的一些（不那么）明顯的解決方案。

形容詞“超維”指的是維度是巨大的1。維度為10,000維或更多是相當典型的[8]。根據大數定律[6]，我們有

在左側，符號??, ??接受兩個?中的向量作為參數，并表示用維度縮放的歐幾里得內積。右側的期望值也代表內積，但是是在隨機變量之間的。我們可以寫作

根據上下文，可以使用期望值或者內積符號。通過構造，規范化編碼Δ展現出魯棒性、整體性和隨機性的特性：每個向量分量是一個獨立的隨機樣本，而信息是通過高維內積在統計上編碼的，這些內積近似于期望值。

除了需要一個構造來獲取隨機過程的樣本外，還需要一個歸一化函數來實現具體的歸一化編碼Δ。找到歸一化函數()的解相當于求解非線性積分方程

在超維計算領域，已經描述了構建超維表示的方法，這些方法適用于更多的宇宙universes ，代表不同類型的數據結構，如圖形、圖像、序列、符號、集合、樹和其他結構[18, 10]。這些方法都有一個共同的隨機方面。本節我們的主要貢獻是將其形式化為具有期望值的隨機過程和規范化的概念，這是下一節中正確制定變換所必需的。

3 超維變換

在本節中，我們使用規范化的超維編碼Δ ∶ → ?來構建線性算子Δ，它將2()中的函數變換到?。來自隨機過程的獨立樣本的結果Δ將作為正交基函數，函數將被投影到這些基函數上。

在本節中，我們遵循以下假設：(, , )是一個有限度量空間；{Φ() ∣ ∈ }是一個取值在有界集合 ? ?中的隨機過程；并且Δ是相對于隨機過程Φ的的規范化超維編碼。除非另有說明，這些也是本研究其余部分的持續假設。

4 超維變換的逆變換

5逆超維變換的近似性質

根據定理2，這些例子中的規范化超維編碼因此允許在 → ∞的極限下任意好地近似任何連續函數。

離散變量的函數也可以被任意接近地近似，因為它們總是連續的。人們總是可以定義一個由長度尺度參數化的編碼，以便每個元素僅在接近0時與自身相關。例如，我們接下來通過包括一個長度尺度來擴展例3，以便滿足長度尺度的定義和定理2的要求。

對于 ≥ 2/3，隨機過程與例3相比沒有變化。對于 < 1/3，的每個元素的編碼僅與自身相關。可以為每個計算規范化常數，并驗證是根據定義5的長度尺度：如果距離小于，則隨機變量是正相關的；否則不相關。

現在，我們提供了當 ? ?是一個實數區間時，隨著長度尺度收斂速度的指示，再次假設極限 → ∞。

例8。考慮例5的設置，但我們不是改變，而是將設為較大（即50,000），并改變，它根據定理2和3作為長度尺度。不同長度尺度下的近似函數如圖4所示。

6 積分和導數

在本節中，我們將描述如何以它們的超維變換的形式表示函數的積分和導數。首先，我們考慮積分，不需要額外的假設。

在超維計算的背景下，超維表示通常是低內存的。考慮例1，其中隨機過程Φ取值為 = {-1, 1}，未規范化的超維表示() ∈ {-1, 1}可以表示為位向量。在這種情況下，每個分量作為在一定頻率下在1和-1之間切換的隨機函數（見例1），因此不是可微的。在實踐中，這并不一定是估計導數的限制。請注意，編碼假定了一個有限的長度尺度 > 0，在該尺度內點表示()和(′)是相關的。可以認為，因此的位置相對于精度是模糊的。因此，可以認為用接近長度尺度的有限差分?來近似導數是合理的。?的有限差分導數作為真實導數的近似，可以通過編碼的有限差分導數精確計算。證明類似于定理5。

在圖5(a)中，展示了使用有限差分計算的一些低階導數的階梯函數。階梯函數說明了未規范化編碼的一個分量，在一定頻率下在1和-1之間切換。作為替代方案，人們可能會用基于例如sigmoid函數的平滑替代方案來替換中的階梯函數（見圖5(b)）。后一種方法得到的函數恢復?更平滑，導數表達式也更精確，但代價是與簡單的{1,-1}編碼相比，編碼更復雜。

7 擴展到多變量函數

7.1 超維表示：乘積編碼

首先，我們引入乘積空間的超維表示。

這是統計學中關于零中心隨機變量乘積的協方差的一個基本結果。這種一般外積（或張量積）屬性激發了使用?來表示逐元素乘積。該屬性適用于無限維度，并且僅在有限維度下近似成立。這種近似的優勢在于維度是一個常數，而實外積的維度隨著2增加。

考慮乘積度量空間( × , × , )。這里， × 是由和的元素的笛卡爾積生成的-代數。如果兩個度量空間都是-有限的，這是標準假設（有限度量空間也是-有限的），乘積度量被唯一確定為對于任何 ∈ 和 ∈ ，( × ) = ()()。

作為一個乘積測度空間本身又是一個測度空間，前面提到的關于超維變換、逆變換和近似性質的理論仍然適用。接下來，我們將添加一些特別適用于乘積測度空間的結果。

7.2 邊緣化

作為多變量的一個擴展，我們描述了如何在固定其他變量的同時對一個變量進行積分

備注11. 定理6中的三個表達式具有特定的解釋，可以被解釋為復雜分布的貝葉斯推斷的基礎：

方程(2)：使用超維變換的擴展對度量，可以將表達式 Δ()? 理解為 *Δ δ ? Δ 1。因此，內積代表了在變量 中狄拉克分布的函數的評估，并且在變量 中具有恒定密度1。

方程(3)：表達式 ? Δ() 可以被看作是在變量 中的單變量函數的表示，條件是 。這個單變量函數通過與 的內積被積分。

方程(4)：表達式 ? 可以被看作是在變量 中的邊際單變量函數。與 Δ() 的內積則是在 處對這個函數的簡單評估。因此，在超維空間中對多變量函數進行邊際化就簡單地對應于逐元素向量乘法。

7.3 偏導數和梯度

作為對多變量的最后一個擴展，我們增加了假設 ? ? 和 ? ? 是實數區間，并使用（偏）導數的標準定義。

8 應用：表達線性微分和積分方程

在本節中，我們展示了如何在超維空間內，通過顯式的內積形式自然地表達函數評估、導數函數評估和積分評估，從而允許表達線性微分和積分方程。與其他積分變換（例如拉普拉斯變換或傅里葉變換）求解微分方程不同，這里不需要變換或逆變換的解析表達式。相反，超維變換提供了一種更數值化的方法，其中無限維函數被近似為有限的、大維度的向量。這種方法統一了求解微分方程和執行線性回歸，從而與統計建模和機器學習領域建立了聯系。

我們保留第3節的標準假設，并額外假設 ? ?是一個實數區間。

8.1 線性微分方程

考慮 ∈ [, ]的線性微分方程的一般形式：

請注意，由于這個有限的維度，結果幾乎看起來一點也不嘈雜。這里，優化了?以盡可能好地匹配微分方程。?的導數的條件和嶺正則化可能確保了一個更平滑的?。

在超維空間中求解微分方程之所以采取這種簡單形式，是因為函數被表示為向量，而查詢函數評估、導數函數評估等功能都表示為與的內積。然后，通過表達方程必須在哪些個點上成立，可以簡單地構建一個個線性方程組。

8.2 線性積分方程

同樣的推理也適用于積分方程。接下來，我們將展示如何將求解積分方程轉化為求解線性回歸問題。一個著名的非線性積分方程的例子是第二類弗雷德霍姆方程：

9 與其他積分變換的聯系

在本節中，我們首先將超維變換與其它積分變換一般性地聯系起來，重點討論諸如拉普拉斯變換和傅里葉變換等突出的例子。其次，我們將更詳細地討論與模糊變換的緊密聯系。

9.1 積分變換

如第1節所介紹，超維變換就像拉普拉斯變換、傅里葉變換和模糊變換一樣，是一種積分變換。雖然拉普拉斯和傅里葉變換得到的是復數或實數變量的函數，但超維變換和模糊變換得到的函數定義域是一個有限集合。將函數值向量化后，模糊變換和超維變換可以被解釋為函數到向量的轉換。

一方面，超維變換的有限維度可能意味著表達能力較低，并可能帶來一些信息損失，而基函數的隨機性質引入了隨機噪聲。然而，隨著向量維度的增加，這些效應會逐漸減弱。因此，假定維度是較大的。

另一方面，轉換為有限維向量使得對更廣泛的函數集的積分計算變得可行：變換的每個分量都可以直接計算，無需解析表達式。注意，超維變換定義于任何具有度量的抽象宇宙，允許例如在集合、序列或圖上表示函數。

超維變換為求解微分方程開辟了一種獨特的方法。不是解析解，而是可以計算近似解。由于包含微分和積分的泛函自然表達，超維變換將線性微分方程和線性積分方程轉換為線性矩陣方程，將它們與線性回歸統一起來。

雖然傅里葉變換將函數分解為無限集合的所有可能頻率的波函數，但超維變換將函數分解為隨機的波狀函數。例如，在例1中，這些波狀函數在與長度尺度相關的某個“平均頻率”下在1和-1之間隨機切換。由于可以設置有限的長度尺度，超維變換允許整合噪聲數據。同樣，對于模糊變換（見9.2節），由于有限維度和長度尺度概念導致的較低表達能力，允許過濾噪聲。此外，基于全息表示的超維計算方法允許在機器學習中進行抗噪聲分類。

9.2 模糊變換

由于其與超維變換的緊密聯系，我們將更詳細地討論模糊變換。關于模糊變換的全面概述，請參閱[16]。

每個第個分量因此可以被解釋為函數在節點周圍的局部加權平均值。然后，逆變換得到的函數由下式給出：

并且是常數。這在沒有邊界的例2中是情況，在例1中，如果可以忽略邊界效應（例如，當很小時），也是如此。一般來說，規范化函數不是常數。因此，超維變換和模糊變換之間的一個主要區別就是規范化的方式。

與超維變換類似，模糊變換也可以用來求解（偏）微分方程和處理噪聲數據[17, 15, 20]。導數是基于模糊變換的分量 Fs之間的有限差分來計算的；有關使用模糊變換求解微分方程的更多細節，我們引用[15]。超維變換可以使用有限差分或無窮小差分，這取決于編碼是否可微。兩種方法都可以被視為使用某種有限長度尺度/精度求解微分方程的近似方法。

10 結論

我們正式介紹了超維變換，它允許通過稱為超維向量的全息、高維表示來近似函數。我們討論了一般變換相關的屬性，如變換的唯一性、逆變換的近似屬性以及內積、積分和導數的表示。超維變換為超維計算領域的研究提供了理論基礎和見解。

我們還展示了這種變換如何被用來求解線性微分和積分方程，并討論了它與其它積分變換的聯系，如拉普拉斯變換、傅里葉變換和模糊變換。由于其處理噪聲數據的能力，我們也預期它在機器學習和統計建模領域的應用。在我們的未來工作中，我們將在這一方向上進一步闡述。明顯的方面包括基于函數評估樣本的經驗估計變換，以及利用超維計算快速高效能力的雙極近似變換。此外，變換將整個信號、函數或分布表示為超維空間中的點的能力，開辟了新的可能性。