Bridging Cognitive Architectures and Generative Models with Vector Symbolic Algebras用向量符號代數(shù)橋接認(rèn)知架構(gòu)和生成模型

https://ojs.aaai.org/index.php/AAAI-SS/article/download/27686/27459/31737

摘要

生成模型的最新發(fā)展表明，有了正確的數(shù)據(jù)集、技術(shù)、計算基礎(chǔ)設(shè)施和網(wǎng)絡(luò)架構(gòu)，就有可能生成看似智能的輸出，而不需要明確考慮底層的認(rèn)知過程。生成新穎、合理的行為的能力可能對認(rèn)知建模者有益。然而，由于生成模型的黑箱性質(zhì)無法提供關(guān)于底層認(rèn)知機(jī)制的易于解釋的假設(shè)，因此對認(rèn)知的洞察是有限的。另一方面，認(rèn)知架構(gòu)對認(rèn)知的本質(zhì)提出了非常強(qiáng)烈的假設(shè)，明確描述了推理的主題和過程。不幸的是，認(rèn)知架構(gòu)的形式框架可能使其難以生成新穎或創(chuàng)造性的輸出。我們提出證明依賴某些向量符號代數(shù)（VSAs）的認(rèn)知架構(gòu)實際上可以自然地理解為生成模型。我們討論了如何利用VSA表示的數(shù)據(jù)記憶形成分布，這對于構(gòu)建生成模型中使用的分布是必要的。最后，我們討論了這一研究方向的優(yōu)勢、挑戰(zhàn)和未來方向。

引言

生成模型的最新發(fā)展表明，有了正確的數(shù)據(jù)集、技術(shù)、計算基礎(chǔ)設(shè)施和網(wǎng)絡(luò)架構(gòu)，就有可能學(xué)習(xí)復(fù)雜數(shù)據(jù)和過程的分布，如圖像、聲音和語言（例如，Ramesh等人，2021；Mittal等人，2021；Ramesh等人，2022；Brown等人，2020；Kojima等人，2022）。從這些分布中抽取的樣本可以生成看似智能的輸出，而不需要明確考慮底層的認(rèn)知過程。生成新穎、合理的行為的能力可能對認(rèn)知建模者有益。然而，由于它們的黑箱性質(zhì)不提供關(guān)于生成模型所使用的表示和功能操作的易于人類解釋的假設(shè)，因此它們對認(rèn)知的洞察是有限的。

另一方面，認(rèn)知架構(gòu)對生物體認(rèn)知的本質(zhì)提出了非常強(qiáng)烈的假設(shè)。在生成模型缺乏關(guān)于底層計算的明確陳述的情況下，認(rèn)知架構(gòu)明確地說明了模塊化、操縱的符號、抽象以及推理機(jī)制（例如，常見的認(rèn)知架構(gòu)；Laird，Lebiere和Rosenbloom，2017），通常明確地將推理編入基于規(guī)則的生產(chǎn)系統(tǒng)（Anderson等人，1995）。不幸的是，許多認(rèn)知架構(gòu)采用的由編程語言抽象強(qiáng)加的結(jié)構(gòu)形式可能使其難以生成新穎的輸出。對符號表示的擾動需要對特定的強(qiáng)加結(jié)構(gòu)敏感，而在生成模型中，局部平滑表示的簡單擾動可以產(chǎn)生合理的輸出。生成模型的創(chuàng)造力和認(rèn)知架構(gòu)的可讀性是研究這兩種方法統(tǒng)一的有說服力的理由，以期生成既能體現(xiàn)創(chuàng)造力又能解釋性的認(rèn)知假設(shè)。

向量符號代數(shù)（VSAs）可能能夠彌合這一差距。VSAs是一系列統(tǒng)一符號和非符號數(shù)據(jù)的建模框架（Smolensky等人，2022），可用于構(gòu)建可以直接轉(zhuǎn)換為神經(jīng)元群體的功能性認(rèn)知架構(gòu)，如SPAUN（Eliasmith等人，2012）。在這些框架中，數(shù)據(jù)被表示為高維向量，然后使用一組定義的操作進(jìn)行操作。可以使用操作符和現(xiàn)有數(shù)據(jù)組成數(shù)據(jù)結(jié)構(gòu)的表示，然后對其進(jìn)行操作以進(jìn)行類比推理、構(gòu)建內(nèi)容尋址存儲器或與連接主義模型集成，從而實現(xiàn)學(xué)習(xí)。

先前的工作已經(jīng)表明，某些VSAs可以用來表示概率分布（Joshi，Halseth和Kanerva，2017；Frady等人，2021；Furlong和Eliasmith，2022）。對于表示和操作符的正確選擇，某些VSAs與概率有數(shù)學(xué)關(guān)系，這些向量表示的記憶近似于分布。我們提出證明依賴這些方法的認(rèn)知架構(gòu)實際上可以自然地理解為生成模型。

為了支持這個論點，我們首先簡要概述了我們工作的VSA，并展示它與概率的關(guān)系。接下來，我們將討論單個數(shù)據(jù)點的表示如何通過與核近似的關(guān)系而固有地成為分布。然后，我們將展示記憶如何與表示相結(jié)合，以構(gòu)建輸入數(shù)據(jù)的分布。鑒于記憶在認(rèn)知架構(gòu)中的核心地位，記憶與分布建模之間的關(guān)系構(gòu)成了與生成模型的基本聯(lián)系。最后，我們將討論這些結(jié)果的意義，它們與現(xiàn)代生成模型的關(guān)系，使用這些特定表示的挑戰(zhàn)，并概述未來工作的方向。

初步

VSAs和全息簡化表示

VSAs（向量符號架構(gòu)）是一類代數(shù)，可用于實現(xiàn)可以轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的認(rèn)知模型（Smolensky, Legendre, and Miyata 1992; Kanerva 1988, 2009; Plate 1995; Eliasmith 2013），這一特性在語義指針架構(gòu)（SPA）中被用于構(gòu)建使用尖峰神經(jīng)元實現(xiàn)的認(rèn)知架構(gòu)SPAUN（Eliasmith et al. 2012）。雖然SPA可以使用不同的代數(shù)實現(xiàn)（Eliasmith 2013），本文主要討論使用Plate（1995）的全息簡化表示（HRRs）進(jìn)行概率建模，主要關(guān)注我們稱之為空間語義指針（SSPs）的連續(xù)數(shù)據(jù)表示（Komer et al. 2019; Komer 2020; Dumont and Eliasmith 2020）。下面我們簡要描述HRR VSA中使用的操作，并將其與表示概率聯(lián)系起來。

向量空間我們限制自己使用單位向量，即傅里葉分量的大小均為一的向量。我們將其表示為

在之前的工作中，我們深入探討了使用SSPs進(jìn)行概率建模（Furlong和Eliasmith，2022），這使我們能夠在向量空間上構(gòu)建分布。在這里，我們建議它可以擴(kuò)展到混合離散和連續(xù)表示，盡管我們沒有為此提供嚴(yán)格的證明。

使用適當(dāng)向量符號代數(shù)的認(rèn)知架構(gòu)是生成模型

我們希望在這篇論文中提出的論點是，使用某些類別的向量符號代數(shù)實現(xiàn)的認(rèn)知架構(gòu)本質(zhì)上已經(jīng)是生成的。我們從兩個觀察中得出這個推論：首先，使用向量符號架構(gòu)表示的數(shù)據(jù)誘導(dǎo)（準(zhǔn)）核，其次，這些表示的記憶（通常是向量和）是與概率分布有強(qiáng)烈數(shù)學(xué)關(guān)系的向量對象。

HRR表示意味著核函數(shù)

向量點積，用于類比推理的符號表示提出的相似性度量（Plate 1993; Eliasmith 和 Thagard 2001），同樣為連續(xù)值數(shù)據(jù)提供了有意義的相似性度量。具體來說，使用SSPs表示的實數(shù)值向量數(shù)據(jù)之間的點積是sinc函數(shù)的乘積（例如，Komer 等人 2019; Voelker 2020; Dumont 和 Eliasmith 2020; Furlong, Stewart, 和 Eliasmith 2022）。也就是說，如果我們有一個問題域 X ? Rm 和一個投影 ?X : Rm → Rd，那么對于兩個點 x1, x2 ∈ X：

這種關(guān)系，在Voelker (2020)的SSPs背景下給出，自然地遵循了隨機(jī)傅里葉特征（Random Fourier Features, RFFs）的理論（Rahimi, Recht等人 2007）。雖然sinc函數(shù)并不常用，但它在估計概率的核方法中是可接受的（Tsybakov 2009）。同樣，對于表示符號數(shù)據(jù)，點積引入了一個可接受的核。我們通過在d維超球體表面隨機(jī)選擇點來表示原子概念。這種表示誘導(dǎo)的核函數(shù)是余弦核。然而，由于點是隨機(jī)生成的，兩個向量彼此接近的可能性相對較低。實際上，對于集合S中的兩個符號s1, s2 ∈ S，以及一個投影?S : S → Rd，我們可以將點積誘導(dǎo)的核函數(shù)寫成：

以上兩個結(jié)果表明，原子數(shù)據(jù)（數(shù)字向量或單個符號）表示之間的點積誘導(dǎo)了概率模型中可接受的核。然而，通過使用綁定和捆綁等VSA操作，我們也可以生成更復(fù)雜的表示，這表明這種公式不僅是認(rèn)知模型中表示數(shù)據(jù)的一種語言，而且是一種用于在這些數(shù)據(jù)之間組合核函數(shù)的語言。我們訴諸于有效核函數(shù)的乘積和和本身是有效核函數(shù)的概念（Bishop 2006，p296），以及捆綁和綁定操作分別表示核的和和乘積。為了說明這一點，圖1顯示了混合空間{s0, s1}×R中編碼為?(s, x) = ?S(s)??X(x)的離散-連續(xù)點之間的相似性。當(dāng)符號元素相等時，我們看到核遵循sinc函數(shù)，否則相似性看起來像噪聲。圖2顯示了使用SSPs編碼的軌跡的相似性。我們使用修改后的標(biāo)準(zhǔn)方法來表示使用HRRs（Plate 1992；Voelker等人，2021）的軌跡。

從這些觀察中得出的結(jié)論是，當(dāng)我們對使用這些方法編碼的數(shù)據(jù)進(jìn)行類比推理時，我們也在計算一個與概率有意義的值。我們接下來要展示的是，從這些表示構(gòu)建的記憶本質(zhì)上是概率分布。

VSA記憶是分布

當(dāng)在點積下進(jìn)行比較時，單個數(shù)據(jù)點本身就是（準(zhǔn)）分布。然而，當(dāng)我們將這些數(shù)據(jù)聚合到記憶中時，我們發(fā)現(xiàn)它們變成了可以表示數(shù)據(jù)集的對象。我們在VSA的背景下理解記憶是一個或多個編碼數(shù)據(jù)的向量的加權(quán)疊加（在VSA術(shù)語中是捆綁）。在最基本的情況下，我們可以假設(shè)我們給定了一個數(shù)據(jù)集D，其中包含了從某個生成分布中提取的觀測值（x1，…，xn）。我們通過簡單地平均這些數(shù)據(jù)的VSA編碼表示來創(chuàng)建一個記憶

有了這種記憶表示和其他VSA操作，人們可以操縱記憶，如條件化（通過解除綁定操作）或邊緣化（通過簡單的線性操作），并可以構(gòu)建網(wǎng)絡(luò)來實現(xiàn)其他信息理論函數(shù)在分布上（Furlong和Eliasmith，2022）。

對上述方法的一個有效批評是，它沒有考慮到認(rèn)知代理嵌入在時間中，必須依次進(jìn)行觀察和學(xué)習(xí)的事實。我們可以想象一個由低通濾波器的差分方程定義的時間記憶：

其中 γ ∈ [0, 1[ 是一個時間折扣因子。這種記憶是順序更新的，這使得它對于嵌入時間中的代理來說更加合理，并且由于它使用的是衰減因子而不是平均值，因此它不需要事先知道整個數(shù)據(jù)集的大小。此外，它給出了一個具有時間方面的觀察分布。在任何給定時間 T，該系統(tǒng)隱含了一個定義為：的記憶。

這意味著最近的觀察結(jié)果被認(rèn)為更有可能，因此如果從分布中抽取樣本，它們更有可能被選中。這種結(jié)構(gòu)設(shè)計是為了提高生物學(xué)的真實性，它引入了最近性偏差，這是一種在人類中觀察到的現(xiàn)象，認(rèn)知模型應(yīng)該解釋這一現(xiàn)象。

我們還可以考慮一個單獨的神經(jīng)元嘗試學(xué)習(xí)數(shù)據(jù)的分布。受到Sch?lkopf等人（2001年）的啟發(fā)，我們訓(xùn)練感知器對所有輸入觀察結(jié)果預(yù)測1。我們用學(xué)習(xí)率設(shè)置為1/n，訓(xùn)練了1個周期，其中n是數(shù)據(jù)集中的樣本數(shù)量。這是一個非常人為的例子，因為它假設(shè)已知樣本數(shù)量，并且每個數(shù)據(jù)點只呈現(xiàn)一次。隨著周期數(shù)的增加，這最終將學(xué)會近似一個函數(shù)，如果樣本是訓(xùn)練集的一部分，則返回1，否則返回0。這與Sch?lkopf等人的網(wǎng)絡(luò)學(xué)習(xí)分布的支持而不是分布本身是一致的。

圖3顯示了通過這些方法構(gòu)建記憶所學(xué)習(xí)到的分布。我們從一個一維雙峰高斯混合模型中抽取了1000個觀察結(jié)果，從一種模式中抽取了700個觀察結(jié)果，從另一種模式中抽取了300個，然后隨機(jī)洗牌觀察結(jié)果。在方程（10）中描述的非時間記憶與真實的底層分布匹配得很好。在方程（16）中描述的時間記憶，提供了一個γ = 0.93。這個值被選來說明最近的觀察結(jié)果如何影響學(xué)習(xí)到的分布。

所選的時間記憶過度預(yù)測了最近的觀察結(jié)果，忘記了早期的，然而，當(dāng)γ → 1時，它將近似非時間記憶。經(jīng)過一個周期，感知器學(xué)習(xí)了一個合理的記憶近似，但需要一個微調(diào)的學(xué)習(xí)率。如果不進(jìn)行詳細(xì)的探索，我們可以得出結(jié)論，常見的記憶公式可以近似觀察到的分布，特定的公式對學(xué)習(xí)到的分布的質(zhì)量有影響，因此也影響了結(jié)果行為。

假設(shè)一種認(rèn)知架構(gòu)使用允許概率解釋的VSAs，我們可以重新構(gòu)思這種架構(gòu)運(yùn)作的基本單元為分布。因此，當(dāng)描述在這些表示上工作的系統(tǒng)時，例如代表最近記憶的神經(jīng)元群體，或?qū)W習(xí)分布的神經(jīng)元突觸權(quán)重，它們可以被理解為在學(xué)習(xí)生成模型，即數(shù)據(jù)分布的表示。此外，如果我們考慮到生物系統(tǒng)的必要限制，我們開始看到嵌入時間的影響，這導(dǎo)致認(rèn)知模型偏離最優(yōu)模型。

本文中使用的向量代數(shù)提供了一種表示狀態(tài)的方式，統(tǒng)一了對符號和非符號數(shù)據(jù)、神經(jīng)實現(xiàn)以及概率模型的推理。這種代數(shù)可以支持各種認(rèn)知模型的實現(xiàn)，但重要的是，通過將記憶表示為高維向量表示的疊加，我們看到記憶等同于概率分布。在認(rèn)知架構(gòu)的標(biāo)準(zhǔn)模型的背景下，記憶——工作記憶、情景記憶和程序性記憶——是一個主要的關(guān)注對象。

優(yōu)點

認(rèn)知架構(gòu)、生成模型和神經(jīng)網(wǎng)絡(luò)的統(tǒng)一化

VSAs提供了一種形式化的代數(shù)，用于實現(xiàn)支持認(rèn)知科學(xué)家關(guān)于認(rèn)知的假設(shè)的認(rèn)知架構(gòu)，如Eliasmith（2013）和Choo（2018）所記錄。同時，VSA的向量表示很容易與神經(jīng)網(wǎng)絡(luò)接口，統(tǒng)一了連接主義方法與符號方法（Smolensky, Legendre, 和 Miyata 1992; Smolensky 等人 2022; Eliasmith 2013）。此外，使用SPA的研究表明，對于任何VSA語句，至少存在一個神經(jīng)網(wǎng)絡(luò)來實現(xiàn)該語句。最后，使用適當(dāng)?shù)腣SAs的認(rèn)知架構(gòu)，無論是使用VSA記憶還是存儲在突觸權(quán)重中的記憶，都能學(xué)習(xí)它們經(jīng)驗的分布，這是生成模型的一個必要組成部分。

使用適當(dāng)?shù)腣SAs，可以構(gòu)建一個單一的模型，同時提出關(guān)于功能認(rèn)知、大腦活動和結(jié)構(gòu)以及不確定性表示的假設(shè)。

數(shù)據(jù)結(jié)構(gòu)定義核

為復(fù)雜數(shù)據(jù)結(jié)構(gòu)定義核是一個非平凡問題，但HRR表示提供了一個簡單的方法來解決這個問題。在這種VSA中表示的數(shù)據(jù)支持通過點積進(jìn)行類比推理，這可以轉(zhuǎn)換為核函數(shù)。由于每個數(shù)據(jù)結(jié)構(gòu)都意味著一個核，人類可以通過描述他們所代表的數(shù)據(jù)來輕松構(gòu)建核。為復(fù)雜數(shù)據(jù)提供核的便捷訪問使得構(gòu)建生成模型所需的分布變得更容易。此外，因為VSAs為設(shè)計核提供了一種代數(shù)，人們可以應(yīng)用核結(jié)構(gòu)搜索技術(shù)（例如，Duvenaud 等人 2013）來找到更易于解釋人類行為的表示。

與機(jī)器學(xué)習(xí)技術(shù)的整合

此外，概率分布表示在機(jī)器學(xué)習(xí)應(yīng)用中已被證明是有益的。因為VSAs概括了核嵌入，它們可以用來實現(xiàn)有效的探索算法（Furlong, Stewart, 和 Eliasmith 2022）。我們還成功地將它們作為強(qiáng)化學(xué)習(xí)任務(wù)的表示基礎(chǔ)，發(fā)現(xiàn)在基準(zhǔn)RL任務(wù)上比深度Q網(wǎng)絡(luò)具有更少的變異性（Bartlett 等人 2023）。

繼續(xù)借鑒機(jī)器學(xué)習(xí)文獻(xiàn)——這些表示是可微分的。因此，可以應(yīng)用基于梯度的方法，甚至以任務(wù)約束的方式通過認(rèn)知系統(tǒng)傳播，以學(xué)習(xí)從感知或到運(yùn)動活動的改進(jìn)投影。盡管反向傳播的生物學(xué)合理性是有爭議的，但它無疑是一個有用的工具，采用這些技術(shù)允許它們集成到認(rèn)知架構(gòu)中。

挑戰(zhàn)

資源-準(zhǔn)確性權(quán)衡

高維表示必然需要大量的元素。在神經(jīng)網(wǎng)絡(luò)中表示這些向量需要更多的資源，因為向量的維度與表示群體中的神經(jīng)元數(shù)量之間并不一定存在一一對應(yīng)關(guān)系。

高維向量更受青睞，因為隨機(jī)選擇的向量在期望中僅是正交的——維度越高，向量間點積的方差就越低。算法可以在VSAs中被優(yōu)化定義，但總是存在串?dāng)_的風(fēng)險——不同隨機(jī)向量之間的點積值非零。由于向量必然是有限的維度，方程(7)中的εij項對于某些向量-符號對將始終非零，盡管其大小受到向量維度的限制。因此，有動力使VSAs中的向量盡可能高維。不幸的是，向量維度的增加帶來了對資源表示這些向量的更高需求。目前正在進(jìn)行尋找更有效表示的工作。例如，六邊形SSP（Komer等人2019; Dumont和Eliasmith 2020）通常允許使用比純隨機(jī)值更低維度的表示。此外，使用不同的神經(jīng)元模型的工作可以減少表示狀態(tài)所需的群體大小（例如，F(xiàn)rady和Sommer 2019; Orchard和Jarvis 2023）。

相反，由于有限表示導(dǎo)致的最優(yōu)性限制提出了關(guān)于有限理性的假設(shè)。

認(rèn)知模型的行為是否會隨著表示維度的函數(shù)而收斂于人類行為，然后又偏離？編碼方案的選擇和表示資源可以產(chǎn)生偏離最優(yōu)解的行為，即使在嘗試解決被制定為優(yōu)化問題的問題時也是如此。也許VSAs在算法性能方面的不足，就理解有限理性而言，是一種好處。

在線超參數(shù)估計

需要解決的一個懸而未決的問題是如何最好地擬合模型超參數(shù)。使用Glad風(fēng)格的從準(zhǔn)概率到概率的轉(zhuǎn)換依賴于需要擬合給定數(shù)據(jù)集的偏差項。準(zhǔn)確地解決這個項需要計算整個域X上的非線性積分。如果轉(zhuǎn)換要順序?qū)W習(xí)，那么偏差也必須更新。同樣，長度尺度參數(shù)h依賴于數(shù)據(jù)，需要擬合到數(shù)據(jù)集。如果這個參數(shù)要在線更新，編碼方案和任何學(xué)習(xí)規(guī)則都需要相應(yīng)地改變。相反，如果將這些參數(shù)視為在早期發(fā)展后被固定，人們可能會嘗試解釋由于超參數(shù)擬合不當(dāng)而導(dǎo)致的判斷錯誤。

另一個考慮因素是偏差參數(shù) b 是從準(zhǔn)概率轉(zhuǎn)換到概率的特定選擇的人工產(chǎn)物。可能這種轉(zhuǎn)換不是生物學(xué)上最合理的，或者轉(zhuǎn)換本身并不是必需的——SPAUN模型并沒有顯式地將相似性值轉(zhuǎn)換為概率，但它仍然能夠復(fù)制哺乳動物大腦觀察到的數(shù)據(jù)。

同樣值得考慮的是，認(rèn)知可能是生成性的，但并不嚴(yán)格地在Kolmogorov公理定義的概率空間中生成。其他準(zhǔn)概率模型，如量子概率，違反了標(biāo)準(zhǔn)的概率公理，但在描述物理系統(tǒng)時是有用的。也許認(rèn)知也不遵循正式的概率定義，轉(zhuǎn)換是不必要的。

未來研究方向

自動化表示設(shè)計

良好的表示是機(jī)器學(xué)習(xí)的基礎(chǔ)。到目前為止，我們主要使用手工設(shè)計表示將數(shù)據(jù)投影到VSA向量空間。在機(jī)器學(xué)習(xí)社區(qū)，特征工程是標(biāo)準(zhǔn)做法，直到深度學(xué)習(xí)展示了學(xué)習(xí)特征——在有足夠的數(shù)據(jù)的情況下——可以比手工設(shè)計的特征產(chǎn)生更好的結(jié)果。同樣，我們可以問是否有編碼為VSA表達(dá)式的學(xué)習(xí)表示，這些表示優(yōu)于手工方法。

高階表示是低階VSA對象的組合。更重要的是，它們可以被理解為關(guān)于它們組成成分的代數(shù)陳述。然后，可以將編碼選擇框定為尋找完成特定任務(wù)的最優(yōu)或滿意的表示的問題。人們可能會考慮使用允許概率解釋的結(jié)構(gòu)搜索技術(shù)（例如，Duvenaud等人2013；Lake, Salakhutdinov, 和 Tenenbaum 2015）來尋找更好的VSA語句以編碼數(shù)據(jù)。學(xué)習(xí)VSA表示將消除手工設(shè)計特征的限制，同時保持可解釋性，因為表示仍然會是VSA中的代數(shù)陳述。要將這種方法進(jìn)一步推向神經(jīng)合理領(lǐng)域，應(yīng)考慮使用貝葉斯結(jié)構(gòu)搜索（Kappel等人2015）作為構(gòu)建復(fù)雜表示編碼網(wǎng)絡(luò)的機(jī)制。

高效采樣

一個主要的研究方向是如何將這些概率表示轉(zhuǎn)化為行動——對于認(rèn)知模型來說，最終決策必須轉(zhuǎn)化為運(yùn)動計劃。這需要將分布轉(zhuǎn)化為代理可以采取的具體行動，這是生成模型的“生成”方面。可以想象計算任何特定分布指定的平均行動，但在雙峰分布的情況下，這將表現(xiàn)不佳。另一種方法是通過從分布中生成樣本來選擇行動。

一種簡單的做法是在行動中采樣一些點，\( x_s \in X \)，對它們進(jìn)行編碼，計算不同行動的概率，并選擇最大值（對于多峰分布進(jìn)行平局破解），或者可能從這些樣本點進(jìn)行貝葉斯自舉。這是一種有效的采樣方法，但隨著行動空間的維度增加，內(nèi)存需求呈指數(shù)級增長。

另一種方法是使用馬爾可夫鏈蒙特卡洛采樣方法，但在這里，VSA表示可能有一個在標(biāo)準(zhǔn)生成方法中不存在的問題。當(dāng)前的生成模型在局部平滑的潛在空間中操作，其中任何向量都是空間中可能有效的點，即，變分自編碼器（VAE）內(nèi)部空間的小擾動或生成對抗網(wǎng)絡(luò)（GAN）中的隨機(jī)向量都可以解碼為一些可能有意義的內(nèi)容，即使概率很低或不受歡迎。對于我們的方法來說，情況并非如此嚴(yán)格：我們的表示在局部是平滑的，但它們并不是在 \( R^d \) 的每個地方都密集。對于VSA表示，更具體地說是SSPs，有效點僅在超球體的一個子集上定義。因此，任何給定點的擾動都可以快速將表示移出定義有效點的流形，導(dǎo)致產(chǎn)生要么（近似）正交的東西，或者本身就是VSA向量的加權(quán)組合，從而產(chǎn)生新的采樣問題。

因此，使用不受流形限制的Langevin動力學(xué)可能不會產(chǎn)生有意義的樣本。清理記憶可能在這些采樣過程中有所幫助，但它們也需要定義一個代碼簿來進(jìn)行清理。這是使用VSA風(fēng)格的生成模型而不是更標(biāo)準(zhǔn)方法的基本權(quán)衡——隨機(jī)采樣變得更具挑戰(zhàn)性，但我們保留了可解釋性，從數(shù)據(jù)可以使用VSA代數(shù)進(jìn)行結(jié)構(gòu)分析的意義上講，網(wǎng)絡(luò)可以更正式地進(jìn)行詢問。

其他方法，如歸一化流，可能會導(dǎo)致更高效的采樣技術(shù)，特別是在高維環(huán)面或球面上的流（例如，F(xiàn)alorsi等人2019；Rezende等人2020）。或者，可以完全省略采樣。在操作生物體的背景下，可以將VSA編碼的行動分布轉(zhuǎn)化為特定運(yùn)動計劃的問題視為一個強(qiáng)化學(xué)習(xí)（RL）問題，學(xué)習(xí)解碼最有價值的行動，這取決于行動分布的狀態(tài)。然而，從發(fā)展的角度來看，這似乎是一種不尋常的公式——將運(yùn)動計劃轉(zhuǎn)化為行動的學(xué)習(xí)發(fā)生在認(rèn)知發(fā)展之后。

VSA的選擇 有許多不同的VSA可供選擇，每種都有相關(guān)的優(yōu)點和缺點。在這項工作中，我們專門使用了Plate（1995）開發(fā)的HRR代數(shù)。雖然這項工作可以自然地轉(zhuǎn)化為傅里葉全息約簡表示（FHRR）（Plate原始術(shù)語中的循環(huán)向量（Plate 1995）），因為它們通過離散傅里葉變換線性相關(guān)，但并不是每個VSA都可以被概率解釋。操作符和基向量的選擇意味著不同的模型。

例如，使用外積（Smolensky，Legendre和Miyata 1992）或Gosmann和Eliasmith（2019）的向量導(dǎo)出的張量綁定的綁定可以支持整數(shù)數(shù)據(jù)的表示，但表示實值數(shù)據(jù)并不明顯。此外，當(dāng)使用外積進(jìn)行綁定時，表示的維度會隨著表示的值變大而增長。然而，配備這些綁定操作符的代數(shù)可以表示離散分布。雖然我們在這里沒有進(jìn)行完整的分析，但進(jìn)一步研究其他VSA中不確定性的表示類型是有必要的。不同的VSA可能對不同的理論家來說是理想的，它們對概率建模的能力可能影響認(rèn)知架構(gòu)與生成模型的關(guān)系。

與現(xiàn)代生成模型的更深層次聯(lián)系 通過異質(zhì)聯(lián)想記憶的機(jī)制，將這種表示與IF-ELSE結(jié)構(gòu)合并可能會帶來更多的好處。以前已經(jīng)將生產(chǎn)系統(tǒng)式的公式與VSA集成在一起，提出基底神經(jīng)節(jié)作為基于規(guī)則的動作選擇的模型（Stewart和Eliasmith 2009；Stewart，Choo和Eliasmith 2010）。

異質(zhì)聯(lián)想記憶，如現(xiàn)代Hopfeld網(wǎng)絡(luò)（Krotov和Hopfeld 2016），可以采用單隱藏層神經(jīng)網(wǎng)絡(luò)的形式，具有輸入權(quán)重矩陣Win∈Rn×din和輸出權(quán)重矩陣Wout∈Rn×dout。然后它將輸入向量z轉(zhuǎn)換為輸出向量y：

這種公式的實用性在于它提供了一個簡單的機(jī)制來整合概率規(guī)則。它還提供了一個可以以生成方式采樣的動作分布。

將VSA表示與聯(lián)想記憶相結(jié)合為我們提供了一種生成方法來實現(xiàn)規(guī)則系統(tǒng)，但相同的網(wǎng)絡(luò)結(jié)構(gòu)也可以用來實現(xiàn)自動關(guān)聯(lián)的清理記憶，如Stewart，Tang和Eliasmith（2011）之前為VSA輸入實現(xiàn)的。這兩個組件是許多認(rèn)知架構(gòu)的基礎(chǔ)，我們現(xiàn)在可以理解它們本質(zhì)上是概率的。

但好處不止于此：現(xiàn)代Hopfeld網(wǎng)絡(luò)與變壓器網(wǎng)絡(luò)密切相關(guān)（Ramsauer等人，2020）。變壓器在序列和時間序列的生成建模中具有很高的影響力。將VSAs與聯(lián)想記憶相結(jié)合產(chǎn)生了一個類似于支持最先進(jìn)的生成模型的結(jié)構(gòu)的準(zhǔn)概率網(wǎng)絡(luò)，值得進(jìn)一步研究。

相關(guān)工作

在開發(fā)符號表示可以與概率分布相結(jié)合的框架（例如，Sigma認(rèn)知架構(gòu)Rosenbloom，Demski和Ustun 2016）或使用概率編程的認(rèn)知模型（例如，Goodman，Tenenbaum和Contributors 2016）方面已經(jīng)投入了大量的努力。雖然這不是這些模型的最初意圖，但值得注意的是，它們?nèi)狈μ岢龅哪Ｐ偷纳锖侠硇詫崿F(xiàn)的解釋。

類似的擔(dān)憂也適用于量子概率認(rèn)知方法（Pothos和Busemeyer 2013；Busemeyer，Wang和Shiffrin 2015；Pothos和Busemeyer 2022）。然而，量子概率也是一個準(zhǔn)概率模型，因為它不遵循Kolmogorov的所有概率公理。與上述方法一樣，它依賴于將數(shù)據(jù)表示為高維或無限維希爾伯特空間中的點，使用一組向量上的操作符來實現(xiàn)認(rèn)知模型，并依賴于一個轉(zhuǎn)換（Born規(guī)則）將準(zhǔn)概率轉(zhuǎn)換為概率。之前已經(jīng)有人提出，神經(jīng)VSA模型可以支持量子概率模型的實現(xiàn)（Stewart和Eliasmith 2013）。Buse-meyer，F(xiàn)akhari和Kvam（2017）探索了一種使用神經(jīng)振蕩器的替代方法，這讓人想起了VSA建模的FHRR方法，盡管沒有明確考慮這種技術(shù)。無論如何，量子概率的效用確實提出了一個問題，即嚴(yán)格的Kolmogorov概率是否是建模認(rèn)知的最佳框架，或者也許某種其他方法可能最適合。

在機(jī)器學(xué)習(xí)傳統(tǒng)中，核概率編程（KPP）在（Muandet等人，2017）中進(jìn)行了調(diào)查，提供了一個操作表示為核均值嵌入的分布的框架，相當(dāng)于我們的等式（4）。這種方法假設(shè)存在連續(xù)數(shù)據(jù)的向量嵌入，而不是通過迭代的分?jǐn)?shù)綁定來構(gòu)造它，并依賴于外積來表示變量綁定，類似于Smolensky，Leg-endre和Miyata（1992）以及量子概率。如上所述，選擇循環(huán)卷積作為綁定函數(shù)允許向量操作保持維度。此外，通過循環(huán)卷積，嵌入的值可以在編碼后更新。這一事實使得使用HRRs和尖峰神經(jīng)元實現(xiàn)VSA算法進(jìn)行同時定位和映射（SLAM）成為可能（Dumont，Orchard和Eliasmith 2022；Dumont等人，2023）。這些研究線的匯合表明，追求希爾伯特空間表示上的操作作為一種編碼概率計算的機(jī)制是有用的。

結(jié)論

VSAs是一種工具，可以用來表示符號推理，同時與神經(jīng)網(wǎng)絡(luò)集成，并且本質(zhì)上是概率的。這些表示成功地提供了SPAUN認(rèn)知架構(gòu)的功能描述。如上所述，VSAs表示的記憶本質(zhì)上學(xué)習(xí)了輸入的分布，這表明這些公式和生成模型之間存在聯(lián)系。記憶在認(rèn)知架構(gòu)中的核心地位表明，VSA實現(xiàn)可能是統(tǒng)一生成模型和認(rèn)知架構(gòu)的一條途徑。