Analogical Reasoning Within a Conceptual Hyperspace

概念超空間中的類(lèi)比推理

https://arxiv.org/pdf/2411.08684

必須具備至少五種必要且同時(shí)存在的能力 [Osta-Vélez 和 G?rdenfors, 2022]：

1. 它必須實(shí)時(shí)接受感官觀察并將這些信號(hào)編碼到工作記憶中；

2. 它必須支持工作記憶內(nèi)基于距離度量的代數(shù)演算；

3. 它必須支持工作記憶內(nèi)的邏輯演算；

4. 它必須在感官觀察、幾何處理和符號(hào)處理過(guò)程中交叉引用相同的概念；

5. 它必須以關(guān)聯(lián)方式提供與長(zhǎng)期記憶的交互。

摘要

我們提出了一種類(lèi)比推理的方法，將復(fù)雜采樣高維計(jì)算（HDC）的神經(jīng)符號(hào)計(jì)算能力與概念空間理論（CST）相結(jié)合。概念空間理論是一種有前景的語(yǔ)義意義理論。CST在抽象層面上勾勒出超越標(biāo)準(zhǔn)基于謂詞的結(jié)構(gòu)映射理論的類(lèi)比推理方法，但沒(méi)有描述如何將這種理論具體實(shí)現(xiàn)。我們提出了一個(gè)基于HDC的具體架構(gòu)，可以計(jì)算CST分類(lèi)的幾種類(lèi)型的類(lèi)比。我們?cè)谝粋€(gè)玩具領(lǐng)域內(nèi)展示了初步的概念驗(yàn)證實(shí)驗(yàn)結(jié)果，并描述了它如何進(jìn)行基于類(lèi)別和基于屬性的類(lèi)比推理。

1 引言與動(dòng)機(jī)

“類(lèi)比是不同情境之間的部分相似性，支持進(jìn)一步的推理?！盵Gentner，1998]

代表一種類(lèi)比。類(lèi)比推理包含人類(lèi)認(rèn)知的許多關(guān)鍵方面，并涉及幾個(gè)核心過(guò)程：檢索（給定 C ，找到 A 和 B ，映射（確定 A 和 B 之間的結(jié)構(gòu)對(duì)應(yīng)關(guān)系，通過(guò)將這種對(duì)應(yīng)關(guān)系應(yīng)用于 C 來(lái)找到 X ，以及推理（利用 A 推進(jìn)概念 C 。在本文中，我們專(zhuān)注于映射任務(wù)——更具體地說(shuō)，識(shí)別 A 和 B 之間的關(guān)系，然后應(yīng)用該關(guān)系來(lái)刻畫(huà) X 的任務(wù)。映射的特殊挑戰(zhàn)在于， A 和 B 之間通常存在大量潛在的關(guān)系，而這些關(guān)系本身可能是組合性的、分級(jí)性的，并且跨越符號(hào)/亞符號(hào)表征的鴻溝。找到顯著的關(guān)系——即與 C 相關(guān)的 A 和 B 之間的關(guān)系——是一個(gè)組合上困難的問(wèn)題。

解決映射問(wèn)題的方法要么是連接主義的，要么是符號(hào)主義的，這兩種模型都試圖識(shí)別概念之間的結(jié)構(gòu)對(duì)應(yīng)關(guān)系（圖同構(gòu)）[Gayler and Levy, 2009]。像 ACME 和 DRAMA [Eliasmith 和 Thagard, 2001] 這樣的連接主義方法本質(zhì)上是“局部主義”的 [Page, 2000]，這意味著盡管概念表示/符號(hào)在網(wǎng)絡(luò)中相互連接，但它們?nèi)匀痪窒抻趩蝹€(gè)節(jié)點(diǎn)。另一方面，純粹的符號(hào)主義方法（如結(jié)構(gòu)映射理論 [Gentner, 1983; Crouse et al., 2021]）則明確地使用基于謂詞的表示法納入了幾何圖結(jié)構(gòu)。這兩種類(lèi)比引擎都受限于其表征方式。局部主義-連接主義方法需要對(duì)源結(jié)構(gòu)和目標(biāo)結(jié)構(gòu)進(jìn)行分解和順序符號(hào)遍歷，這大幅增加了其時(shí)間復(fù)雜性 [Gayler and Levy, 2009]。純粹的符號(hào)主義方法則難以計(jì)算需要隔離對(duì)象顯著概念屬性的類(lèi)比 [G?rdenfors 和 ?sta-Vélez, 2023]。顯著性需要一種距離度量，而這種度量在以符號(hào)為主的空間中并不存在。

神經(jīng)網(wǎng)絡(luò)提供了一種更加“分布式”的連接主義方法。然而，不幸的是，其概念嵌入不一定具備執(zhí)行類(lèi)比映射所需的結(jié)構(gòu)和組成特性。此外，神經(jīng)網(wǎng)絡(luò)模型無(wú)法生成超出其訓(xùn)練集分布范圍的多種類(lèi)比，并且無(wú)法提供支持類(lèi)比推理的底層層級(jí)結(jié)構(gòu) [Pavlus, 2021; Lewis 和 Mitchell, 2024]。目前尚缺乏一種能夠同時(shí)無(wú)縫地表示迄今為止相互排斥的連接主義和符號(hào)計(jì)算范式的認(rèn)知框架 [Lieto et al., 2017]。

最近，研究人員探索了高維計(jì)算（HDC），也被稱為向量符號(hào)架構(gòu)（VSA），作為一種捕捉多種神經(jīng)可信認(rèn)知現(xiàn)象的范式，包括類(lèi)比映射 [Hersche et al., 2023; Kanerva, 1997; Plate, 2003; Gayler, 2004; Blouw et al., 2016]。HDC 是一種表征和推理范式，其中數(shù)據(jù)結(jié)構(gòu)可以用高維向量表示，從而彌合了符號(hào)/亞符號(hào)之間的鴻溝。

使用高維計(jì)算（HDC）研究類(lèi)比推理相對(duì)較新，仍有許多開(kāi)放性問(wèn)題。例如，在 [Maudgalya 等, 2020] 中，給出了 A : B 關(guān)系的顯著方面，但假設(shè) A 、 B 和 C 的底層結(jié)構(gòu)是二元的。如何識(shí)別結(jié)構(gòu)中更顯著的方面并允許對(duì)概念進(jìn)行更細(xì)致或分級(jí)的刻畫(huà)，這一問(wèn)題仍然懸而未決。

在本文中，我們通過(guò)一個(gè)關(guān)鍵洞見(jiàn)開(kāi)始回答這個(gè)問(wèn)題：HDC 框架可以操作化認(rèn)知科學(xué)理論中的“概念空間”[G?rdenfors, 2000]。二十多年來(lái)，概念空間理論（CST）一直是認(rèn)知科學(xué) [Douven 和 G?rdenfors, 2019]、神經(jīng)科學(xué) [Bellmund 等, 2018] 和人工智能 [Zenker 和 G?rdenfors, 2015] 領(lǐng)域研究的吸引力指南。其優(yōu)勢(shì)在于其包容性能力，能夠建模感官觀察如何流經(jīng)代理的初始連接主義觀察處理層，通過(guò)幾何概念空間層，并最終進(jìn)入一種常用于推理的符號(hào)表征形式——因此與 HDC 共享許多特性。

CST 為類(lèi)比映射提供了指導(dǎo)。根據(jù) CST，類(lèi)比推理需要概念空間內(nèi)的距離度量。這一要求意味著代理必須具備至少五種必要且同時(shí)存在的能力 [Osta-Vélez 和 G?rdenfors, 2022]：

1. 它必須實(shí)時(shí)接受感官觀察并將這些信號(hào)編碼到工作記憶中；

2. 它必須支持工作記憶內(nèi)基于距離度量的代數(shù)演算；

3. 它必須支持工作記憶內(nèi)的邏輯演算；

4. 它必須在感官觀察、幾何處理和符號(hào)處理過(guò)程中交叉引用相同的概念；

5. 它必須以關(guān)聯(lián)方式提供與長(zhǎng)期記憶的交互。

單獨(dú)的結(jié)構(gòu)映射或神經(jīng)架構(gòu)都無(wú)法滿足這五個(gè)要求。我們認(rèn)為，HDC 可以支持這些要求，并為概念如何表征和類(lèi)比提供具體指導(dǎo)。我們將該模型稱為“概念超空間”。CST 提供了一組算法來(lái)解決多種類(lèi)型的類(lèi)比 [Osta-Vélez 和 G?rdenfors, 2022]。在本文中，我們?yōu)檫@些算法如何用 HDC 實(shí)現(xiàn)提供了一個(gè)概念驗(yàn)證：概念如何編碼，顯著關(guān)系如何識(shí)別，以及映射如何執(zhí)行。我們還在玩具領(lǐng)域進(jìn)行了實(shí)驗(yàn)以說(shuō)明該方法。

2 背景

在本節(jié)中，我們將介紹概念空間理論和高維計(jì)算范式，并在接下來(lái)的章節(jié)中將它們結(jié)合起來(lái)。

2.1 概念空間

概念空間框架 [G?rdenfors, 2000; G?rdenfors, 2014] 采用了一種原型理論的概念表征方法 [Murphy, 2002]，該方法將概念原型建模為幾何度量空間中的點(diǎn) [Bellmund 等, 2018]。這個(gè)空間由被表征概念的一個(gè)或多個(gè)屬性維度構(gòu)成。屬性可以是直接的感官觀察，也可以是從感官觀察中構(gòu)建的層級(jí)抽象。一個(gè)或多個(gè)整合屬性構(gòu)成一個(gè)域。例如，顏色域（color domain）包含三個(gè)沿著正實(shí)數(shù)軸的屬性維度：色調(diào)（hue）、亮度（brightness）和飽和度（saturation）。重量域（weight domain）則由一個(gè)沿正實(shí)數(shù)軸的單一屬性維度構(gòu)成。概念是該空間中的凸區(qū)域。對(duì)于跨越多個(gè)域的概念，這些域可以通過(guò)各種方式相關(guān)聯(lián)或加權(quán)。

圖 1 展示了本文中用作貫穿示例的顏色域。例如，顏色概念“紫色”（PURPLE）的原型位于圓柱參考框架中的位置：色調(diào)（HUE）= 315°，飽和度（SATURATION）= 87，亮度（BRIGHTNESS）= 53。圖中還顯示了其他三種顏色原型及其位置。這些顏色之間的相似性可以通過(guò)它們各自的原型之間的距離來(lái)建模。

2.2 高維計(jì)算（HDC）

HDC 使用超向量進(jìn)行計(jì)算。超向量是隨機(jī)生成的高維（1,000 維以上）向量，它們通過(guò)分層組合生成具有相同維度的新超向量。超向量可以是二進(jìn)制

。每種樣本類(lèi)型在處理速度和計(jì)算能力之間通常存在權(quán)衡。我們?cè)趯?shí)驗(yàn)中選擇復(fù)數(shù)樣本，因?yàn)樗鼈儼怂衅渌?lèi)型并且計(jì)算能力最強(qiáng) [Plate, 2000]。然而，隨著神經(jīng)形態(tài)硬件實(shí)現(xiàn)更高的保真度，這種權(quán)衡可能會(huì)發(fā)生變化。研究人員提出，復(fù)數(shù)超向量可以映射到神經(jīng)細(xì)胞群集，其中每個(gè)樣本的相位代表神經(jīng)元尖峰的相位 [Orchard 和 Jarvis, 2023]。

高維性的一個(gè)關(guān)鍵優(yōu)勢(shì)是兩個(gè)隨機(jī)超向量正交的可能性極高。這種正交傾向意味著超向量能夠編碼標(biāo)量并在潛在表征空間中表示基底。在這個(gè)空間中，組合可以以較少的重疊表示，同時(shí)對(duì)噪聲保持魯棒。此外，通過(guò)各種操作，原子概念可以符號(hào)化地組合以定義新的抽象概念。HDC 社區(qū)開(kāi)發(fā)了用于操作這些數(shù)據(jù)結(jié)構(gòu)的方法，允許在向量空間上創(chuàng)建靈活的符號(hào)代數(shù)。這些操作中的幾種將被用于計(jì)算類(lèi)比推理。我們?cè)跐撛诳臻g中使用長(zhǎng)度為的隨機(jī)復(fù)數(shù)超向量來(lái)表征概念。

采用復(fù)數(shù)采樣的高維計(jì)算（HDC）為人工智能提供了獨(dú)特的機(jī)制，例如傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)如樹(shù)和圖 [Kleyko 等, 2022]、導(dǎo)航 [Komer 和 Eliasmith, 2020]、概率建模 [Furlong 和 Eliasmith, 2024]、強(qiáng)化學(xué)習(xí) [Ni 等, 2023]、網(wǎng)格細(xì)胞和位置細(xì)胞模型 [Bartlett 等, 2023; Dumont 和 Eliasmith, 2020] 等。所有這些機(jī)制都依賴于復(fù)數(shù)采樣 HDC 將超向量構(gòu)建成核函數(shù)的能力 [Frady 等, 2022]。正如我們將在接下來(lái)的章節(jié)中展示的那樣，我們?cè)诟拍畛臻g中將概念建模為三維徑向基核函數(shù)。第 3 節(jié)概述了我們的總體方法，而第 4 節(jié)則更詳細(xì)地探討了其具體細(xì)節(jié)。

3 提出的方法：概念超空間

在本節(jié)中，我們開(kāi)始正式定義問(wèn)題設(shè)置以及我們?yōu)榻鉀Q類(lèi)比映射問(wèn)題所提出的方法。

3.1 問(wèn)題定義

定義 1 中的一個(gè)隱含前提條件是，源概念和目標(biāo)概念都可以使用一組顯著的 k 個(gè)基在域 D 中表示。我們將在下一節(jié)中討論這一點(diǎn)，并提出解決該任務(wù)的方法。

3.2 類(lèi)比映射算法

算法 1 至 4 描述了使用 HDC 解決類(lèi)比映射問(wèn)題的擬議方法。總體而言，該方法是將原型編碼到超空間中，在超空間中搜索類(lèi)比映射，然后解碼超向量以獲得目標(biāo)概念的所需原型。更廣泛地說(shuō)，我們的方法包含兩個(gè)主要步驟：(1) 確保顯著性要求得到滿足以構(gòu)建計(jì)算，以及 (2) 執(zhí)行類(lèi)比的計(jì)算。

該算法基于以下兩個(gè)假設(shè)：

1. 已經(jīng)獲得了一個(gè)域 D 的 k 個(gè)基。這樣的基集合捕捉了概念 A 、 B 、 C 的共享屬性。在我們的顏色示例中，所有概念共享一組共同的三個(gè)基。在其他屬性域中，這可能需要額外的處理，但其討論超出了本文范圍。更多見(jiàn)解可參考 [G?rdenfors, 2000]。

2. 我們已經(jīng)為這些概念選擇了原型 。這可能需要從長(zhǎng)期記憶中檢索。

為了編碼這些原型，我們建議使用分?jǐn)?shù)冪編碼（Fractional Power Encoding），它使我們能夠捕捉域中每個(gè)基上的漸變。算法 2 展示了如何通過(guò)首先為域 D 的 k 個(gè)維度生成基超向量來(lái)實(shí)現(xiàn)編碼。這些是從高斯分布中隨機(jī)采樣的復(fù)數(shù)超向量。編碼時(shí)，我們將這些超向量以其歸一化的原型屬性值進(jìn)行指數(shù)化，然后將 k 個(gè)超向量綁定在一起以形成每個(gè)原型的編碼。此操作生成一個(gè)具有相同 d 維的新超向量，并在概念超空間中充當(dāng)一個(gè)三維徑向基函數(shù)核。

在概念空間內(nèi)解決類(lèi)比推理問(wèn)題的方法取決于所計(jì)算的類(lèi)比類(lèi)型。對(duì)于局限于對(duì)象類(lèi)別的類(lèi)比，CST 推薦使用平行四邊形模型[Rumelhart 和 Abrahamson, 1973]。我們?cè)诔臻g中通過(guò)超向量的綁定操作實(shí)現(xiàn)了該模型，如算法 3 所示。 x 表示 k 維概念超空間中的潛在點(diǎn)，由綁定疊加中的 d 維超向量實(shí)現(xiàn)。然而，我們并不知道概念 X 的原型在 k 維空間（域 D 內(nèi)）中的確切位置，因?yàn)檫@些信息分布在超向量中且無(wú)法被人直接解讀。將超向量的分量“分解”的挑戰(zhàn)源于顯式編碼超空間中所有可能位置并將其逐一與 x 比較時(shí)發(fā)生的組合爆炸。為了解決這一問(wèn)題，研究人員最近開(kāi)發(fā)了所謂的諧振網(wǎng)絡(luò)（resonator networks），可以在不進(jìn)行窮舉搜索的情況下實(shí)現(xiàn)分解 [Frady 等, 2020]。

4 概念超空間

4.1 在超向量中編碼概念

為了詳細(xì)說(shuō)明我們使用高維計(jì)算（HDC）來(lái)編碼概念超空間的方法，我們回到我們一直在使用的復(fù)合類(lèi)比的例子，這次與顏色相關(guān)聯(lián)。

圖1展示了這個(gè)復(fù)合類(lèi)比在顏色域中的幾何結(jié)構(gòu)。這個(gè)例子從在顏色域中構(gòu)建三個(gè)三維概念區(qū)域（對(duì)應(yīng)操作數(shù)紫色、藍(lán)色和橙色）開(kāi)始。由于顏色域是一個(gè)三維空間，我們首先初始化三個(gè)基超向量，以定義該空間（算法2，第4行）。

在概念超空間中，一個(gè)超向量 x 初始化為圍繞單位圓的高斯相位分布。

代理必須將顏色屬性編碼到其工作記憶中的概念空間中。一個(gè)視覺(jué)預(yù)處理步驟從環(huán)境中的特定對(duì)象或長(zhǎng)期記憶中的原型中提取概念的屬性值（這些步驟超出了本文的研究范圍）。在本文的其余部分，我們將假定使用原型而非觀察值。然后，三個(gè)顏色屬性值被編碼為三個(gè)超向量，每個(gè)基對(duì)應(yīng)一個(gè)超向量，這些超向量表示沿各自維度的原型位置（例如，對(duì)每種顏色的色調(diào)、飽和度和亮度進(jìn)行編碼）。這種編碼通過(guò)一種稱為分?jǐn)?shù)冪編碼（Fractional Power Encoding）的過(guò)程完成（算法 2，第 10 行）[Komer 等, 2019]。原型位置也可能被存儲(chǔ)到臨時(shí)變量中以供后續(xù)使用。分?jǐn)?shù)冪編碼和變量存儲(chǔ)都應(yīng)用了 HDC 中最基本的操作之一，稱為綁定。

解綁是綁定的逆操作，通過(guò)將一個(gè)操作數(shù)的復(fù)共軛進(jìn)行綁定來(lái)完成。例如，根據(jù)公式 (2)，

在方程3中，超向量 x 出現(xiàn)了 p 次。 p 可以是任意實(shí)數(shù)值 [Komer 和 Eliasmith，2020]。圖4展示了分?jǐn)?shù)次冪編碼（FPE）后 x 的每個(gè)樣本的相位會(huì)發(fā)生什么變化。初始相位乘以 p ，并且編碼過(guò)程表現(xiàn)得像 p 次連續(xù)綁定，即使 p 不是整數(shù)。

通過(guò)將我們?nèi)齻€(gè)分?jǐn)?shù)次冪編碼的基超向量綁定在一起（算法2，第11行），我們?cè)诟拍畛臻g的顏色域中構(gòu)建了一個(gè)潛在的概念原型。例如，紫色（PURPLE）的最終概念編碼如下：

由于我們將每個(gè)基初始化為高斯分布，因此我們超空間中的概念（如公式 4 所示）保留了嵌入單一d 維復(fù)數(shù)采樣超向量中的潛在三維徑向基核的計(jì)算特性。

4.2 基于類(lèi)別的類(lèi)比映射算法

研究人員將類(lèi)比中存在的語(yǔ)義關(guān)系（例如，( A : B ) 中的冒號(hào)）分為許多不同的類(lèi)型 [Collins 和 Burstein, 1987; Osta-Vélez 和 G?rdenfors, 2022]，這些類(lèi)型大致可以歸為“基于類(lèi)別”和“基于屬性”兩類(lèi)。還有其他分類(lèi)，例如基于事件、部分-整體以及因果關(guān)系等，但本文僅關(guān)注前兩類(lèi)。

回顧我們之前的例子。

我們?cè)诒ＷC A 、B 和 C 滿足特定算法的預(yù)處理要求后，求解 X 。對(duì)于該算法，有兩個(gè)預(yù)處理要求：

1. 檢查概念A(yù)、B和C是否在長(zhǎng)期記憶中被標(biāo)記為一個(gè)共同的上位類(lèi)別。標(biāo)記和標(biāo)記檢查可以通過(guò)多種方法實(shí)現(xiàn)，包括Kanerva的分布式記錄 [Kanerva, 1997]、圖、樹(shù)結(jié)構(gòu)或狀態(tài)機(jī) [Kleyko et al., 2022]。這些符號(hào)數(shù)據(jù)結(jié)構(gòu)都可以用HDC構(gòu)建，并能高效地在長(zhǎng)期記憶中存儲(chǔ)原型的屬性或執(zhí)行其他符號(hào)邏輯。這種長(zhǎng)期記憶的詳細(xì)實(shí)現(xiàn)超出了本文的范圍，正在進(jìn)行中。

2. 找出A和B具有共同屬性的維度。這一步也可以使用HDC方法解決，也超出了本文的范圍。

在這個(gè)例子中，所有操作數(shù)已經(jīng)都在顏色類(lèi)別中（這也恰好是一個(gè)單一的域），因此不需要進(jìn)行特定于算法的預(yù)處理。

既然所有概念現(xiàn)在已知都在同一個(gè)類(lèi)別中，那么找到X原型的位置就很簡(jiǎn)單了。我們應(yīng)用平行四邊形模型（算法3，第3行）[Rumelhart和Abrahamson，1973]：

通過(guò)在概念超空間中應(yīng)用公式5將這些位置編碼到超向量中，并應(yīng)用適當(dāng)?shù)腍DC操作，我們得到了

在這里，我們用顏色名稱的首字母縮寫(xiě)了顏色。此時(shí)需要注意幾點(diǎn)。從統(tǒng)計(jì)學(xué)文獻(xiàn)中我們知道，兩個(gè)高斯分布的卷積會(huì)將其均值相加 [Jaynes, 2003]；并且由于每個(gè)復(fù)數(shù)超向量位于傅里葉域中，綁定操作符的逐樣本相乘執(zhí)行了一次卷積。操作數(shù)超向量的所有元素都在每個(gè)概念的三個(gè)編碼基的綁定疊加中進(jìn)行計(jì)算。結(jié)果超向量 x 仍然在綁定疊加中糾纏，并保持隨機(jī)性。然而，用于計(jì)算類(lèi)比的代數(shù)運(yùn)算所引起的相位變化在其答案中保持了統(tǒng)計(jì)保真度。

雖然我們能夠訪問(wèn)構(gòu)成答案原型的超向量元素，但我們尚不知道其編碼的潛在笛卡爾坐標(biāo)位置 。該位置被深度編碼到上述綁定疊加中。為了在每個(gè)基超向量中找到編碼位置的估計(jì)值，我們使用了一個(gè) HDC 諧振網(wǎng)絡(luò) [Frady 等, 2020]，其任務(wù)是在綁定疊加中找到這些因子。關(guān)于諧振網(wǎng)絡(luò)工作原理的大多數(shù)數(shù)學(xué)細(xì)節(jié)超出了本文的范圍。然而，重要的是以下內(nèi)容：如果我們構(gòu)建一個(gè)包含所有可能編碼的超向量因子作為參考的代碼本，那么諧振網(wǎng)絡(luò)可以快速分解綁定疊加。該網(wǎng)絡(luò)實(shí)際上可以利用綁定疊加提供的統(tǒng)計(jì)特性，而不是受其阻礙。尋找因子所需的迭代次數(shù)以線性復(fù)雜度 O(M) 擴(kuò)展，其中 M 是搜索空間的大小。Kent 的博士論文 [Kent, 2020] 展示了諧振網(wǎng)絡(luò)如何比任何其他已知方法更快地解決綁定疊加問(wèn)題。

解決基于屬性的類(lèi)比

這種類(lèi)型的類(lèi)比比較類(lèi)別和屬性之間的語(yǔ)義關(guān)系。回顧類(lèi)比的一般表示形式：

解決這一組合類(lèi)比的步驟如下：

1. 確定與概念或?qū)傩?B 對(duì)應(yīng)的顯著屬性維度。在本例中，這將是與紅色（RED）相關(guān)的基維度（即顏色域）。

2. 在確定的顯著維度中找到最接近原型位置 C 的位置。在本例中，這是沿著色調(diào)、飽和度和亮度基與概念香蕉（BANANA，即黃色 YELLOW）相關(guān)的位置。

通常，代理需要搜索顯著屬性。這種搜索需要一個(gè)距離度量。例如，在這個(gè)問(wèn)題中，代理需要搜索哪些基構(gòu)成了紅色RED。代理將這些基存儲(chǔ)在長(zhǎng)期記憶中，因?yàn)樾枰@些基超向量來(lái)構(gòu)建代碼本。為了確定與紅色RED相關(guān)的顯著基，代理計(jì)算存儲(chǔ)在記憶中的所有域基超向量與用于編碼紅色RED的域基超向量之間的距離度量。記憶中最接近紅色RED域超向量的域超向量是顯著的基。通過(guò)利用 HDC 高斯核的特性 [Frady 等, 2022]，超向量之間的簡(jiǎn)單點(diǎn)積可以衡量它們?cè)诟拍畛臻g中的相對(duì)距離。這引出了我們對(duì) HDC 介紹的最后一部分。復(fù)數(shù)采樣的單位超向量之間的相似性定義為對(duì)應(yīng)樣本之間角度差的余弦值的平均值 [Vine 和 Bruza, 2010]。該定義等同于兩個(gè)復(fù)數(shù)超向量之間的內(nèi)積。給定，之間的相對(duì)距離為相似性 。

根據(jù)類(lèi)比類(lèi)型的不同，可能會(huì)有無(wú)數(shù)種搜索方式。本例僅展示了一種類(lèi)型的搜索。但鑒于 HDC 提供的代數(shù)、符號(hào)和度量操作，許多不同類(lèi)型的搜索都是可能的。

5 討論

高維計(jì)算（HDC）作為建模工具的重要性

為什么我們應(yīng)該關(guān)心使用一種神經(jīng)可信的類(lèi)比引擎？為什么我們不能簡(jiǎn)單地用十進(jìn)制數(shù)字系統(tǒng)來(lái)進(jìn)行類(lèi)比計(jì)算？傳統(tǒng)方法無(wú)疑更為直接。

原因在于，更傳統(tǒng)的做法停留在 Marr 的算法層面 [Marr, 1982]。將我們的表征限制為神經(jīng)可信的模型，為我們的研究增添了科學(xué)價(jià)值。如果我們能夠通過(guò)一個(gè)介于 Marr 算法層面與實(shí)現(xiàn)層面之間的模型來(lái)實(shí)現(xiàn)類(lèi)比推理（正如我們?cè)诖颂岢龅模?，那么我們就縮小了通向人類(lèi)水平智能的算法加實(shí)現(xiàn)的搜索空間。

從工程角度來(lái)看，我們承認(rèn)，對(duì)于本文提出的玩具模型，神經(jīng)可信的概念超空間似乎比使用傳統(tǒng)向量的傳統(tǒng)概念空間更復(fù)雜。然而，大腦并不使用馮·諾依曼架構(gòu)。當(dāng)我們擴(kuò)展該模型以包含更多認(rèn)知功能（這需要更多資源）時(shí)，我們可能能夠在脈沖神經(jīng)網(wǎng)絡(luò)或其他高效的神經(jīng)形態(tài)硬件中構(gòu)建它。將我們的 AI 模型約束在神經(jīng)可信性范圍內(nèi)，為大規(guī)模實(shí)現(xiàn)人類(lèi)水平的認(rèn)知效能提供了希望。

屬性維度的起源

屬性維度的起源目前似乎尚未深深扎根于理論之中。因此，我們計(jì)劃探索建模這些維度的最佳方式。在本文中，我們將屬性維度視為概念超空間中的正交基，它們充當(dāng)內(nèi)在域的構(gòu)建塊。這從信號(hào)處理和認(rèn)知科學(xué)的角度來(lái)看都很方便。信號(hào)處理理論實(shí)際上需要正交性以支持核函數(shù)的構(gòu)建。如果事實(shí)證明大腦從有限的一組正交基維度中構(gòu)建了屬性維度的層次結(jié)構(gòu)，那么這對(duì)認(rèn)知科學(xué)來(lái)說(shuō)將是非常優(yōu)雅的解釋。[Wierzbicka, 1996] 提供了一組跨所有語(yǔ)言的語(yǔ)義原語(yǔ)，這似乎是構(gòu)建基于有限原子屬性維度的概念超空間模型的良好起點(diǎn)。通過(guò) HDC 操作，我們可以動(dòng)態(tài)生成符合類(lèi)比算法需求的分層屬性維度。

在功能性磁共振成像（fMRI）實(shí)驗(yàn)中，內(nèi)嗅皮層-海馬系統(tǒng)被證明能快速構(gòu)建高度特定的分層概念區(qū)域。例如，[Bellmund 等, 2018] 報(bào)告的區(qū)域是“頸部長(zhǎng)度”與“腿部長(zhǎng)度”。我們或許可以利用 HDC 教會(huì)代理如何構(gòu)建適當(dāng)?shù)膶傩跃S度。由 [Bartlett 等, 2023] 引入的 HexSSP（用于建模位置細(xì)胞和網(wǎng)格細(xì)胞的 HDC 核超向量）可能為屬性維度提供可學(xué)習(xí)的分辨率大小。我們希望將這種屬性維度的學(xué)習(xí)與高效的諧振網(wǎng)絡(luò)代碼本設(shè)計(jì)結(jié)合起來(lái)。

核函數(shù)的探索

調(diào)整徑向基核函數(shù)的帶寬，使我們能夠在概念超空間中塑造相似性區(qū)域。然而，鑒于 HDC 的靈活性，徑向基函數(shù)并非我們唯一可用的核函數(shù)。嘗試不同的核類(lèi)型及其相應(yīng)參數(shù)，可以為各種語(yǔ)義相似性提供無(wú)數(shù)種概念區(qū)域形狀 [Frady 等, 2022]。大多數(shù)核相似性遵循（可以說(shuō)是軟性的）CST 要求，即保持域的凸性 [Hernández-Conde, 2017]。但如果我們想建模非凸性，這也是可能的。雖然不夠優(yōu)雅，但我們可以通過(guò)綁定額外的超向量來(lái)符號(hào)化地標(biāo)記任何概念，并在信號(hào)處理開(kāi)始前將其剝離。[Balkenius 和 G?rdenfors, 2016] 討論了徑向基函數(shù)網(wǎng)絡(luò)模型在運(yùn)動(dòng)、推理和其他應(yīng)用背景下的學(xué)習(xí)。代理可能能夠?qū)W習(xí)適當(dāng)使用的核函數(shù)及其相應(yīng)參數(shù)。

概念超空間作為一種生成模型

高維計(jì)算（HDC）使我們能夠以生成的方式構(gòu)建新穎的概念區(qū)域。如果一個(gè)類(lèi)比問(wèn)題的答案生成了一個(gè)概念位置，而該位置在現(xiàn)有原型的最小距離內(nèi)沒(méi)有語(yǔ)言或符號(hào)標(biāo)簽，那么代理便有機(jī)會(huì)展現(xiàn)創(chuàng)造力。我們使用核函數(shù)對(duì)概念空間建模的方式，并不要求整個(gè)空間都被概念填滿。每當(dāng)產(chǎn)生一個(gè)新概念時(shí)，代理可以利用 HDC 的核屬性快速計(jì)算新概念與所有現(xiàn)有原型的距離，并決定如何處理——?jiǎng)?chuàng)建一個(gè)新原型、與現(xiàn)有概念合并、通過(guò)加性 HDC 疊加實(shí)現(xiàn)某種范例模型（本文未涵蓋的一種 HDC 操作），或者什么都不做，從而使代理保留一種更整體化的概念化能力。通過(guò)這種方式，HDC 有潛力將概念空間理論（CST）擴(kuò)展為一種生成框架，不再受限于嚴(yán)格的原型理論。

正如 Douglas Hofstadter [Hofstadter 和 Sander, 2013] 所說(shuō)，類(lèi)比是“思維的燃料與火焰”。因此，我們知道類(lèi)比推理可能在所有形式的認(rèn)知中都扮演著重要角色。這一核心原則將在我們推進(jìn)這項(xiàng)研究的過(guò)程中指導(dǎo)我們前行。

原文鏈接：https://arxiv.org/pdf/2411.08684