A Grid Cell-Inspired Structured Vector Algebra forCognitive Maps
一種受網格細胞啟發的認知地圖結構化向量代數
https://arxiv.org/pdf/2503.08608
摘要
內嗅皮層-海馬結構是哺乳動物大腦的導航系統,通過網格細胞對物理空間和抽象空間進行編碼。這一系統在神經科學中得到了廣泛研究,其高效性和多功能性使其在機器人技術和機器學習領域具有吸引力。盡管連續吸引子網絡(CANs ontinuous attractor networks)成功地模擬了內嗅皮層網格細胞對物理空間的編碼,但將連續空間計算和抽象空間計算整合到一個統一框架中仍然是一個挑戰。在此,我們嘗試通過提出一種受連續吸引子網絡和向量符號架構(VSAs,一種神經符號計算框架)啟發的內嗅皮層-海馬結構多功能信息處理機制模型來彌合這一差距。這種新穎的網格細胞向量符號架構(grid-cell GC-VSA)模型采用具有空間結構的編碼方案,使用3D神經模塊模擬網格細胞模塊的離散尺度和方向,再現了它們特征性的六邊形感受野。
在實驗中,該模型在空間和抽象任務中表現出多功能性:(1)通過路徑積分準確跟蹤位置;(2)通過時空表征查詢物體位置和時間關系;(3)以家族樹作為結構化測試案例,進行符號推理以處理層次關系。
索引詞: — 網格細胞、認知地圖、連續吸引子網絡、向量符號架構
I. 引言
內嗅皮層-海馬結構(EHF)是哺乳動物大腦的導航系統,也是記憶形成的關鍵樞紐。在其輸入端,內嗅皮層(EC)中的網格細胞[2]通過一種稀疏分布的群編碼方式對空間進行編碼,這種編碼方式被組織成不同空間尺度和方向的模塊[3]。網格細胞表現出特征性的周期性六邊形網格感受野。
經過廣泛研究的內嗅皮層網格細胞系統已經使用連續吸引子網絡(CAN)[1]、[4]、[5]和振蕩干擾模型[6]、[7]進行了建模。CAN通過在多個具有環面拓撲的神經層(稱為模塊)上移動的神經活動“團塊”來解釋周期性六邊形活動模式,這些團塊與動物的運動等變。乍一看,振蕩干擾模型似乎是一個完全不同的模型,它假設一組速度控制振蕩器(VCO),即振蕩器的頻率取決于動物當前的速度。至少兩個調諧到不同運動方向的VCO的干涉會在奔跑的動物中產生周期性放電模式。
有趣的是,EHF中的神經反應超出了物理空間的范疇。雖然海馬體中的位置細胞也充當“概念細胞”[8],但網格細胞已被證明可以對抽象空間進行編碼[9]–[12],這表明大腦中存在一種組織空間信息的通用機制。然而,統一編碼物理空間和抽象空間的計算框架仍然是一個未解決的挑戰。
在本文中,基于將網格細胞與高維計算(HDC)聯系起來的研究[13]–[16],我們提出了一個彌合物理空間和抽象空間編碼策略之間差距的框架。HDC[13]、[15]、[17]、[18]是為神經系統的符號計算而設計的,能夠表示復雜的數據結構,如變量、樹和圖。最近的研究將HDC擴展到連續空間變量和流形[15],使其成為一個有希望彌合空間和符號計算的框架。它的魯棒性、可擴展性和可解釋性也使其適合于神經形態計算[19]–[22]。
HDC是許多不同向量符號架構(VSA)的總稱。VSA定義了一種代數結構,由一組非常高維(“高維”)向量以及捆綁和綁定這兩種二元交換和結合運算組成。
我們引入了“網格細胞VSA”(GC-VSA),這是傅里葉全息降維表示(FHRR)[17]的一個變體。GC-VSA使用具有額外結構的3D塊碼,這些結構受到網格細胞組織的啟發,并定義了相關的綁定和捆綁運算。與早期的VSA[13]–[16](觀察單個元素中的光柵模式)不同,GC-VSA生成具有六邊形網格感受野的單神經元反應,這與生物學觀察結果更為一致,并為VSA與神經活動之間提供了一個直觀的聯系。
為了證明該模型的可行性,我們重現了之前文獻[13]–[15]中進行的最重要的概念驗證實驗:路徑積分和時空場景/物體表征。此外,代碼的結構允許我們引入一種旋轉運算。為了突出該模型能夠進行抽象空間推理的能力,我們展示了一個簡單的家族關系樹上的類比推理任務。
最后,我們討論了所提出的向量代數與之前的HDC模型和計算神經科學模型之間的關系。有趣的是,這一框架不僅統一了CAN和VCO模型的某些方面,還描述了可以在單一框架中表達空間和符號信息處理的內嗅皮層中的表征和計算。
II. 向量符號架構
內嗅皮層網格細胞系統被認為作為編碼和導航物理空間與抽象空間的框架發揮作用[1]、[9]、[12]、[23]。它包含多個具有不同空間頻率的六邊形晶格周期性感受野的神經元模塊。在每個模塊內,細胞共享網格間距和方向,但在空間相位上有所不同,從而確保空間的連續覆蓋[3]。在大鼠中,通常有4-5個模塊[3]作為連續吸引子網絡(CANs)運作[1]、[4]、[24]–[26],其網格間距沿內嗅皮層內側部(MEC)的背腹軸以離散的步長增加[3]。
受這種生物架構的啟發,我們提出了一種向量符號架構(VSA),稱為網格細胞向量符號架構(GC-VSA),它整合了傅里葉全息降維表示(FHRR)[17]和稀疏塊碼[27 sparse block codes ]的概念。
在介紹所提模型的細節之前,我們先簡要介紹向量符號架構作為代數結構的原理,以及它們如何用于表示類別數據和空間數據。
向量符號架構的代數結構
向量符號架構(VSAs)是使用高維向量表示信息并定義兩種二元運算:捆綁(⊕)和綁定(⊙)的代數框架。不同類型的VSA中,向量和這些運算的實現方式有所不同。在詳細介紹它們的實現之前,我們先概述其代數結構。
VSA的一個基本原則是,整個系統的狀態以分布式方式表示在一個固定大小的單個高維向量中。該向量通常是通過隨機采樣代碼本矩陣中分配給不同符號的向量構建的,確保它們幾乎正交,從而在余弦相似度上具有區分性。例如,向量可以表示像“香蕉”和“蘋果”這樣的類別信息。
綁定運算(binding⊙)通常用于組合特征。例如,我們可以通過將標記為“綠色”和“蘋果”的兩個向量進行綁定來在神經狀態中表示一個綠色蘋果:綠色 ⊙ 蘋果。值得注意的是,綁定運算的設計使其是可逆的,即存在一個逆運算,稱為解綁(⊙?1)。在上述例子中,從綠色蘋果向量中解綁綠色可以得到蘋果向量:(綠色 ⊙ 蘋果)⊙?1 綠色 = 蘋果。
捆綁運算bundling(⊕)通常用于在向量中表示一組對象。例如,一個包含綠色蘋果和黃色香蕉的場景可以編碼為 S = (綠色 ⊙ 蘋果)⊕(黃色 ⊙ 香蕉)。至關重要的是,綁定和解綁運算在捆綁運算上是可結合的。從場景向量 S 中解綁綠色將得到以下向量:
解綁后的結果與“蘋果”最為相似,因為第二項(黃色 ⊙ 香蕉)僅增加了噪聲,因為它與用于解綁操作的代碼本中的任何向量都不相似。在這個例子中,解綁“綠色”相當于提出了一個問題:“場景中哪種水果是綠色的?”
需要注意的是,綁定和捆綁操作保持了向量的大小,從而維持了恒定的內存使用量。然而,過度捆綁會導致表示質量下降。
除了本節中介紹的類別信息表示之外,VSA還可以對連續空間變量進行編碼,支持幾何運算。
VSA中的空間表示
為了將這些操作擴展到空間信息,可以通過反復應用綁定操作來表示整數和實數[17]。我們將生成向量V?的x次自綁定表示為指數形式:V?⊙? [22]。這使得通過將V?標記為1,V?⊙V?標記為2,V?⊙3標記為3,依此類推,可以對整數(Z)進行編碼。通過與另一個隨機生成向量V?進行綁定,我們可以擴展到二維空間,從而能夠表示Z2中的坐標。例如,坐標(3,7)可以通過V?⊙3⊙V?⊙?來表示。這種綁定操作為我們提供了在這個空間中導航的手段,使得我們可以進行諸如在x方向移動2個單位、在y方向移動1個單位的運動,計算過程如下:V?⊙3⊙V?⊙?⊙V?⊙2⊙V?⊙1 = V?⊙?⊙V?⊙?。
也就是說,高維空間中的綁定操作對應于低維編碼空間中的向量加法。
這一特性正是我們在下一節中進行路徑積分所需要的,但到目前為止,我們僅限于在格點上進行整數步長的移動。為了表示實數向量(在 中),我們采用分數冪編碼(Fractional Power Encoding, FPE)[17]、[28]、[29],在這種編碼中, binding綁定操作可以以分數形式應用,從而允許指數 x 和 y 取實數值。
直觀上,分數綁定對應于部分(非整數)移動,能夠實現離散編碼位置之間的平滑插值。重要的是,分數冪編碼(FPE)保留了局部性,即在物理空間中距離較近的向量(其指數相差小于1)在高維空間中通過余弦相似度測量也是相似的。二維中的相似性核在圖2c中進行了展示。
分數冪編碼的理想VSA是傅里葉全息降維表示(FHRR)[17]。在FHRR中,基本的高維向量被編碼為振幅為1的復數,即所謂的相位因子。捆綁操作是逐元素相加,綁定操作是逐元素相乘。因此,重復的自綁定通過逐元素指數運算實現,這很容易推廣到非整數指數。對于相位因子,復數乘法是相位相加,因此在所表示的空間中連續移動會導致復數相位的旋轉(即振蕩,與速度控制振蕩器VCOs建立了聯系)。
由于復數可以描述具有一定相位和幅度的余弦函數,因此可以實現FHRR的另一種替代實現方式:在這里,我們描述了一種高維向量的VSA,這些向量被結構化為多個實值塊:V = [v?, ..., v?],其中每個塊編碼了一個具有特定相位和幅度的離散化余弦函數,這對應于FHRR中的單個元素。
在這種編碼中,綁定操作是通過塊級循環卷積實現的。由于循環卷積在傅里葉域中等價于逐元素相乘,因此可以通過傅里葉變換F(·)明確地建立與FHRR復數表示之間的聯系:
公式4和5突出了復向量和塊編碼使用相同原理并實現了相同的VSA(FHRR):在復數設置中,元素處于傅里葉域,而這種塊碼在空間域中表示每個元素。應用這一特性可以方便地實現分數冪編碼(FPE),其中重復綁定對應于傅里葉域中的指數運算。
這種基于塊的向量編碼與稀疏塊碼(SBC)[27]密切相關。稀疏塊碼也對向量進行分塊,但采用獨熱編碼而不是余弦函數。然而,稀疏塊碼的行為與FHRR不同,因為獨熱塊僅表示離散相位而不帶幅度。因此,捆綁會導致每個塊有多個激活,從而影響稀疏性。此外,在SBC上通過循環卷積使用FPE會破壞它們的二進制特性。因此,離散化余弦編碼可以被視為SBC的連續擴展。另一種連續擴展方法最近也被提出[30]。
在接下來的內容中,我們將介紹block-FHRR的另一個新變體,其中每個元素/塊具有多個相位和一個幅度,而不是單個相位和幅度。
III. 網格細胞向量符號架構(GC-VSA)模型
傅里葉全息降維表示(FHRR)將符號表示為高維復值向量。我們通過將復向量元素替換為二維或三維模塊來擴展這一方法。在這里,我們僅關注三維情況,其中每個模塊是一個 (n x n x n) 張量(在我們的實驗中 (n = 3)。
網格細胞向量符號架構(GC-VSA)的“向量”由多個按尺度和方向組織的模塊組成(見圖1c)。相應地,完整的GC-VSA“向量”是五維張量,其中三個維度用于每個模塊的空間坐標,第四個維度用于模塊的方向,第五個維度用于模塊的尺度。盡管具有這種結構,我們仍將整個五維張量稱為“VSA向量”,因為它可以被展平為一個傳統的高維向量。
使用GC-VSA進行空間編碼
遵循分數冪編碼(FPEfractional power encoding)的邏輯,每個模塊通過以下步驟對二維笛卡爾空間中的一個給定點 (x, y) 進行編碼:首先對模塊特定的方向角 應用旋轉 R,然后將其投影T到六邊形(三維)坐標系中,并將其縮放到模塊尺度 s(方向和尺度在圖2a和b中進行了可視化)。
其中, 對模塊的激活進行歸一化,以確保在三維離散傅里葉變換中振幅為1,而 n 是立方體模塊每個維度上的神經元數量。因此,與普通的FHRR不同(在FHRR中,每個元素編碼一個相位和一個幅度),每個GC-VSA模塊包含一個三維相位(余弦的相位)和幅度。與FHRR一樣,基本向量的幅度為1,但在捆綁時會發生變化。
GC-VSA編碼的參數選擇
對于本文展示的實驗,我們選擇每個模塊維度上的神經元數量 n = 3,因為這是允許使用循環卷積進行移動的最小采樣點數量。不同的方向 在的范圍內均勻分布,并且每個尺度都有一個隨機偏移量,以改善方向-尺度對的覆蓋(在展示的實驗中,。對于不同的尺度,我們從神經科學文獻中汲取靈感。已知內嗅皮層中的不同尺度模塊呈指數增長,它們之間的恒定比例因子為1.42[3],從最小尺度 開始:
GC-VSA中的捆綁和綁定操作
在GC-VSA中,捆綁bundling(⊕)被定義為神經激活的逐元素相加。綁定binding(⊙)是兩個向量的模塊級循環卷積,通過一個空間相位移動另一個空間相位,并對應于傅里葉空間中的乘法。這將前面描述的塊碼推廣到三維(見公式4和5)。圖1b
展示了如何通過綁定向量U和V,導致3D模塊內空間相位的移動。類似于FHRR中的分數綁定[13]、[17]、[29],GC-VSA允許通過分數循環卷積對實數值位置進行編碼。
這依賴于生成向量(例如公式3中的V?和V?),這些向量通過迭代綁定來擴展編碼空間。生成向量的相位決定了空間相位移動的速率,并設置了神經元感受野的頻率(見圖2a、b)。較低的生成向量相位對應于較慢的移動,因此對應于較低的空間頻率。
當我們沿著二維空間移動時,激活在3D模塊內以三種不同的速度移動,這些速度相互之間呈120°角(見圖1d中的紫色箭頭)。這組三個速度在圖2a中以紅色三角形表示。與以往方法不同,以往方法中光柵模式是從獨立編碼的維度中產生的,而GC-VSA本質上在3D模塊內編碼了這些三元組。
為了在編碼中引入額外的結構,我們可以根據生成向量的相位對模塊進行排序和排列,將它們組織成一個沿方向和尺度維度的五維張量。方向是均勻分布的(盡管這可能與內嗅皮層中方向的實際生物學組織[3]不同),這使我們能夠在下一節中介紹旋轉操作。
GC-VSA中的旋轉操作
GC-VSA的結構化編碼使得一種新穎的VSA旋轉操作(?)成為可能,該操作對應于圍繞中心點旋轉圖像。這一操作可以被理解為沿旋轉軸(即共享相同尺度的環,如圖2b中所展示的)對模塊活動進行排列。為了獲得直觀的理解,可以想象將圖1a中立方體模塊的第一列的活動移動到第二列立方體中。除了離散排列之外,我們還可以在每個環(除了旋轉軸之外,所有具有相同索引的神經元)上與一個包含在期望角度處的局部活動團塊的向量 進行循環卷積:
其中,確保了循環卷積通過旋轉模塊的數量 進行歸一化。然而,需要注意的是,旋轉僅限于表示二維位置的向量,并且需要在每個環上對生成向量的相位進行足夠密集的采樣(在我們的旋轉實驗中,我們選擇。因此,旋轉僅限于靠近旋轉中心的位置,這是VSA空間中旋轉的一個常見限制,也出現在笛卡爾坐標和對數極坐標空間之間映射向量時[22]。
圖3展示了使用分數冪編碼(FPE)對向量進行編碼,并將其旋轉一個角度 旋轉操作也可以被反轉,我們可以解碼兩個向量之間甚至向量捆綁之間的角度。這是通過引入一個與公式5類似定義的旋轉解綁操作(??1)來實現的。然而,在這里,傅里葉變換不是按塊計算的,而是沿著每個旋轉軸的環進行計算。將結果張量沿著旋轉軸展平,可以得到兩個向量之間角度的讀出,如圖3c所示。
使用代碼本解碼向量
為了解碼高維向量,我們定義了一個可能向量的代碼本 C。對于類別編碼,代碼本由所有可能的類別編碼組成。對于連續值,我們使用連續變量的基向量,并通過在指定步長下使用分數冪編碼(FPE)對一系列值進行編碼(見上文)。讀出是通過測量目標向量 V 與代碼本中所有向量 (Ci) 之間的余弦相似度來計算的:
然后,我們最終通過獲取與目標向量 V最相似的代碼本向量的鍵值來獲得解碼值。
軟件
模擬是使用 Python 3.12、PyTorch(2.4.0)、NumPy(1.26.4)和 Matplotlib(3.8.4)實現的。文稿的語法和風格使用 Grammarly 和 OpenAI ChatGPT(4o)進行了修訂。
IV. 結果
本節通過實驗展示了GC-VSA在空間和抽象任務中的多功能性。這些任務包括:(1)路徑積分,(2)時空物體表征,以及(3)基于家族關系樹的符號計算,將高維計算(HDC)的符號能力與網格細胞的空間編碼能力相結合。
路徑積分
路徑積分(PI)是內嗅皮層(EC)的關鍵功能[1]、[4],它通過整合主要來自前庭系統(慣性測量)的速度輸入來追蹤動物的位置。在這里,我們使用帶有分數冪編碼(FPE)的GC-VSA來演示路徑積分(見公式3)。
我們使用公式3將二維起始位置 (x, y) 編碼為高維向量狀態 (S{x,y}(0)),然后通過一系列具有自相關性的隨機速度向量生成一條隨機軌跡(見圖4a中的藍色軌跡)。路徑積分通過重復綁定來累積速度更新[32]、[33],其中 根據公式3對每個時間步的位移進行編碼:
時空場景表征
網格細胞不僅限于表征二維空間位置[34]。我們展示了GC-VSA對帶有符號成分的時空場景進行編碼和查詢的能力,如圖4b所示。
實驗對一個包含五個物體的場景進行編碼,每個物體都有一個二維空間位置 (x, y) 和一個時間坐標 (t) 作為框架,并綁定到一個物體身份(例如,“蘋果”)。空間和時間特征使用分數冪編碼(FPE)進行編碼,而身份則由隨機生成的向量表示(每個模塊具有隨機相位偏移)。同一物體的特征被綁定在一起,而這些物體則被捆綁以形成場景向量:
這個向量可以作為場景表征或地圖的工作記憶。盡管GC-VSA支持這種在神經激活中的動態編碼,但更大的場景需要突觸記憶來實現可擴展性,例如自聯想記憶。
編碼后的場景可以通過解綁已知特征來檢索物體身份、位置或時間。例如,從場景向量中解綁“蘋果”可以分離出蘋果的位置和時間成分,同時也會帶有一些來自其他捆綁元素的噪聲。如果已知四個特征中的三個(例如,(x, y, t),則可以通過與代碼本的余弦相似度來解碼未知特征(例如,身份)。這種解碼的輸出可以被解釋為位置細胞或概念細胞,因為它們對特定位置或物體身份敏感。
然而,當已知特征較少時,由于需要讀出綁定特征時會產生巨大的組合空間,解碼變得具有挑戰性。例如,有的向量數量)個可能的時空位置,這些位置無法再通過預先計算的代碼本向量高效覆蓋。
為了解決這一挑戰,我們采用了一個共振器網絡[22]、[35]、[36],用于迭代分解綁定向量。共振器的構建方式與之前的研究[22]相同,但使用了GC-VSA而不是FHRR。共振器網絡通過反復放大一致的特征并抑制不一致的特征來逐步完善初始估計,有效地“共振”到穩定解。如圖4c所示,共振器網絡在不到25次迭代中解碼了物體特征,從捆綁的場景中恢復了物體(例如,葡萄)的空間和時間成分。通過“解釋掉”每個元素[22]、[35]、[36],或者通過多頭共振器[22],可以順序解碼多個物體。這個實驗展示了GC-VSA在統一框架中整合空間和符號信息的能力。
空間-符號計算——樹上的類比推理
盡管網格細胞主要用于編碼物理空間,但有證據表明它們也代表抽象空間[9]、[10]、[12]。高維計算(HDC)[13]、[15]、[17]、[18]是為在神經系統中實現符號計算而設計的,這也包括樹和圖等數據結構[19]、[37]。因此,這里我們探索使用GC-VSA來表示樹,例如家族關系樹,受[10]的啟發。
我們構建了一個關系樹,其中節點代表家庭成員,邊通過綁定和排列操作[35]對關系進行編碼。圖5a中可視化的關系樹編碼如下:
得到的向量 對應于圖5c中任務的低維表示中綠色箭頭所展示的內容。一旦計算完成,就捕捉到了兩棵樹之間的結構轉換。將其應用于樹 中的一個已知節點(例如,Charles),可以檢索出其在樹 中的類比節點(例如,Harry)。
為了讀出結果,如圖5b所示,通過計算得到的向量與代碼本之間的余弦相似度,可以識別出最可能的匹配對象,即Harry。
V. 討論
本研究引入了一種向量代數——GC-VSA,它通過結合高維計算(HDC)原理和在內嗅皮層(EC)中觀察到的模塊化組織,彌合了空間計算和符號計算之間的差距。這一框架為網格細胞在空間和非空間任務中的功能提供了見解,并可能對計算神經科學和神經形態工程產生影響。
神經形態計算
由于高維計算(HDC)的可解釋性、魯棒性以及與并行、內存內處理架構的兼容性,它作為一種編碼框架在神經形態計算中獲得了關注[19]–[22]。
鑒于GC-VSA的結構化編碼特性,它非常適合神經形態實現。它利用了HDC的優勢,因為它具有模塊化、魯棒性和稀疏性。綁定和捆綁操作是模塊局部的,這使得其能夠實現并行和可擴展的實現。塊分布的網格細胞群體編碼在完全分布式和稀疏但低效的局部空間表示之間取得了平衡[21]、[39]。通過脈沖進行稀疏通信是實現神經形態硬件能效的關鍵特征之一。盡管GC-VSA中神經元的狀態不是稀疏的(余弦激活模式),但每個模塊中的單個脈沖足以大致讀出/通信并更新狀態。此外,與一維編碼相比,三維塊碼結構增強了稀疏性:神經元僅在特定的網格點激活,與基于光柵的感受野相比,降低了平均放電頻率。這與觀察結果一致,即在基于學習的方法中,稀疏性約束會生成類似網格的感受野,而當移除稀疏性約束時,會出現光柵模式[40]。
與現有VSA模型的關系
在傳統的VSA模型之一——傅里葉全息降維表示(FHRR)[17]中,符號和連續數字由相量向量表示。該模型已在早期的內嗅皮層模型中使用[16]。我們的方法通過引入每個元素的額外相位并將這些相位表示為塊中的空間相位[27],擴展了FHRR中的單相位相量向量組件[41]。
從理論代數的角度來看,我們模型中模塊化的正弦波活動向量的排列僅是一種實現特性。相比之下,二進制稀疏塊碼[27]每個塊有一個二進制激活,這使得狀態被量化。在這種編碼中,捆綁操作不會保持稀疏性,而分數綁定則會移除稀疏性和它們的二進制特性。文獻中已提出了替代的塊碼擴展[30]、[42]。在我們的模型中,每個三維模塊可以被視為一個具有3個相位和一個幅度的組件,這3個相位彼此之間不是獨立的,而是呈120°角[14]、[16],這提高了編碼的效率[14]、[16]、[43]、[44]。綁定操作(循環卷積)以及分數綁定在模塊內移動空間相位,類似于FHRR中的復數乘法,后者在元素內移動復數相位。
先前的研究還將實值VSA編碼(所謂的全息降維表示HRR)與內嗅皮層中的網格細胞活動聯系起來[14]。在這種編碼中,綁定操作是兩個向量的完整循環卷積。這使得綁定操作成本較高。相比之下,我們提出的GC-VSA將綁定操作分解為各個模塊,從而允許更高效的計算。GC-VSA中的大多數操作仍然是塊局部的,這展示了一種更具生物學合理性的機制,并且能夠實現高效的硬件實現。
我們還提出了對向量模塊的排列施加額外的結構,這在一定程度上能夠實現旋轉。這一特性超越了傳統的VSA,并且能夠實現空間計算,例如計算兩個向量之間的角度,以確定行走方向。理論上,尺度維度的結構也可以類似地使用,例如將注意力從精細尺度轉移到粗略空間尺度。盡管先前的方法提出了將不同類型的綁定操作應用于相同的VSA向量[37]、[45],但在這里,我們明確使用它來擴展代數屬性,即引入旋轉。
生物學合理性及其對神經科學的影響
我們提出的內嗅皮層-海馬結構(EHF)的機制模型將實驗觀察支持的內嗅皮層的模塊化假設與高維計算的新編碼方案結合起來。先前的研究已將VSA與網格細胞聯系起來[13]–[16]。這些模型通常在相似性核中表現出六邊形模式[15],而單個神經元的感受野則是正弦波光柵。相比之下,GC-VSA的三維模塊實現直接在單個細胞中表現出六邊形感受野,這更符合經典的連續吸引子網絡(CAN)模型,因為我們觀察到在路徑積分過程中移動的是激活團塊,而不是復數相位的移動。在CAN框架[1]、[4]中,每個網格細胞模塊被描述為一層神經元。該層的連接/拓撲結構被設計為維持一個可以根據頭部方向和速度信號移動的局部活動團塊。在具有周期性邊界條件的(扭曲的)環面拓撲[25]、[46]上移動的活動團塊產生了在單個神經元中觀察到的特征性六邊形感受野。在這里,我們證明了經過微小調整(特別是添加循環卷積綁定而不是僅進行路徑積分)的CAN自然具有VSA的代數屬性。需要注意的是,在這項工作中,我們專注于編碼,并沒有實現循環連接。可以很容易地使用霍普菲爾德學習規則構建一個吸引子網絡,即通過使用模塊內所有位置的模塊化外積形成一個自聯想記憶矩陣。
未來方向
我們目前的框架強調工作記憶,而不涉及突觸學習。未來的迭代可以整合機器學習或生物學上合理的學習機制,例如將異聯想連接引入海馬體CA1區[10]、[16]、[23]。強化學習和自監督范式可能使智能體能夠動態地學習空間和抽象地圖,而不是依賴于預先設定的突觸結構。
有趣的是,分數冪編碼(FPE)與變換器ransformer架構中使用的旋轉位置編碼(RoPE)[47]相似,因為兩者都利用復數值旋轉來編碼位置。未來的研究可以探索GC-VSA的結構化編碼是否能夠增強基于變換器的空間表征。
原文鏈接:https://arxiv.org/pdf/2503.08608
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.