Contextual Control of Hopfield Networks in a Hippocampal Model

海馬體模型中的霍普菲爾德網(wǎng)絡(luò)的情境控制

https://escholarship.org/content/qt1bj4d35q/qt1bj4d35q_noSplash_db9406697a8a0bc0ab9c7f0a0ae18353.pdf

https://hal.science/hal-04639128/document

摘要

執(zhí)行功能引導(dǎo)情景記憶以檢索對適應(yīng)性行為至關(guān)重要的信息。前額葉皮層通過解剖學(xué)上的投射——目標(biāo)為內(nèi)嗅皮層和CA1區(qū)域——影響海馬體的處理過程，從而實(shí)現(xiàn)這一功能。然而，大多數(shù)關(guān)于海馬體的計算模型忽略了這種認(rèn)知控制，要么完全忽視它，要么通過不切實(shí)際的直接連接到海馬體來實(shí)現(xiàn)。本文探討了在受海馬體啟發(fā)的自編碼器中，由現(xiàn)代霍普菲爾德網(wǎng)絡(luò)實(shí)現(xiàn)的情景記憶的上下文控制。我們的實(shí)驗(yàn)強(qiáng)調(diào)了前額葉傳入與記憶存儲位置之間的接近性對于情景記憶高效上下文調(diào)節(jié)的重要性，這對標(biāo)準(zhǔn)的海馬體處理模型提出了挑戰(zhàn)。這些發(fā)現(xiàn)不僅增進(jìn)了我們對高級認(rèn)知的理解，還為更具適應(yīng)性的機(jī)器學(xué)習(xí)算法提供了設(shè)計原則。

關(guān)鍵詞：情景記憶；認(rèn)知控制；海馬體；前額葉皮層；現(xiàn)代霍普菲爾德網(wǎng)絡(luò)；計算神經(jīng)科學(xué)

引言

高效的行為指導(dǎo)依賴于對與當(dāng)前情境相關(guān)記憶的選擇性回憶。這一過程受到上下文信息和感官信息動態(tài)交互的復(fù)雜影響。上下文信息不僅包含超出即時感知的內(nèi)部表征，還在預(yù)測未來獎勵和狀態(tài)中起到關(guān)鍵作用。它包括時間事件序列、空間整合以及總體目標(biāo)。盡管大量研究聚焦于刺激驅(qū)動的記憶檢索，但情景記憶回憶受上下文因素調(diào)節(jié)的機(jī)制仍未得到充分探索。理解這些機(jī)制不僅對推進(jìn)情景記憶理論至關(guān)重要，還對開發(fā)能夠靈活應(yīng)對多樣化時空情境的機(jī)器學(xué)習(xí)算法具有重要意義。

前額葉皮層被認(rèn)為在引導(dǎo)海馬體中相關(guān)記憶的回憶中起著重要作用（Eichenbaum, 2017）。然而，在被稱為標(biāo)準(zhǔn)模型（Nadel & Moscovitch, 1997）或標(biāo)準(zhǔn)框架（Cheng, 2013）的理論中，海馬體中的情景記憶存儲在一個名為CA3的區(qū)域，而該區(qū)域缺乏從前額葉皮層直接連接（Andrianova et al., 2023）。這引發(fā)了一個基本問題：前額葉皮層如何影響CA3中的記憶檢索？在一項(xiàng)建模研究中（Pilly, Howard, & Bhattacharyya, 2018），上下文信息被傳遞到齒狀回以調(diào)節(jié)回憶。然而，這與前額葉投射被認(rèn)為終止于內(nèi)嗅皮層的觀點(diǎn)相矛盾（Eichenbaum, 2017），并且可能通過丘腦到達(dá)下游的CA1層（Anderson, Bunce, & Barbas, 2016）。本文旨在研究前額葉信號如何通過內(nèi)嗅皮層或CA1調(diào)節(jié)記憶。為此，我們使用了一種自編碼器人工神經(jīng)網(wǎng)絡(luò)來模擬內(nèi)嗅-海馬回路。一個代表前額葉皮層的層將上下文信息傳遞到自編碼器的某一層（即前額葉傳入的目標(biāo)層）?，F(xiàn)代霍普菲爾德網(wǎng)絡(luò)（Ramsauer et al., 2020）被嵌入海馬體的一個層中，用于通過結(jié)合感官信息和上下文信息來回憶該層的最接近狀態(tài)，從而模擬情景記憶的存儲。基于霍普菲爾德記憶相對于目標(biāo)層的位置，研究了性能和上下文表征的表現(xiàn)。由于結(jié)果挑戰(zhàn)了當(dāng)前關(guān)于情景記憶存儲的觀點(diǎn)，最后一節(jié)討論了這些發(fā)現(xiàn)對標(biāo)準(zhǔn)模型的意義。

方法
任務(wù)

模型
該模型由一個自編碼器、一個現(xiàn)代霍普菲爾德聯(lián)想記憶和一個前額葉層組成（圖2）。

自編碼器是一個多層全連接神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)遵循內(nèi)側(cè)顳葉的解剖學(xué)布局。輸入首先被發(fā)送到內(nèi)嗅皮層（EC），然后通過三突觸通路（ECII → DG → CA3 → CA1）和單突觸通路（ECIII → CA1）流向CA1。信息從CA1傳遞到ECV，然后流向輸出層。隱藏層使用ReLU作為激活函數(shù)，輸出層使用Sigmoid（表1）。每個區(qū)域的神經(jīng)元數(shù)量根據(jù)Cutsuridis、Graham、Cobb和Vida（2019）中檢索到的模擬大鼠區(qū)域的神經(jīng)元數(shù)量設(shè)定，并按比例因子
a=0.003縮小。

模擬細(xì)節(jié)

預(yù)訓(xùn)練階段在每個周期中，所有任務(wù)-上下文組合以隨機(jī)順序呈現(xiàn)一次。學(xué)習(xí)是在線進(jìn)行的，因?yàn)橛?xùn)練樣本是一個接一個地呈現(xiàn)的。類似于最近提出的海馬體自編碼器模型（Santos-Pata等，2021），網(wǎng)絡(luò)學(xué)習(xí)將其輸入輸出出來，即兩個輸入對象模式和獎勵模式，以及上下文向量（除非另有說明）。這是通過在預(yù)訓(xùn)練階段使用反向傳播更新前饋?zhàn)跃幋a器權(quán)重來實(shí)現(xiàn)的。需要最小化的損失函數(shù)是輸入和輸出之間的均方誤差。

獲取階段隨后，在獲取階段，自編碼器的權(quán)重被固定，記憶存儲在聯(lián)想記憶中。為了評估快速聯(lián)想記憶的需求，使用了兩種訓(xùn)練方案：單次學(xué)習(xí)（one-shot）和多次學(xué)習(xí)（many-shot）。在多次學(xué)習(xí)方案中，預(yù)訓(xùn)練持續(xù)20個周期，包含50個任務(wù)。然后，相同的50個任務(wù)被存儲到記憶中，并用于測試性能。相比之下，在單次學(xué)習(xí)方案（類似于情景記憶）中，預(yù)訓(xùn)練僅持續(xù)一個周期，但包含1000個任務(wù)，因此網(wǎng)絡(luò)的更新次數(shù)與多次學(xué)習(xí)方案相同。在單次學(xué)習(xí)方案的獲取階段，網(wǎng)絡(luò)被呈現(xiàn)50個新任務(wù)以進(jìn)行記憶獲取，然后用于測試性能。因此，在單次學(xué)習(xí)方案中，自編碼器權(quán)重不會通過獲取/測試任務(wù)進(jìn)行訓(xùn)練。

測試階段在預(yù)訓(xùn)練和訓(xùn)練階段，獎勵模式作為輸入提供給網(wǎng)絡(luò)，但在測試階段被屏蔽（即第三個輸入槽位的值被設(shè)置為0）。在測試階段，當(dāng)輸出的第三個槽位中存儲的模式比非獎勵模式更接近獎勵模式時（通過均方誤差評估），該試驗(yàn)被視為正確（圖1）。因此，隨機(jī)網(wǎng)絡(luò)或沒有上下文目標(biāo)的網(wǎng)絡(luò)的預(yù)期性能為50%，并作為基線。學(xué)習(xí)率是一個敏感參數(shù)，因?yàn)槠渥罴阎翟诒狙芯繙y試的不同條件下會有所不同。因此，對于每個測試條件，學(xué)習(xí)率被設(shè)置為在隨機(jī)搜索中表現(xiàn)最好的五個學(xué)習(xí)率的平均值。這一純隨機(jī)優(yōu)化過程在每種條件下評估了模型的性能，共測試了300個隨機(jī)學(xué)習(xí)率值。在此過程之后，針對每種條件的最佳學(xué)習(xí)率進(jìn)行了50次不同的模擬。

結(jié)果

行為表現(xiàn)

首先評估了聯(lián)想記憶的必要性，以確保任務(wù)需要情景處理。在多次學(xué)習(xí)（many-shot）方案中，單尾t檢驗(yàn)比較了CA3中帶有霍普菲爾德記憶的性能（M = 65.06%正確率，SD = 7.85）和沒有現(xiàn)代霍普菲爾德網(wǎng)絡(luò)的性能（M = 70.64%，SD = 4.05），結(jié)果顯示模型總體上能夠完成任務(wù)，但聯(lián)想記憶在這種訓(xùn)練方案下略微損害了性能（t(49) = ?4.97，p < .001）。另一方面，在類似于情景記憶的單次學(xué)習(xí)（one-shot）方案中，CA3記憶的結(jié)果（M = 75.06%，SD = 4.64）和沒有現(xiàn)代霍普菲爾德網(wǎng)絡(luò)的結(jié)果（M = 49.54%，SD = 3.19）表明，當(dāng)測試任務(wù)未用于預(yù)訓(xùn)練自編碼器時，記憶是必要的（單尾t(49) = 34.89，p < .001）。這證明了現(xiàn)代霍普菲爾德網(wǎng)絡(luò)的編碼和回憶操作可以將上下文納入考慮。在這些條件下，CA3直接接收上下文信息。為了測試模型是否能按照Eichenbaum（2017）的解剖學(xué)綜述執(zhí)行任務(wù)，上下文信息被提供給接收前額葉投射的內(nèi)嗅層（生物學(xué)大腦中的情況）。內(nèi)嗅目標(biāo)的性能（M = 51.06%，SD = 3.05）和CA3目標(biāo)的性能（M = 75.06%，SD = 4.64）表明，當(dāng)上下文信息提供給內(nèi)嗅皮層時，模型的表現(xiàn)顯著下降（單尾t(49) = 28.2，p < .001），且?guī)缀踅咏S機(jī)水平（圖3）。

當(dāng)齒狀回（dentate gyrus）是記憶增強(qiáng)層時，內(nèi)嗅皮層為目標(biāo)時的性能（M = 70.68%，SD = 4.49）和齒狀回直接為目標(biāo)時的性能（M = 71.44%，SD = 4.7）表明，針對內(nèi)嗅層并不會顯著損害性能（單尾t(49) = 1.12，p = .13），如圖3所示。類似地，當(dāng)聯(lián)想記憶位于CA1時，模型在上下文信息提供給上游層時表現(xiàn)良好（圖3）。當(dāng)內(nèi)嗅皮層的淺層為目標(biāo)且記憶位于CA1時，有單突觸通路的性能（M = 70.14%，SD = 4.71）和無單突觸通路的性能（M = 56.28%，SD = 4.05）表明，該通路對于將上下文信息傳遞到記憶是必要的（單尾t(49) = 17.55，p < .001），如圖3所示。通過結(jié)合齒狀回、CA3或CA1（為簡化起見，不包括單突觸通路）作為記憶增強(qiáng)層的結(jié)果，可以根據(jù)目標(biāo)層相對于記憶層的位置來評估性能。這種分析揭示了針對記憶下游區(qū)域的目標(biāo)沒有效果（圖4）。計算了目標(biāo)的相對位置（限制為小于或等于0的相對位置）與性能之間的Spearman秩相關(guān)系數(shù)，結(jié)果顯示兩者之間存在正相關(guān)關(guān)系，r(898) = 0.78，p < .001。此外，進(jìn)行了雙因素方差分析（ANOVA）以評估相對位置（小于或等于0）和上下文重建對性能的交互作用。在沒有上下文重建的情況下，僅在自編碼器損失中考慮感官（對象）輸入。結(jié)果顯示，相對位置的主效應(yīng)顯著（F(3,899) = 545.59，p < .001），上下文重建的主效應(yīng)顯著（F(1,899) = 24.29，p < .001），且相對位置與上下文重建之間存在顯著交互作用（F(3,899) = 9.06，p < .001）。圖4確實(shí)顯示，當(dāng)目標(biāo)越來越遠(yuǎn)離記憶的上游時，性能下降的陡峭程度在模型僅嘗試重建感官輸入時大于在預(yù)訓(xùn)練階段還嘗試重建上下文信息時的情況。

上下文的神經(jīng)編碼

為了理解模型在執(zhí)行任務(wù)時成功或失敗的原因，可以分析不同層中使用的表征。首先，使用具有CA3記憶和內(nèi)嗅目標(biāo)的模型。在預(yù)訓(xùn)練和獲取階段之后，主成分投影顯示，目標(biāo)ECII群體中的上下文被很好地分離（圖5），但這種分離在下游層CA3中減弱（圖6），以至于CA3中的聯(lián)想記憶無法根據(jù)上下文區(qū)分記憶（未顯示）。因此，下游層無法獲知上下文以正確回答。

一種可能性是某些神經(jīng)元特別受到上下文身份的調(diào)制，并在主成分空間中支持分離。為了找到這樣的上下文細(xì)胞，使用配對t檢驗(yàn)評估每個細(xì)胞的活動是否依賴于上下文（更強(qiáng)或更弱），將50個測試任務(wù)作為樣本。p < .001的神經(jīng)元被視為上下文細(xì)胞。該分析顯示，在該模型中，68%的ECII神經(jīng)元是上下文細(xì)胞（圖5），并且這一比例在后續(xù)群體中減少（例如，圖6中45%的CA3細(xì)胞）。

上下文調(diào)節(jié)細(xì)胞的存在很可能有助于模型完成任務(wù)。為確認(rèn)上下文細(xì)胞確實(shí)對行為表現(xiàn)和活動的上下文分離具有因果影響，研究進(jìn)行了失活實(shí)驗(yàn)。由于當(dāng)前額葉信息很難在內(nèi)嗅皮層被靶向時傳遞至 CA3，關(guān)聯(lián)記憶被置于齒狀回（DG）中。在測試階段后，研究在 DG 中識別出了 1664 個上下文細(xì)胞（占 46%）。雖然這一比例相比 CA3 看似不高，但由于 DG 的體積大于 CA3，這代表的神經(jīng)元數(shù)量更多，足以在主成分空間中比 CA3 更好地區(qū)分上下文（未展示）。在識別后，研究在額外的測試階段將這些 DG 的上下文細(xì)胞活動強(qiáng)制設(shè)為 0（失活），覆蓋了全部 50 個測試任務(wù)。采用這一方案后，與隨機(jī)選擇 1664 個神經(jīng)元失活（圖 8）相比，上下文在主成分空間中不再分離（圖 7）。此外，雖然隨機(jī)失活時正確率為 72%（與圖 3 的結(jié)果相近），但上下文細(xì)胞失活后，表現(xiàn)下降至 52%。

Peters等人（2013）引入了一項(xiàng)需要單次學(xué)習(xí)情景記憶的任務(wù)，并在本研究中用于探討上下文引導(dǎo)的檢索。盡管獎勵是通過第三個刺激槽位人為編碼的，以匹配Pilly等人（2018）的編碼方案，但該任務(wù)使我們能夠在一個簡單的海馬體啟發(fā)網(wǎng)絡(luò)中評估不同解剖配置的性能。本文的行為結(jié)果表明，現(xiàn)代霍普菲爾德網(wǎng)絡(luò)能夠編碼和檢索上下文記憶。快速聯(lián)想記憶在刺激僅呈現(xiàn)一次時尤為必要。然而，在多次學(xué)習(xí)方案中，將記憶與CA3配對會損害性能。也許當(dāng)訓(xùn)練樣本多次呈現(xiàn)時（如多次學(xué)習(xí)方案），網(wǎng)絡(luò)學(xué)會了泛化并忽略上下文信息。另一種解釋是，這種訓(xùn)練方案發(fā)展出的網(wǎng)絡(luò)比單次學(xué)習(xí)方案更傾向于在下游關(guān)聯(lián)對象表征，因此在測試期間被屏蔽時，CA3記憶較難回憶起獎勵模式。

此外，研究發(fā)現(xiàn)，上下文信息目標(biāo)的位置是正確執(zhí)行任務(wù)的關(guān)鍵因素。聯(lián)想記憶的位置同樣重要。事實(shí)上，性能似乎受到這兩個元素之間距離的支配，目標(biāo)必須靠近聯(lián)想記憶層，但不能位于其下游。因此，遵循海馬體處理標(biāo)準(zhǔn)模型以及Eichenbaum（2017）關(guān)于前額葉-海馬相互作用解剖學(xué)綜述的模型表現(xiàn)不佳。這是由于CA3中的聯(lián)想記憶距離到達(dá)內(nèi)嗅皮層淺層的前額葉投射過遠(yuǎn)。盡管在解剖學(xué)上，內(nèi)嗅皮層與CA3之間存在直接連接，這可能會潛在提升性能，但在標(biāo)準(zhǔn)模型中，這種連接在編碼階段并未激活。這些結(jié)果與Cheng（2013）提出的證據(jù)一起，挑戰(zhàn)了“記憶存儲在CA3的復(fù)發(fā)性側(cè)支中”的傳統(tǒng)觀點(diǎn)。

一些替代模型在執(zhí)行任務(wù)時表現(xiàn)得更好。例如，聯(lián)想記憶位于直接被前額葉上下文目標(biāo)化的層中的模型表現(xiàn)優(yōu)異。此外，聯(lián)想記憶位于齒狀回（DG）和CA1中的模型在以內(nèi)嗅皮層為目標(biāo)時表現(xiàn)良好。這是因?yàn)镈G和CA1分別通過三突觸通路和單突觸通路與內(nèi)嗅皮層相連。然而，CA1不太可能是唯一的記憶存儲位置，因?yàn)镋CII發(fā)送的信息缺乏序列學(xué)習(xí)所需的時序特性（Hafting等，2008），而三突觸通路已知參與記憶過程。另一種假設(shè)是，DG在記憶存儲中的作用被低估了，新模型可以利用DG來存儲和檢索上下文記憶（Chateau-Laurent，2024）。

另一個影響性能的因素是網(wǎng)絡(luò)是否在預(yù)訓(xùn)練階段學(xué)習(xí)重建上下文。在重建誤差中考慮上下文的模型表現(xiàn)更好。這并不令人意外，因?yàn)榉聪騻鞑龠M(jìn)上下文信息在更多層之間的傳遞，以在輸出層重建上下文。由于有假說認(rèn)為海馬體學(xué)會自編碼其內(nèi)嗅輸入（Santos-Pata等，2021；Ketz等，2013），并且內(nèi)嗅皮層既從前額葉皮層接收輸入又向其投射，因此可以合理假設(shè)上下文重建是一個訓(xùn)練目標(biāo)。旨在以依賴上下文的方式利用聯(lián)想記憶的機(jī)器學(xué)習(xí)模型應(yīng)充分利用這些結(jié)果。更具體地說，上下文線索與記憶模塊之間的架構(gòu)距離應(yīng)盡可能小，并且目標(biāo)函數(shù)應(yīng)在可能的情況下包含線索重建項(xiàng)。

除了行為表現(xiàn)外，還分析了中間表征。研究發(fā)現(xiàn)，該模型能夠顯式編碼上下文，這從主成分空間中上下文的分離以及上下文調(diào)制細(xì)胞的發(fā)現(xiàn)中可以看出。最重要的是，這些上下文細(xì)胞對于區(qū)分上下文并正確執(zhí)行任務(wù)至關(guān)重要。為了使現(xiàn)代霍普菲爾德網(wǎng)絡(luò)能夠上下文化地編碼和回憶記憶，上下文信息必須被編碼為網(wǎng)絡(luò)的輸入。這些上下文神經(jīng)元讓人聯(lián)想到在海馬體中發(fā)現(xiàn)的“分裂細(xì)胞”（splitter cells）（Wood等，2000；Frank等，2000；Duvelle等，2023），它們根據(jù)過去或未來的軌跡分割位置表征。本研究中發(fā)現(xiàn)的上下文細(xì)胞可以被視為沒有明確時空成分的分裂細(xì)胞。未來的研究可以通過更復(fù)雜的上下文調(diào)制和導(dǎo)航任務(wù)，進(jìn)一步探索受控情景記憶，從而為分裂細(xì)胞提供更全面的解釋。此外，還需要更深入地探討DG在記憶存儲中的潛在作用。

為了簡單性和認(rèn)識論上的簡潔性，本文使用的網(wǎng)絡(luò)是無約束的前饋網(wǎng)絡(luò)和現(xiàn)代霍普菲爾德網(wǎng)絡(luò)。然而，可以引入生物學(xué)合理性更強(qiáng)的元素，如稀疏性約束和更詳細(xì)的聯(lián)想記憶機(jī)制，以評估在更接近生物海馬體的網(wǎng)絡(luò)中是否能得出相同的結(jié)果。

原文鏈接： https://escholarship.org/content/qt1bj4d35q/qt1bj4d35q_noSplash_db9406697a8a0bc0ab9c7f0a0ae18353.pdf