A Review of Findings from Neuroscience and Cognitive Psychology as Possible Inspiration for the Path to Artificial General Intelligence

神經科學和認知心理學的發現回顧：作為通往人工通用智能之路的可能啟示

https://arxiv.org/abs/2401.10904

1. Introduction

2. The Biological Neuron

- 2.1. The Structure of the Neuron

- 2.2. The Structure of the Chemical Synapse

- 2.3. The Formation of the Action Potential

- 2.4. Excitation and Inhibition

- 2.5. The Complexity of the Brain

3. Neuron Models

- 3.1. Hodgkin-Huxley Model

- 3.2. Izhikevich Model

- 3.3. Integrate and Fire (IF) and Leaky Integrate and Fire (LIF) Neurons

- 3.4. Spike Frequency Adaptation

- 3.5. The Compartmental Neuron

4. Spiking Neural Networks

- 4.1. Neural Coding

- 4.1.1. Rate Coding

- 4.1.2. Temporal Coding

- 4.1.3. Burst Coding

- 4.1.4. Comparison

- 4.2. The Computational Power of SNNs

- 4.3. Discussion

5. Learning Rules

- 5.1. Hebbian Learning

- 5.2. Extensions of Hebb’s Rule

- 5.2.1. Oja’s Rule

- 5.2.2. Sanger’s Rule

- 5.2.3. The ABCD Rule

- 5.2.4. BCM Rule

- 5.3. Spike-Timing Dependent Plasticity

- 5.4. Other Learning Algorithms

6. Neuronal Ensembles (Cell Assemblies)

7. Cell Assembly Models

8. Dynamic Models

- 8.1. Wilson-Cowan Model

- 8.2. Reservoir Computing

- 8.2.1. Echo State Networks

- 8.2.2. Liquid State Machines

- 8.2.3. Other Issues and Models

- 8.3. Attractor-Based Models and Other Dynamic Models of the Brain

9. Brain Anatomy

- 9.1. The General Structure of the Brain

- 9.2. The Cortical Lobes

- 9.3. The Visual Cortex

- 9.4. The Function of the Cortical Layers

- 9.5. The Language Areas

- 9.6. The Memory Areas

- 9.7. Grid Cells and Place Cells

- 9.8. The Decision-Making Areas

- 9.9. The Homogeneous Cortical Columns

10. Neuroscience Models

- 10.1. Hierarchical Temporal Memory

- 10.1.1. The HTM Neuron Model

- 10.1.2. Spatial Pooling Algorithm

- 10.1.3. Temporal Memory Algorithm

- 10.2. “A Thousand Brains” Theory

- 10.3. Other Models

11. Representations in the Brain

- 11.1. Numbers

- 11.2. Decisions

- 11.3. Actions

12. Vector Symbolic Architectures (Hyperdimensional Computing)

- 12.1. Fundamental Operations

- 12.2. Representation Methods

- 12.2.1. Tensor Product Representation

- 12.2.2. Holographic Reduced Representation

- 12.2.3. Other Representations

- 12.3. Analogical Reasoning

- 12.4. Representing Compositional Structures

- 12.4.1. Representing Symbols

- 12.4.2. Representing Numeric Values

- 12.4.3. Representing Sequences

- 12.4.4. Representing Graphs

13. The Neural Binding Problem

- 13.1. Variants of the Neural Binding Problem

- 13.2. Variable Binding

14. Cognitive Models

- 14.1. Global Workspace Theory

- 14.2. Conceptual Spaces

15. Categorization Models

- 15.1. Adaptive Resonance Theory (ART)

- 15.2. The Generalized Context Model (GCM)

- 15.3. ALCOVE

- 15.4. RULEX

- 15.5. ATRIUM

- 15.6. COVIS

- 15.7. SUSTAIN

16. Cognitive Architectures

- 16.1. ACT-R

- 16.1.1. General Architecture

- 16.1.2. Decision Making

- 16.1.3. Learning

- 16.2. SOAR

- 16.2.1. The Problem-Space Computational Model

- 16.2.2. General Architecture

- 16.2.3. The Spatial-Visual System

- 16.2.4. Working Memory

- 16.2.5. Semantic Memory

- 16.2.6. Episodic Memory

- 16.2.7. Producing Deliberate Behavior

- 16.2.8. Impasses

- 16.2.9. Chunking

- 16.2.10. Reinforcement Learning

- 16.3. The Standard Model of the Mind

- 16.4. Semantic Pointer Architecture

- 16.4.1. Using a VSA for Representation

- 16.4.2. The Structure of SPA

- 16.4.3. SPAUN

- 16.5. NEF (Neural Engineering Framework)

- 16.5.1. Representation

- 16.5.2. Transformations

- 16.5.3. Dynamics

- 16.6. NENGO (Neural Engineering Object)

17. Discussion: Challenges for AGI Systems

- 17.1. Dual-Process Theory

- 17.2. Jackendoff’s Challenges

- 17.3. Stability-Plasticity Dilemma

- 17.4. Symbol Grounding Problem

18. Conclusions

Abbreviations

References

摘要（上篇5萬字，下篇4.6萬字）

這篇綜述旨在通過研究神經科學和認知心理學方法，為人工通用智能的發展提供潛在的啟示。盡管深度學習模型在各個領域取得了令人印象深刻的進展，但它們在抽象推理和因果理解方面仍然存在不足。為了超越數據驅動的局限性并以更接近人類智能的方式支持決策制定，這些能力最終應該被整合到人工智能系統中。這項工作是一項縱向綜述，試圖對大腦功能進行廣泛的探索，從較低層次的生物神經元、尖峰神經網絡和神經元集合，到較高級別的概念，如大腦解剖學、向量符號架構、認知和分類模型以及認知架構。希望這些概念可以為人工通用智能的解決方案提供見解。

關鍵詞：尖峰神經元、細胞集合、神經科學、分類、認知架構、人工通用智能

1. 引言

人工智能（AI）近年來取得了顯著進展，主要得益于深度學習模型的出現。這些模型在解決以往難以解決的復雜問題方面表現出了高效性，特別是在處理圖像、聲音和語言等主要處理領域。此外，深度學習通過發展生成模型，在內容生成方面取得了重大突破，使得文本生成、問答和圖像合成成為可能。

深度學習模型的成功在各種應用中都有所體現。在圖像處理中，這些模型在物體檢測、圖像識別和語義分割等任務中取得了顯著成果，往往在特定場景中超過了人類水平的表現。類似地，在聲音處理領域，深度學習算法展示了在語音識別和音頻合成方面的能力，推動了虛擬助手的發展。此外，在自然語言處理領域，深度學習技術使得機器能夠處理和生成人類語言，推動了機器翻譯、情感分析和文本摘要等方面的進步。

生成模型代表了AI的重大進步，能夠跨越不同形式生成新穎且逼真的內容。例如，基于文本的對話代理展示了生成一致且與上下文相關的回應的能力。另一方面，圖像生成模型展示了根據文本描述生成高質量圖像的能力。這些進步標志著AI系統表達能力的顯著提升，以及它們在與人類進行創造性互動方面的潛力。

盡管取得了顯著成就，深度學習模型存在固有限制，這些限制阻礙了它們朝向人工通用智能（AGI）的進展。當面對抽象推理和因果關系識別任務時，它們的缺陷變得明顯。雖然深度學習方法在模式識別和數據驅動任務方面表現突出，但在理解導致觀察到的模式的基礎因果機制時往往困難重重。這種限制在要求高級抽象推理的任務中尤為明顯，人類智能在這方面明顯優于AI。

深度學習模型的另一個重大缺點是它們需要大量的訓練數據才能實現良好的性能，這使得它們在數據稀缺、獲取成本高或根本無法獲取數據的情況下不太實用。相比之下，人類具備通過抽象推理、理解因果關系和利用簡潔規則有效推廣知識的能力。

實現人工通用智能（AGI）的道路在于解決這些限制。將推理和因果關系集成到AI系統中將是關鍵，使它們能夠超越數據驅動的任務，做出類似人類推理能力的明智決策和推斷。

此外，知識的積累在追求AGI過程中至關重要。除了從大量標記數據中學習外，AI系統還應具備類似人類常識的知識積累能力。這涉及到融入關于世界的背景知識、情境理解能力，以及基于先前經驗和推理做出決策的能力。通過這種方式，這些系統可以更接近人類的能力，彌補不完整事實或在意外情況下行動的能力。

在本文綜述中，我們將概述一些有潛力推動AGI發展的研究方向。盡管深度學習目前主導了AI研究領域，但重要的是要認識到一些可能未受到足夠關注的領域。盡管這些領域似乎不在AI社區的關注焦點之內，但它們仍在積極進行研究。

此外，我們應強調將AI研究與神經科學和認知心理學領域相連接的重要性。從這些學科中汲取靈感可以提供新的見解和機會，使我們更接近實現AGI的目標。

然而，即使在神經科學和認知心理學的領域中，也存在明顯的鴻溝，即微觀神經功能細節與人類認知中觀察到的宏觀現象之間的差距。在一個極端，我們對單個神經元的內部運作和不同腦區功能有相當深入的了解。另一方面，認知心理學已經識別和描述了支持記憶、注意力和決策等復雜心理過程的高級機制。然而，一個重要問題仍然存在：神經元活動與高階認知功能出現之間的聯系仍然知之甚少。

我們的重點是描述大腦和心智功能的特征，涵蓋了從低層基本原理到高級認知操作的范圍。我們主要關注描述理論原理，而不是探索實際應用和計算優化，因為這些常常會掩蓋基礎研究的重要性。

需要注意的是，我們的目標不是提供每個概念的詳盡描述，因為這個領域廣闊而多樣化。鼓勵感興趣的讀者進一步深入探索這些方面。許多調查報告往往局限于特定領域或子領域。我們的意圖是通過涉及更廣泛的問題譜系，并嘗試提供更全面的視角，來更全面地了解人類大腦及可能實現AGI的復雜旅程。

2. 生物神經元

我們將從描述單個生物神經元的行為開始，這是傳遞和處理信息的神經系統的基本構建模塊。在第3節中，我們將介紹在這方面開發的一些計算模型。

2.1. 神經元的結構

神經元的主要組成部分包括細胞體、樹突和軸突（圖2.1）。細胞體，也稱為胞體，是神經元的中心部分。細胞體內含有細胞核，其中包含必要的遺傳物質，支持神經元的功能，以及各種細胞器，支持其代謝過程。

樹突類似于樹枝，從細胞體延伸出來，作為神經元的輸入接收器。這些樹突延伸接收來自其他神經元的電脈沖信號。

神經元內的關鍵決策點是軸突初段，位于軸突從細胞體發出的位置。在這里，來自樹突的電輸入被集成。如果這些輸入的累積強度超過了某個閾值，將觸發電沖動的啟動，通常稱為動作電位或尖峰。動作電位是一種“全有或全無”的事件，意味著它要么以完全強度發生，要么根本不發生。一旦在軸突初段生成了動作電位，它就變得不可逆，并沿著軸突單向傳播。

軸突是一種長而像電纜的結構，負責將動作電位信號傳遞給其他神經元，通常跨越相當大的距離。這個過程確保了神經系統內部信息的傳播。在軸突的末端，有專門的結構稱為軸突末端按鈕（或小結），它們將軸突信號傳遞給相鄰神經元的樹突。這種傳輸通常通過化學突觸實現，軸突末端釋放神經遞質，進而在接收神經元的樹突中引發電信號，繼續神經通訊鏈。

重要的是要提到，這是關于神經信號傳遞的典型描述，但在大腦中存在神經元結構和連接類型的變化。例如，作為例外，有些神經元具有多個軸突或完全缺乏軸突，而有些突觸是電性而非化學性的。

一般來說，可以將神經元視為一種探測器，通過評估其被連接檢測的特定條件來對特定刺激做出反應。就像電子系統中的探測器一樣，神經元識別并響應特定的輸入模式。數學建模中的神經元激活（“全有或全無”響應）與二進制探測器的功能緊密相似，需要達到一定的輸入閾值才能觸發響應。

神經元是單個細胞，產生并傳遞電信號，而神經是由結締組織圍繞著的許多軸突束，作為在身體各部分和中樞神經系統之間傳遞這些信號的通道。

將神經元與其他類型的細胞進行比較，我們可以提到神經元是體內壽命最長的細胞之一。許多神經元在人的一生中存在并且通常不會被替換。相比之下，體內大多數其他細胞的壽命有限，通過細胞分裂不斷被替換。此外，神經元不通過細胞分裂進行再生。因此，它們的再生能力有限；如果它們受損或死亡，通常不會通過細胞分裂而被替換，而是通過神經可塑性（調整神經元之間連接的結構）或其他神經元承擔部分失去功能的過程。雖然存在新神經元的產生（神經發生），但其程度有限。

此外，神經元具有高代謝和能量需求，這是由于它們持續的信號活動以及維持跨其細胞膜的離子梯度所致，如下文所述。平均而言，大腦消耗了人體總能量的約20%，盡管它僅占總體重的約2%。

2.2. 化學突觸的結構

接下來我們將描述化學突觸的基本結構和運作方式（圖2.2）。突觸是神經元之間通信發生的微觀連接點。它充當了從一個神經元傳遞沖動到另一個神經元的橋梁。

傳遞神經元被稱為前突觸神經元，接收神經元被稱為后突觸神經元，它們之間由稱為突觸間隙的小間隙分隔開來。當動作電位到達前突觸神經元軸突的末梢按鈕時，它會觸發從特殊結構稱為突觸小泡中釋放神經遞質。釋放的神經遞質會擴散過突觸間隙。在后突觸神經元膜上，存在專門設計用于與神經遞質結合的受體位點。這些受體位點類似于鎖，而神經遞質則起到鑰匙的作用。

當神經遞質與其受體結合時，它們會觸發后突觸神經元膜電位的變化。這種變化可以是興奮性的，使后突觸神經元更有可能產生動作電位，或者是抑制性的，使其 less可能。后突觸神經元接收到的這些興奮性和抑制性信號的綜合效應決定了它是否會產生自己的動作電位，并繼續沿神經途徑傳遞神經沖動。

神經遞質釋放到突觸間隙后，已經完成了從一個神經元到另一個神經元的信號傳遞，它們會被清除以終止信號并防止持續刺激。神經遞質再攝取泵專門用于重新吸收它們回到釋放它們的前突觸神經元中。

2.3. 動作電位的形成

最后，我們將簡要描述神經元中動作電位（AP）的形成過程（圖2.3）。

在神經元的靜息和放電過程中，電力和化學力之間的相互作用起著關鍵作用，涉及多種類型的離子，本文將僅關注鈉（Na+）和鉀（K+）離子的作用。

在神經元的靜息狀態下，大部分Na+離子位于細胞外，而大部分K+離子則位于細胞內。細胞外的Na+濃度約為細胞內的10倍，而細胞內的K+濃度約為細胞外的25倍（Henley, 2021）。這種濃度不平衡（或梯度）產生了強烈的擴散力，使離子傾向于形成更均勻的分布。然而，擴散力受到電力的抵消。當神經元處于靜息狀態時，電力和化學（擴散）力彼此抵消達到平衡（O’Reilly et al., 2012）。這就是為什么神經元的靜息膜電位約為-70 mV（圖2.3中的狀態1），而不是零。

當神經元接收到傳入信號時，Na+離子通過配體門控Na+通道進入細胞。這些通道在特定神經遞質結合后打開。正離子的流入導致膜電位正向變化。如果膜電位保持在激活閾值以下，稱為分級電位（圖2.3中的階段2），神經元不會產生動作電位。隨后，神經元膜電位主要由正離子（如K+）的擴散離開細胞直到達到平衡，返回其靜息狀態。

然而，如果膜電位超過激活閾值，大約為-55 mV，這將觸發電壓門控Na+通道的打開。這些通道僅在細胞膜電位（電壓）發生變化時才會打開。因此，Na+離子迅速流入細胞，使細胞膜的電荷反轉。這個過程稱為去極化（圖2.3中的階段3），并且它引發了動作電位的生成。去極化沿著細胞膜傳播，促使電信號在軸突上傳輸。因此，膜電位達到了正值，大約為30-40 mV。

此時，電壓門控K+通道也會打開。由于K+離子在神經元內部濃度更高，它們沿著電化學梯度流出細胞。這些正電荷離子的向外運動使神經元膜重新極化，這個過程稱為復極化（圖2.3中的階段4）。

離子的運動取決于它們通過神經元細胞膜上的離子通道的電導率（電導率是電阻的倒數：G = 1 / R）。雖然Na+的電導率在圖2.3中的動作電位形狀中變化非常類似，但K+的電導率開始在稍后的動作電位峰值附近增加，經過復極化階段的中點后達到最大水平，然后逐漸減少，但在細胞膜達到靜息電位時并不達到最小值。

電壓門控K+通道會保持打開稍長一段時間，導致超極化階段（圖2.3中的階段5），這是由于K+離子的過度流出造成的。此外，神經元還具有K+泄漏通道，允許K+離子持續 passively 從細胞中流出，從而加劇了正電離子的流出。此時神經元進入不應期，這使得再次生成動作電位變得更加困難，因為需要更大的刺激來達到閾值。超極化允許神經元在響應另一個信號之前恢復。動作電位過多可能會有害，導致癲癇發作或心律失常等病癥，而動作電位過少可能會導致肌無力、癱瘓或感覺和認知障礙等病理狀態。因此，超極化在幫助細胞維持穩態（即確保穩定和相對恒定的內部環境）方面起著至關重要的作用。

隨后，神經元膜電位再次回到靜息狀態，主要是由于正電離子（如Na+）通過膜內向外擴散，直到達到電化學平衡。

雖然所述的機制依賴于Na+的流入和K+的流出，單個動作電位的流動足夠小，不會顯著改變細胞內離子的濃度，因此也不會顯著改變平衡電位。然而，長期來看，多個動作電位可能會逐漸影響離子濃度。維持靜息狀態的主要手段是鈉-鉀泵。Na+/K+泵是存在于所有動物細胞膜上的一種酶，其作用是將Na+從細胞內排出并吸收K+離子。在一個功能周期內，它交換3個Na+離子以獲得2個K+離子（Byrne, 2023）。這是一個需要能量的主動過程。

因此，動作電位后K+和Na+濃度的小量耗竭是由Na+/K+泵恢復的。然而，這種補充并不需要立即啟動下一個動作電位。在一個神經元內部，離子梯度足以生成大約10,000個動作電位，而無需依賴Na+/K+泵。

完整的動作電位周期持續時間很短，大約在1-5毫秒之間，具體取決于神經元類型和動物物種的不同。在大腦皮層中發揮重要認知功能的錐體神經元可以以每秒幾個脈沖到超過100個脈沖的速率發放動作電位，這取決于任務和環境。

上述過程涉及興奮性突觸，增加了后突觸神經元發放動作電位的可能性。在大腦中，還存在具有相反作用的抑制性突觸。這類突觸通過不同的機制運作。例如，興奮性突觸中主要使用的神經遞質是谷氨酸，而抑制性突觸中主要使用的是γ-氨基丁酸（GABA）。這兩種神經遞質在大腦中非常普遍，超過一半的大腦突觸使用谷氨酸，大約三分之一使用GABA（Genetic Science Learning Center, 2013）。

抑制性突觸的關鍵機制涉及氯離子（Cl–）的運動進入細胞。這些帶負電的離子流入使神經元內部更加負電（超極化），遠離觸發動作電位所需的閾值。因此，神經元達到發放閾值的可能性降低。

2.4. 興奮與抑制

雖然在多層感知器（MLP）中連接權重（對應生物神經元中的突觸效能）可以是正或負的，但在大腦中神經元遵循戴爾原則（Eccles, 1986），即一個神經元不能同時具有興奮性和抑制性突觸。因此，我們可以認為生物神經元可以是興奮性的或抑制性的。

興奮性負責跨神經元之間的信號傳輸，支持信息的傳播。興奮性神經元在不同的皮層區域之間建立長距離連接，學習主要發生在它們之間的突觸上。

另一方面，抑制性通過防止過度發放神經沖動和維持網絡活動的平衡水平來控制神經活動。它對于時間精確性至關重要，同步神經發放，增強信號之間的對比度，調節網絡振蕩，并調整神經元對輸入的敏感性。

在人類大腦皮層中，興奮性神經元的百分比約為80-85%（Bratenberg, 1989; O’Reilly & Munakata, 2000; Nowak, Sanchez-Vives & McCormick, 2007），因此興奮性神經元和抑制性神經元的數量比大約是4:1。

2.5. 大腦的復雜性

人類大腦是一個非常復雜的器官，具有廣泛的神經機制。在這種復雜性的核心是大量的神經元和突觸。成年人的大腦估計包含86 ± 8億個神經元（Azevedo et al., 2019）。神經元之間通過大約100萬億個突觸連接。平均而言，每個神經元大約有1萬個樹突接收來自其他神經元的輸入，而軸突連接到大約1萬個神經元以傳遞其輸出（White, 1989; Abeles, 1991; Braitenberg & Schüz, 1998）。

此外，大腦由多種類型的神經元組成，每種神經元具有獨特的特征和功能。在皮層神經元中，軸突可以長達數毫米，但人體中最長的神經元位于坐骨神經，其軸突長度可達60厘米。

神經通訊中涉及到100多種神經遞質（Eliasmith, 2015），起著重要作用。除了前文提到的谷氨酸和GABA外，一些最為人熟知的神經遞質包括多巴胺、5-羥色胺、乙酰膽堿和腎上腺素，每種都具有獨特的功能和對行為及認知的影響。

神經元模型

今天最常見的人工神經元類型是感知器，它在各種形式的MLP神經網絡中充當基本構建塊。這也被稱為點神經元模型。其輸出表達為：

3.1. 霍奇金-赫胥黎模型

霍奇金-赫胥黎（Hodgkin-Huxley）模型是一個基礎的數學框架，用于描述生物神經元的電生理特性。1952年，霍奇金和赫胥黎在巨型魷魚神經軸突上進行了一系列實驗，該軸突直徑約為0.5毫米，因此是研究的理想對象。相比之下，大多數魷魚和其他物種神經系統中的軸突要細得多，例如人類典型神經元的直徑為1-2微米。

他們將神經元的電特性表示為等效的電路。一個電容器代表細胞膜，兩個可變電阻代表電壓門控的鈉離子通道和鉀離子通道，一個固定電阻代表由于Cl-離子而產生的小漏電流，三個電池代表由細胞內外離子濃度差產生的電化學電位。

該模型的基本方程為：

其中，Is代表刺激電流，Ii代表離子電流，表示為三種電流的總和 - 鈉離子電流（Na+）、鉀離子電流（K+）和漏電流：

門控變量n、m和h也由附加方程建模：

我們包含這些方程式是為了強調這一被廣泛認可的神經元行為的數學模型的復雜性。然而，我們不打算深入討論涉及的參數的含義和具體數值。這些參數在表3.1中簡要列出（Nelson, 2004; Coombes, 2010; Wells, 2010）。

這些參數的值是近似的，以使方程式與實驗數據吻合。我們應該提到，方程式（3.5、3.6、3.7）與原始論文（Hodgkin & Huxley, 1952）中的方程式略有不同，因為當前使用數值技術如歐拉方法來解決微分方程，而在1950年代，作者們不得不使用更為原始的方法進行手工計算（Wells, 2010）。此外，他們研究中使用的烏賊的動作電位數值與人類神經元中測量到的數值有些許不同（見圖2.3）。

當沒有外部刺激時，Hodgkin-Huxley模型的動態會達到穩定狀態，即靜息電位。因此，為了產生一個動作電流，必須添加一個刺激電流 Is。圖3.1展示了在加入階躍輸入電流的情況下，Hodgkin-Huxley神經元的表現示例。

3.2. 伊熱凱維奇模型

正如我們所看到的，Hodgkin-Huxley模型非常復雜。Eugene Izhikevich（2003年）設計了一個簡單得多的模型，但卻能夠復現生物神經元中的大量行為。它僅由兩個微分方程和一個非線性測試條件組成：

V和U被構想為無量綱變量；然而，通過將第一個方程中的系數與皮層神經元的動態擬合實驗數據，可以將V解釋為神經元的膜電位，而將U解釋為考慮離子電流效應并對V施加負反饋的變量。該模型還為參數a、b、c和d提供了適當的值。通常閾值θ = 30。除了其用于模擬多種行為的潛力外，該模型的主要優勢在于其計算效率。作者報告稱，在1 GHz計算機上，可以以1毫秒的分辨率實時模擬數萬個尖峰神經元（Izhikevich，2003）。

3.3. 積分-火和漏積分-火神經元模型

更簡單的模型是漏積分-火（LIF）模型（Koch & Segev, 1998）。神經元的行為類似于一個積分器：當它接收到外部刺激或輸入信號I時，其膜電位增加。膜電位隨時間衰減，因此當沒有刺激時，電壓會緩慢返回到靜息電位Vr。當電壓V達到閾值時，神經元產生一個尖峰（動作電位），然后V被重置為Vr。類比于第3.1節中考慮的電路，LIF模型基于以下形式的微分方程（其中τ是膜時間常數，類似于學習率的倒數）：

然而，軟件模擬通常采用離散時間動態。因此，漏積分-火（LIF）模型的等效表述是（Jin et al., 2022）：

在這個方程中，V代表膜電位或電壓，I代表輸入電流或刺激，α是泄漏或衰減因子，決定了膜電位隨時間趨于零的速度。可以注意到方程（3.12, 3.13）模擬了一種標準化的活動，其中靜息電位為0，產生尖峰的閾值為1。

可選地，在發生尖峰后，可以保持V = 0多n個時間步，模擬神經元無法產生另一個尖峰的不應期。在方程（3.12）中，α通常屬于（0, 1）范圍內，通常接近1（例如，0.9），而刺激I通常接近[0, 1]范圍內的0，以允許多個時間步直到發生尖峰（例如，0.1或0.2）。

雖然比其他模型缺乏生物學細節，LIF提供了一種計算高效的方式來模擬尖峰神經網絡。

更簡單的模型是積分-火（IF）模型，它與LIF類似，但不包括衰減因子：

3.4. 尖峰頻率適應

尖峰頻率適應（SFA）是神經元中觀察到的一種生理現象，即神經元在持續輸入刺激下的射頻率有逐漸減少的趨勢。換句話說，當神經元接收連續輸入時，其射頻率逐漸降低，隨著時間的推移生成的動作電位（APs）變少。這種現象也稱為適應性，即神經元對輸入的快速變化變得不太敏感，而對長時間尺度內發生的變化更為敏感。

當與LIF神經元結合使用時，SFA的思想轉化為在神經元產生尖峰后增加其閾值，在沒有尖峰發生時將閾值降低到其正常值（例如1）。以下方程描述了這一過程。使用θ(t)作為動態閾值，而不是1。β和γ是控制閾值增加和減少的參數。

Figure 3.2 展示了LIF神經元和帶有SFA的LIF神經元之間的比較。從計算的角度來看，SFA可以具有各種功能上的影響，例如，它可以有助于調節在尖峰神經網絡中興奮性和抑制性信號之間的平衡（見第4節）。

3.5. 分區神經元

在許多模型中，包括多層感知器，突觸被統一對待，沒有考慮到特定的樹突類型或樹突處理。然而，與這種傳統方法相反，分區神經元模型認識到區分不同類型的樹突（即近端（基底）和遠端（頂端））的重要性。在第10.1節中，我們將看到這種區分是如何應用于受到神經科學啟發的分層時間記憶模型中。

近端（附近）樹突靠近神經元細胞體，作為接收來自鄰近神經元的傳入信號的主要部位。遠端（遠程）樹突從細胞體延伸得更遠，通常進入神經元感受場的更遠區域。

在（Schubert & Gros，2021）中，提出了一個兩隔室模型，該模型解釋了近端和遠端輸入之間的非線性相互作用。這項研究的主要動機是，皮質中生物錐體神經元細胞的一些動態特性無法使用簡單的點神經元模型來重現（Spruston等人，1995；H?usser等人，2000）。當來自近端和遠端來源的突觸輸入同時發生時，神經元表現出高尖峰活動，這比僅通過近端突觸輸入可能的最大放電率要大。這表明了一種遠端和近端刺激之間的時間巧合檢測形式。

這里提出的神經元模型是一個離散時間速率編碼模型，即其輸出表示神經元在某個時間步長的尖峰頻率。實際上，這意味著它的輸出是一個實數值，就像經典MLP神經元的輸出一樣。該模型假設兩個不同的輸入變量Ip（總近端輸入）和Id（總遠端輸入）。它們可以是正數或負數，再次類似于MLP神經元的情況。隔室神經元的輸出為：

該論文還在方程（3.21）中使用了某些閾值，但由于它們的值也被提供（例如，一些閾值被設置為0，另一個設置為-1），這些值被直接包含在內，以簡化表達式。這個方程本身就是（Shai等人，2015）中描述的現象學模型的簡化版本。

根據這個方程，在（Ip，Id）平面上有兩個不同的神經激活區域，如圖3.4所示。當輸入電流Ip和Id都很大時，第二項占主導地位，導致y≈1。當Ip為正且Id為負時，會出現中等活動平臺。因此，隔室模型區分了低活動水平的神經元（例如，在α=0.3時）和強烈爆發的神經元，其中最大放電率為1。在中等活動平臺中，神經元在沒有遠端刺激的情況下處理近端輸入。遠端電流作為一個調制器。在圖中，最大值為1的區域出現在右上角象限，兩種類型的輸入都處于活動狀態，而值為α=0.3的區域出現在右下角象限。這意味著當只有近端輸入處于活動狀態時，只能達到最大放電率的30%。

4. 尖峰神經網絡尖峰神經網絡（SNN）旨在緊密模仿真實神經元的行為，強調神經信號的時間方面。與傳統的多層感知器等人工神經網絡不同，SNN使用離散事件（尖峰）來表示神經元激活。這些尖峰的時間和速率允許SNN捕獲數據中精確的時間動態。

SNN的基本組成部分是尖峰神經元，它隨時間累積輸入信號，并在達到某個閾值時發出尖峰。神經元之間的突觸連接由權重表征，這些權重決定了神經元活動對另一個神經元的影響。當一個突觸前神經元發出尖峰時，這個脈沖（例如，歸一化為1）乘以將其連接到突觸后神經元的突觸權重。然后，突觸后神經元隨時間整合加權輸入。當其膜電位達到某個閾值（例如，也為1）時，它會依次發出尖峰，并重置其膜電位（例如，到0）。然后，這個尖峰通過相應的突觸權重傳輸到其他神經元，影響它們的膜電位，依此類推。

4.1. 神經編碼

SNN從生物神經元中獲得比MLP更深入的靈感。神經元通信的一個重要方面是使用尖峰。生物神經元的另一個關鍵特征是稀疏性。神經元大部分時間都處于靜止狀態；在任何給定時刻，只有一小部分神經元處于活動狀態。一個相關的概念是“靜態抑制”（或“事件驅動處理”）。例如，在感覺系統中，神經元對輸入的變化比對靜態、不變的信號更敏感。這種對動態信息的響應性使大腦能夠優先關注相關刺激，同時過濾掉恒定的背景輸入（Eshraghian等人，2023）。這些原則導致了SNN中信號的編碼和處理方式。

4.1.1. 速率編碼

一種編碼機制是速率編碼，其中輸入刺激x被轉換為發射率或尖峰計數。輸入的強度越高，產生的尖峰就越多。在這種方法中，感覺輸入的強度對應于神經元的發射率。例如，更亮的光線導致更高的發射率，而更暗的輸入導致更低的發射率。神經元在一定時間間隔內產生的一組尖峰被稱為尖峰序列。在速率編碼中，由于神經元的發射率是已知的（與x成正比）且恒定，因此產生的尖峰序列遵循泊松分布，用于描述在固定時間間隔內發生的事件數量。

設k為時間間隔內的總尖峰數，T為時間間隔的長度。那么平均發射率r = k / T。有兩種常用的方法來生成泊松尖峰序列（Heeger，2000）。第一種是基于這樣的想法：在一個短子區間Δt內發生尖峰的概率近似等于rt Δ。因此，總時間間隔被劃分為一組短時間間隔（bin），并為每個bin生成一個均勻隨機數ui ∈[0,1]。如果ui ≤ rt Δ，我們認為在第i個bin中發生了尖峰。

然而，這種方法的一個缺點是時間離散化。另一種方法是使用泊松過程的指數分布特性來計算尖峰之間的間隔，其概率密度函數為：

在實踐中，可以生成均勻隨機數ui ∈[0,1]，并使用以下公式將它們轉換為所需的指數分布：

與SNNs的特征離散尖峰不同，發射率是一個實數值，可以與MLP神經元的激活函數的輸出進行比較。對于單個神經元，兩者并不等同，因為SNNs中的尖峰序列包含MLP神經元的瞬時激活中不存在的時間信息。然而，在統計背景下，例如，通過分析SNN神經元群體，MLP神經元的激活可以被視為代表一組尖峰神經元的平均發射率。

4.1.2. 時間編碼

另一種神經編碼方法是時間編碼。在這里，輸入刺激的強度決定了尖峰何時發生。例如，首次尖峰時間機制將較大的刺激編碼為較早的尖峰。

感覺系統中的神經元表現出對廣泛動態范圍內的刺激做出反應的巨大能力。因此，尖峰時間和輸入特征強度之間經常使用對數關系。我們將在第11.1節中遇到這種對數關系，該節專門討論大腦中數量（與數字相關的量）的表示。

時間編碼作為一種神經策略，可以緩解速率編碼的一些缺點。它使大腦能夠快速準確地解碼復雜的感官輸入，這在需要快速反應時間的場景中是至關重要的。在感覺處理中，有一些情況，例如，速率編碼太慢，無法提供人類受試者觀察到的必要速度。這些情況包括：聲音定位，短暫刺激需要快速響應，視覺編碼，特別是在高對比度情況下的邊緣檢測，以及味覺和嗅覺系統中相似刺激的辨別。此外，大腦的能耗估計低于僅使用速率編碼所需的情況。

雖然時間編碼方案比速率編碼更復雜，但我們可以提到，例如，在一種簡化的形式中，（Park等人，2020）在名為T2FSNN（深度SNN的首次尖峰時間編碼）的模型中提出的想法，具有編碼和解碼階段。

編碼階段將動態輸入（或膜電位）Vi轉換為尖峰時間si：

其中i是神經元的索引，τ是時間常數，r是定義為后續解碼（或發射）階段開始時間的參考時間，δ是時間延遲。該模型假設一定數量的層，信號在層之間傳播。τ和δ是每個層的可訓練參數，但為了簡單起見，它們可以對所有層具有相同的值。

在解碼階段，突觸后神經元整合在前一階段編碼為單個尖峰的信息：

其中w是突觸權重。神經元是IF神經元，因此它們在相應的時間連續整合每個尖峰，除了權重之外，由于指數變換，較早的尖峰具有更大的影響。

時間編碼可以用于分類任務（Com?a等人，2020），基于其對應的輸出神經元首先尖峰的類別。在生物學背景下，獲勝神經元可以通過側向抑制來抑制鄰近神經元。在機器學習中，受抑制神經元的尖峰時間可以按后續尖峰的順序建議替代預測。

相關文獻還包括反向編碼方法（Zhang等人，2019），其中輸入刺激越強，相應的神經元就越晚發出尖峰。

4.1.3. 突發編碼

速率編碼和時間編碼是神經編碼過程的兩個極端。然而，還有其他類型的編碼。例如，在突發編碼（Park等人，2019）中，考慮一個歸一化的刺激x ∈[0,1]，神經元在時間間隔T內產生的尖峰數為：

其中nmax是尖峰的最大數量，通常不超過5（Buzsáki，2012）。

這些尖峰然后在指定的間隔內均勻分布，尖峰間間隔（Guo等人，2021）為：

因此，x刺激越大，尖峰的數量就越多，但與速率編碼不同，它們是均勻分布的。突發也會導致不遵循泊松分布的尖峰序列。突發編碼的優點是，在噪聲存在的情況下，它比單尖峰時間編碼更可靠。

4.1.4. 比較

速率編碼和時間編碼提供了不同的優勢。速率編碼通過隨時間出現多個尖峰提供了容錯性。這種冗余減少了錯過事件的影響。此外，速率編碼產生更多的尖峰，在使用基于梯度的算法時，這增強了學習的梯度信號。另一方面，時間編碼通過產生更少的尖峰來實現更好的功率效率。這減少了專用硬件中的動態功耗，并由于稀疏性而最小化了內存訪問頻率。時間編碼在需要快速響應的場景中特別有效，因為單個尖峰有效地表示信息，使其成為具有時間限制的任務的理想選擇。這與生物學中的觀察結果一致，大腦通過神經元中的低平均發射率來優化效率。

4.2. SNNs的計算能力

Maass（1997）表明，就某些任務所需的神經元數量而言，SNNs在計算上比使用sigmoid激活函數的MLPs更強大。他還證明了SNNs和MLPs作為通用函數逼近器是等價的。

為了展示SNNs的（理論）優越性，他考慮了一個“元素不同性”函數ED：(?+)n → {0, 1}，定義為：

然后，他提出了一個不太直觀的ED變體，定義為：

? 如果存在k ≥ 1，使得x1, x2, x3, x3k+1, x3k+2, x3k+3具有相同的值，則為1；? 如果?+中長度為1的每個區間最多包含3個輸入xi的值，則為0；? 否則為任意值。

作者證明了這個函數可以由單個尖峰神經元使用時間編碼來計算，因為它只需要在兩個相鄰的三個突觸塊接收到同步興奮性電位時才發射。他還發現了sigmoid MLP所需的隱藏單元數量的下限，對于n = 10000，這可能超過1000。

這絕對是一個巨大的差異，有趣的是，它是針對檢測輸入之間相似性的通用問題的版本發現的。從同一類別中，我們有xor問題，它不能由單層感知器學習。

進一步推廣SNNs的通用性，在（Vineyard等人，2018）中描述了使用時間編碼實現幾種基本算法，例如計算最小值、最大值和中位數，排序，最近鄰分類，甚至更復雜的神經模型，自適應共振理論，將在后面的第15.1節中描述。

4.3. 討論

SNNs和MLPs在結構、行為和應用方面表現出差異和相似之處。

一個關鍵的區別是，SNNs顯式地模擬神經元尖峰的時序，模仿真實神經元的時間動態，而MLPs將輸入數據作為靜態快照處理，沒有顯式的時間表示。SNNs可以使用更符合生物學的學習規則進行訓練（在第5節中介紹），這些規則可以根據尖峰的精確時序調整突觸權重，而MLPs主要使用梯度下降算法，如反向傳播及其現代變體進行權重更新。此外，由于SNNs的事件驅動處理特性，它們往往具有更高的能源效率，僅在必要時激活神經元，而MLPs通常需要連續計算，因此消耗更多資源。

然而，它們也有相似之處。SNNs和MLPs都由相互連接的神經元層組成，適用于分類、回歸和模式識別等任務。在SNNs中，神經元基于膜電位的積累和發射閾值產生輸出尖峰，反映了MLPs，其中神經元使用輸入的加權和后跟一個激活函數來計算激活。這兩種模型都依賴于輸入累積的思想，并且它們都包括對這個凈輸入進行非線性轉換的思想。

SNNs具有各種優點和缺點，這些優點和缺點會影響它們在不同任務中的適用性和性能。

討論它們的優點，與傳統神經網絡（如MLPs）相比，它們表現出更高水平的生物學合理性。SNNs擅長處理時間信息和序列，使它們適用于涉及語音識別、事件預測和時間序列分析的任務。它們通過尖峰模式編碼時序的內在能力在事件順序和時序至關重要的場景中提供了顯著的優勢。SNNs還表現出對輸入噪聲的魯棒性，依賴于隨時間推移的尖峰模式，而不是確切的連續值。

然而，SNNs也存在一些值得注意的缺點，需要加以考慮。首先，它們的復雜性是一個突出的挑戰。與傳統的NNs相比，開發和訓練SNNs本質上更加復雜。在大規模網絡中，由于硬件限制，可擴展性可能是一個問題。SNNs的學習和訓練過程，特別是當使用生物學上合理的學習規則時，可能比MLPs中使用的反向傳播變體更慢、更困難。此外，SNNs通常依賴于稀疏表示，這可能導致在某些應用中過度擬合或未充分利用可用資源。最后，SNNs的可解釋性和表達能力帶來了挑戰。尖峰模式和網絡行為之間的復雜關系可能使解釋和理解SNNs的內部表示和決策變得更加困難。

盡管尖峰神經元是現實大腦建模的基礎，但如果目標是解決認知能力，直接使用它們可能過于底層。這可能就像用匯編語言編寫智能算法一樣。這就是為什么，在第7節中，我們將描述在神經元組級別上運行的模型，稱為“細胞集合”。

5. 學習規則

在本節中，我們將介紹幾種神經網絡的學習規則，這些規則比經典的反向傳播算法及其最近的擴展更具生物學合理性。

反向傳播被認為不具有生物學合理性，因為錯誤傳播是通過與神經元激活不同的機制發生的。在等效的生物環境中，需要一個全局錯誤信號，提供關于網絡實際性能與期望輸出相比的信息，該信號需要從突觸后神經元的樹突傳播到突觸前神經元的軸突。實際上，這種通過網絡向后傳播以調整權重的明確的全局錯誤反饋并不存在，盡管確實存在錯誤后發生變化的想法。此外，梯度編碼的實際數量沒有生物學對應物。

總的來說，大腦中的學習依賴于更局部的學習規則，神經元根據鄰居的活動模式調整它們的連接。

單層感知器中使用的簡單delta規則可以被視為生物學上合理的，因為權重的變化取決于局部錯誤。正是通過MLP的隱藏層的梯度傳播不太合理。

生物突觸也表現出各種形式的可塑性，包括神經元尖峰的時間，這些可塑性更復雜，通常涉及超出簡單基于梯度的調整的多個因素。

5.1. Hebbian學習

Hebbian學習描述了一種基于突觸可塑性的基本學習原則，即神經元之間連接（突觸）的強度能夠響應神經活動而改變。它以唐納德·赫布的名字命名，經常被總結為著名的短語：“一起激發的細胞（神經元），一起連接”。

Hebb的規則實際上是這樣表述的：“當細胞A的軸突足夠接近以激發細胞B，并反復或持續地參與激發它時，一個或兩個細胞中會發生某種生長過程或代謝變化，使得A的效率，作為一個激發B的細胞之一，得到提高”（Hebb，1949）。簡單來說，如果兩個神經元經常同時活躍，它們之間的突觸就會加強。如果神經元A總是在神經元B之前激發，那么從A到B的突觸就會變得更強，使得A的活動在未來更有可能觸發B的活動。

這一原則基于這樣一種觀點，即大腦中的學習和記憶形成是頻繁一起激活的神經元之間連接加強的結果。

從計算的角度來看，這種學習規則通常是無監督的，涉及具有圖5.1所示結構的網絡。我們在這里介紹它對具有靜態行為的神經元的應用，例如MLPs中的神經元，而不是尖峰神經元。這些神經元通常是簡單的，具有線性激活函數。

這樣一個簡單的模型能夠識別輸入數據中最相關的變化方向非常有趣。然而，輸入數據應當具有零均值，這可以通過從實際數據中減去平均值來輕松實現。

這種方法的主要缺點是權重向量會呈指數增長。這個問題通過接下來介紹的擴展來解決。

5.2. Hebb 規則的擴展

5.2.1. Oja 規則

為了避免權重變得無限大，Erkki Oja 提出了一種稱為減法歸一化（Oja, 1982）的解決方案。它包含了一個競爭性或穩態項，限制了突觸權重的增長。這個項有助于確保突觸權重隨時間收斂到一個穩定的范圍。相應的權重更新方程是：

這個規則是一種權重歸一化的形式，即當權重向量的一個元素增加時，其他元素會自動減少。在這種情況下，網絡可能會忘記舊的關聯：如果一個訓練實例不經常被呈現，它可能會被遺忘。

由于它使用與Hebb規則相同的相關項，Oja規則也計算輸入數據的第一主成分（Hertz, Krogh & Palmer, 1991）。

5.2.2. Sanger規則

第一個輸出神經元相當于Oja模型，它學習了第一個主成分。由于涉及到對1到j的求和的減法，第二個神經元被迫尋找另一個主成分，依此類推。其結果是，權重收斂到一組有序的m個主成分（即相關矩陣C的特征向量）。

這突顯了這類簡單模型僅通過Hebbian關聯就能提取輸入數據分布中重要信息的能力。

5.2.3. ABCD規則

這是Hebb規則的一個廣義版本，它不僅考慮了輸入和輸出之間的乘積，還單獨考慮了輸入和輸出值，以及一個偏置項：

在這個方程中，A（相關項）、B（突觸前項）、C（突觸后項）和D（偏置或常數）是可以找到最優值的參數，例如，使用進化算法。這個規則被用于強化學習任務，其中進化的Hebbian規則足以讓一個代理學會在一個2D環境中導航，并學會在一個3D環境中行走（Niv等人，2001；Niv等人，2002）。

5.2.4. BCM規則

BCM規則（Bienenstock，Cooper & Munro，1982）建議使用另一種解決Hebb規則不穩定性的方法，該方法使用滑動閾值：

圖中函數的形狀與觀察到的突觸變化相似，例如，在視覺皮層中（Intrator & Gold，1993）。

5.3. 尖峰時間依賴性可塑性

在這一部分，我們將考慮突觸前和突觸后神經元尖峰的相對時間。在生物系統中，神經元不太可能完全在同一時間發射。

此外，只有當突觸前神經元的激活導致突觸后神經元的激活時，即兩次激活之間存在因果關系時，突觸才會增強。

尖峰時間依賴性可塑性（STDP）規則（Markram等人，1997；Bi & Poo，1998）認為，突觸前和突觸后尖峰之間的時間差決定了突觸是增強還是減弱。當一個突觸前神經元剛好在一個突觸后神經元之前發射時，突觸會增強，并進一步增強信號傳輸。相反，如果是突觸后神經元在突觸前神經元之前發射，突觸會減弱，從而減少信號傳輸。

這些行為對應于與突觸可塑性相關的兩個重要過程：長期增強（LTP），意味著突觸的持續增強，和長期抑制（LTD），意味著突觸的持續減弱。根據STDP，突觸前尖峰在突觸后尖峰前幾毫秒到達會導致突觸的LTP，而突觸前尖峰在突觸后尖峰之后到達會導致突觸的LTD。

為了將這些想法形式化，設Δt為突觸后神經元j的尖峰時間與突觸前神經元I的尖峰時間之差：

圖5.4展示了不同尖峰時間差對 postsynaptic potential 幅度變化的影響，這是根據 Bi 和 Poo (1998) 使用海馬細胞培養中的神經元獲得的實驗數據。在大腦中，實際觀察到了幾種STDP的變體（例如Hebbian或反Hebbian），這取決于通過突觸進行通信的神經元類型（例如興奮性或抑制性）（Shulz & Feldman, 2013）。

可以看到，當兩個神經元在短時間間隔內被激活時，可以獲得最大的長時增強（LTP）和長時抑制（LTD）效應。如果前突觸神經元在后突觸神經元之前發放，突觸強化效果最大。

從某種意義上說，Hebb規則可以看作是STDP的一種近似，考慮到神經元同時激活，并且前突觸神經元對后突觸神經元的激活有直接影響。針對基于速率的（非尖峰）神經元，提出了幾種反Hebbian方程的變體，以解釋LTD現象。例如，當前突觸神經元活躍而后突觸神經元不活躍時，突觸會被削弱。

從生物學角度來看，前突觸神經活動涉及到興奮性神經遞質谷氨酸的釋放。相應的后突觸活動與去極化的膜電位相關。這兩個條件打開了N-甲基-D-天門冬氨酸（NMDA）通道，允許鈣離子（Ca2+）進入突觸。這種機制發生在樹突水平。經過數個復雜的化學反應后，突觸的效能發生改變。高濃度的鈣導致LTP，而較低濃度導致LTD（O’Reilly & Munakata, 2000）。我們將在第10節重新審視與NMDA相關的過程。

然而，突觸的強化也受到神經遞質多巴胺的影響。當人們期待獲得獎勵時，多巴胺產生神經元被激活。影響情感反應和記憶最強烈的是獎勵的期待，而不是獎勵本身。當個體遇到意外的結果時，獎勵學習過程發生。如果獎勵超出他們的預期，多巴胺信號增加。相反，如果獎勵低于預期，多巴胺信號減少。但是，正確預測獎勵不會顯著改變多巴胺信號，因為這不涉及新的學習（Halber, 2018）。

5.4. 其他學習算法

一般來說，針對訓練脈沖神經網絡（SNNs），提出了許多算法。有些算法使用STDP的變體，而其他算法則從反向傳播中汲取靈感，設計了適用于尖峰神經元的算法，例如使用替代梯度，其中不連續的脈沖函數被可微函數近似。關于這類方法的綜述可以參考(Han & Lee, 2021)。

一個嘗試以生物學可信度方式實現反向傳播思想的算法是GeneRec（Generalized Recirculation）（O’Reilly, 1998），也被應用在LEABRA（本地誤差驅動和聯想，生物真實算法）認知架構中，該架構最初由(O’Reilly, 1996)引入。GeneRec受到了重新循環算法（Hinton & McClelland, 1987）和遞歸反向傳播算法（Almeida, 1987; Pineda, 1987）的啟發。

GeneRec假設雙向連接：從輸入到輸出以及反之（這也可以視為自下而上和自上而下）。學習分為兩個階段。在加法階段，期望值被“固定”在輸出層上。因此，輸入值和期望值都被呈現給網絡。由于網絡是遞歸的，隱藏層神經元的激活取決于兩者。在減法階段，只呈現輸入。根據幾個假設和近似，建議的學習率是：

正如可以注意到的那樣，方程（5.16）具有δ規則的形式。激活狀態兩個階段的差異表明了一個單元對整體誤差信號的貢獻。雙向連接將這個信號的兩部分傳播到整個網絡中，因此學習可以基于這種差異進行。此外，激活狀態局限于權重改變必須發生的突觸位置。

6. 神經元集合（細胞組裝）

唐納德·赫布引入了細胞組裝（CA）的概念，也稱為神經元集合，用于描述對相關刺激響應中活躍的稀疏分布的小組神經元。它們代表了一組相互連接的神經元，共同執行大腦內特定功能，從簡單的感覺處理到復雜的認知任務。

這些集合作為處理信息的功能單元，可以被視為大腦神經信息處理的基本組成部分。細胞組裝假設（赫布，1949）認為，神經元集合作為概念的神經表示。隨著時間的推移，這一假設得到了生物學、理論和模擬數據的支持。神經元集合可以對感覺刺激進行分類，使個體能夠識別物體，但它們也可以在沒有直接感覺輸入的情況下被激活，例如在思考一個概念時。

由于它們由一組神經元組成，比單個神經元大但比整個大腦小，因此它們可以為研究心理學和神經生物學提供一個組織原則，并可能彌合心理學與神經生物學之間的差距。

神經元集合使用高發射率的神經元集合來表示概念（群體編碼）。它們由一組相對較少的神經元組成，每個概念編碼，估計的大小范圍從個神經元每個細胞組裝。雖然大腦通常由以低頻率（例如1赫茲）持續發放的神經元組成，但細胞組裝神經元以高頻率（例如100赫茲）發放。

細胞組裝內的神經元在初始刺激后表現出自持續活動，即所謂的回響。它們之間有強烈的互相突觸連接，當足夠的子集被激活時，例如通過提及特定概念，它們會啟動一個神經級聯，這個級聯會在初始刺激呈現結束后持續存在。這種持續的激活特征化為短期記憶（STM），可以持續幾秒鐘。

細胞組裝內的神經元集合通過突觸權重變化、神經生長、神經細胞死亡和突觸增長等過程形成。高度的互相突觸強度是赫布學習的結果。這些神經元之前曾一起對早期刺激作出響應，導致它們之間的突觸連接強化。因此，細胞組裝通常是通過重復呈現類似刺激形成的，因此它們也可以被認為代表長期記憶（LTM）。

相關的神經元放電，或稱同步，在響應相同刺激或引發相同動作的神經元同時放電時被觀察到。同步被認為是細胞組裝協同工作的標志。研究表明，同步神經放電可以是將感知元素綁定在一起并協調大腦區域活動的機制。

細胞組裝可以重疊，個別神經元可以參與多個細胞組裝。一些神經元可能比其他神經元更加核心或關鍵于某個細胞組裝。此外，細胞組裝是活躍的實體，通過興奮或抑制影響其他組裝。它們可以招募新的神經元，失去神經元，或分裂成不同的細胞組裝。此外，細胞組裝是動態和靈活的，能夠根據經驗重新配置自己。這種可塑性使大腦能夠適應或在不斷變化的環境中學習。

個別細胞組裝之間的關聯可以支持符號基礎化（在第17.4節中討論），即符號獲取意義的過程。學習得到的細胞組裝可以直接來源于環境刺激。

盡管有大量證據顯示細胞組裝的持久性，將這些證據與預測記憶強度和持續時間的模擬和心理學理論聯系起來仍然是一個挑戰。現有的細胞組裝模型要么無限期地持續下去，要么在相對短的時間內停止，缺乏記憶強度與神經放電之間的穩健聯系。快速形成細胞組裝也是一個問題，特別是在區分語義和情節記憶時，語義記憶可能需要重復呈現以形成細胞組裝。細胞組裝形成的動態可能非常復雜，可能涉及遵循神經連接中的冪律動力學的神經雪崩等現象。

每個神經元集合都專門用于特定的功能或任務。例如，在視覺皮層中，有專門用于識別面部的神經元集合，而其他集合則負責檢測運動。在海馬體中，神經元集合負責編碼和檢索記憶。在回憶過去事件或學習新信息時，特定的集合會變得活躍并同步它們的活動模式。神經元集合還參與感覺處理，例如在視覺皮層中，不同的集合對特定的視覺特征如邊緣、顏色或運動作出響應。這些集合中神經元的集體放電模式允許對復雜視覺場景進行感知和解釋。

傳統的記憶研究集中在確定記憶存儲的位置，即哪些細胞或大腦區域代表記憶痕跡。這些記憶的物理表現稱為“記憶印記”（memory engrams）。最近的實驗表明，特定神經元群體的相互作用和重新激活，而不是記憶在特定區域的局部化，可能是大腦記住過去經歷和想象未來行動的主要機制。神經元集合之間的相互作用對將序列活動模式轉化為記憶以及通過記憶的重新激活組合復雜行為至關重要。

當經典的人工神經網絡在學習完一個初始任務后，再學習新任務時，它們在第一個任務上的表現通常會顯著下降。這個問題被稱為災難性遺忘，是神經網絡領域的一個持續性挑戰。持續學習指的是神經網絡在學習多個任務時能夠順序地學習，而不會忘記從前面任務中獲得的知識。與人工神經網絡不同，人類大腦能夠順序學習和記住多個任務，而不會經歷災難性遺忘。負責這種能力的機制尚未完全理解，但在神經科學領域得到了積極研究。

一個假設是，一旦形成了記憶，大腦會限制對記憶重要的突觸連接的可塑性。對于新任務會建立新的連接，而與之前任務相關聯的連接會降低可塑性，以保留已獲得的知識。

另一個提出的機制是，大腦在不同的神經元集合中編碼記憶，在不同的上下文中使用不同的神經元集合來編碼記憶。這種方法減少了記憶之間的干擾，并防止災難性遺忘的發生。

7. 神經元集合模型

在本節中，我們將介紹幾篇利用神經元集合概念進行計算任務或神經科學研究的論文的貢獻。

Papadimitriou等人（2020年）提出了一個名為“組裝微積分”的計算模型，旨在彌合神經元尖峰活動水平與整個大腦水平之間的差距。他們確定了一組神經元集合上的操作，通過分析方法和模擬展示了它們的可行性。

該模型側重于興奮性神經元的集合，這些神經元可能構成人類更高級的認知功能，如推理和規劃，以及與實驗結果一致的句法語言處理。它定義了幾個高級過程，可以轉換為神經元操作，類似于高級編程語言被編譯成機器代碼。

組裝微積分采用了簡化但現實的神經元和突觸表示。使用了幾個區域，象征著大腦皮層的不同部分。每個區域都有一群通過隨機突觸連接的興奮性神經元，形成循環回路。不同區域之間也有隨機連接。

這篇文章采用了赫布學習，并結合了較慢時間尺度上的突觸權重重新調整。這種調整旨在保持每個神經元的前突觸權重總和相對穩定，類似于一個穩態過程（或遺忘過程）。為了避免對抑制的明確建模需求，在任何給定區域內，固定數量的神經元在任何給定時間點都會激活，即那些具有最高激活水平的神經元。這是一種k最大值選擇（k winners take all, kWTA）功能。盡管kWTA由于其對激活狀態和排序機制的全局信息要求在生物學上不太可能，但它提供了抑制動態的計算有效近似。在本文中，這個概念被稱為capping，并且在LEABRA認知架構（O’Reilly, 1996）等地方也有應用。

一個kWTA的例子是果蠅（Drosophila melanogaster）如何識別氣味，如圖7.1所示。果蠅大約有50種氣味受體（氣味分子）。感覺神經元與其他50個神經元一對一連接，這些神經元又隨機連接到2000個神經元（Kenyon細胞）。在這個階段，由于抑制作用，大約只有100個Kenyon細胞被激活并表達出對氣味的識別。這個過程可以建模為有100個勝者的kWTA。

在組裝微積分中，隨機投影和capping操作的有趣之處在于，投影可以看作是源神經元集合的低維表示。例如，如果兩個不同的輸入在區域A中創建重疊表示，那么在區域B中對應的投影也會重疊。這可以導致在區域B中進行低維空間中的近似最近鄰搜索，而不是在區域A中的原始空間中。

組裝微積分計算模型是通用的，不依賴于為特定任務設計的預先存在的神經回路。功能性，包括集合操作，是由網絡內部的隨機性和高輸入值神經元的選擇產生的。這種功能性是簡單事件的結果，如一個集合的重復激活。主要操作如下所示。

在關聯皮層中，假設神經元群通過從一個區域到另一個區域的投影形成集合。例如，考慮兩個區域A和B。A區中激活度最高的k個神經元在B區激活。B區中激活度最高的k個神經元則向B區的其他神經元激活。從A到B的重復激活結合B自身的遞歸激活，增加了連續回合中B區中激活神經元的重疊。因此，投影在下游區域復制了一個集合，確保新形成的集合在原始集合激活時也會激活。集合內部連接密集，意味著同一集合內的神經元相比于位于不同集合內的神經元更有可能連接。盡管在稀疏圖中尋找密集子圖的計算復雜性很高，但集合的存在可以通過投影創建集合來解釋，從而增加突觸連接性。

互相投影代表了投影的一種精細化形式。就像標準投影的情況一樣，當區域A中的集合x激活時，它會觸發區域B中一組神經元（標記為y1）變得活躍。主要區別在于，除了從A到B的連接外，還存在從區域B回到區域A的突觸連接。在下一步中，集合x略微偏移，變為x1，而y1變為y2。這個過程迭代繼續，直到收斂為止。最終形成的集合y展示了在集合x內部和集合x之間都有強大的突觸連接。這與常規投影形成對比，常規投影中突觸連接是單向的，只從x到y。

模式完成發生在集合內部的一小部分細胞激活時，整個集合以高概率激活的情況下。由于遞歸連接的存在，集合內的少數神經元部分能夠觸發該集合中絕大多數神經元的激活。

通過關聯，兩個現有的CA由于反復的同時激活而收斂。這種共同發射加強了它們神經元之間的聯系，增強了重疊并提高了相應組裝體的相互連接性。這個操作表達了使用連接到人類受試者海馬體的電極的實驗的想法（Ison，Quian-Quiroga & Fried，2015）。他們展示了熟悉的地方圖像，并觀察到每個地方都有獨特的神經元激活。同樣，名人的圖像引發了獨特的神經元放電模式。當他們同時顯示一對人-地方圖像時，特定的神經元做出反應，一些與地方有關，一些與個人有關。在反復暴露于這些組合刺激后，先前不同的神經元組裝開始重疊。最初只對一個刺激（一個人）有反應的神經元開始與其他刺激（一個地方的形象）相關的神經元一起發射，突出了不同刺激之間的關聯關系如何隨著時間的推移改變神經組裝配置。

合并操作是最復雜和最精細的操作。它可以被視為雙重互惠投影。當組裝體x和y分別在區域B和C中反復發射時，最終會在區域A中形成一個新的組裝體z，這也會改變原來的組裝體x和y。在生成的組裝體中，x和z之間以及y和z之間出現了強烈的雙向突觸連接。合并操作在創建層次結構方面具有重要作用，并被認為是語言句法處理和層次思維過程的貢獻者。這被應用于設計一個強調語言處理中句法方面的皮質架構。

（Dabagia，Vempala & Papadimitriou，2022）證明了組裝演算框架可以用于分類。該論文證明了新的組裝體可以可靠地形成以響應來自不同類別的輸入并保持可區分，特別是當這些類別合理地分開時。

（D'Amore等人，2022）實證表明，復雜的規劃策略，如解決積木世界任務的啟發式方法，可以在組裝演算中有效地實現，并提出了一種解決此類問題的近似策略。然而，它也強調了規劃所需表示的限制，這些規劃涉及長鏈的強連接組裝體；具體來說，對長鏈的可靠實現存在限制。這個想法是，一個積木堆被建模成或多或少像一個鏈表，連接到一個頭節點。當頂部積木被移除時，它與頭節點的關聯通過權重歸一化（穩態）慢慢被遺忘，并且學習積木與其新相鄰節點之間的新關聯。

（Xie，Li & Rangamani，2023）討論了兩種組裝演算操作的使用，即從刺激創建組裝體的投影和實現變量綁定的互惠投影，這是一個具體對象（變量）被綁定到由其關系確定的抽象結構的過程，或者換句話說，由不同CA編碼的項目如何可以被組合在各種設置中使用。它類似于謂詞邏輯中用一個事實替換一個變量（我們將在第13節后面關注的一個重要概念）。研究表明，互惠投影的容量低于投影，但提出了一種跳過連接方法，增加了容量，并為使用神經元組裝探索層次模型提供了機會。

（Huyck，2007）表明，高度循環的神經網絡可以學習以CA形式的回響電路。它們有能力對其輸入進行分類，該論文探討了它們學習層次類別的潛力。基于尖峰疲勞泄漏積分器的模擬器用于建模，學習是通過一種Hebbian學習形式實現的。重疊的CA允許神經元參與多個CA，增強了網絡的分類能力。包含CA的NN可以根據感官信息學習和適應，CA通過無監督學習形成、增長、修改和分裂。這樣的網絡充當分類器，CA代表類別，當一個實例屬于一個類別時被激活。在論文中的例子中，網絡被劃分為識別10種動物特征的神經元，包括那些特定于動物類別的特征（例如，狗、貓和老鼠的特征0到2），以及所有哺乳動物的共享特征（特征3和4）。其他特征與尾巴和飲食習慣有關。與這些特征相關的神經元根據動物實例中特定特征的存在而被激活。模擬顯示了層次分類的出現：神經網絡識別四個類別：狗、貓、老鼠和哺乳動物（超類）。這是通過形成重疊的CA實現的。例如，狗和老鼠與貓共享特征，而哺乳動物包含其大多數子類共有的特征。

這種層次結構的一個優點是能夠執行默認推理。經過訓練的網絡可以根據其超類的特征推斷出新類的屬性。給出了一個例子，當網絡面對熊的一個實例時，它使用默認推理根據哺乳動物超類的特征推斷出熊是雜食動物。

SHRUTI（Ajjanagadde & Shastri，1991；Shastri，1999）是一個反射推理的生物合理神經模型。它表明，對于一個龐大的通用和特定知識的體系進行系統推理可以是神經系統自發和自然的結果。人類具有快速高效地進行各種推理的先天能力，類似于反射反應。認知科學和計算神經科學面臨的挑戰是解釋一個類神經元元素的網絡如何表示廣泛的知識并進行快速推理。SHRUTI模型展示了神經網絡如何編碼語義和情景事實、規則和知識，實現廣泛的快速推理。

關系結構由細胞群表示，推理涉及這些細胞群上的節奏活動傳播，以及適當細胞的同步發射。涉及關系知識的推理對應于這些焦點群集上節奏活動的瞬態傳播。

SHRUTI提供了一個詳細的計算賬戶，說明如何使用同步活動來表示和處理高級概念知識和推理。

在SHRUTI中，“理解”對應于沿著神經回路閉合環路的連貫活動。該模型通過適當細胞的同步發射來表示在給定情況下概念角色和滿足這些角色的實體之間的綁定。LTM中的事實被編碼為時間模式匹配電路，檢測正在進行的節奏活動流中的巧合和巧合失敗。例如，基于包含斷言give(John, Mary, a-Book)的知識庫，對問題“瑪麗是否擁有一本書？”的回答導致了圖7.2中所示的那種激活模式。綁定通過角色和實體節點的同步激活來表達。每個尖峰表示適當節點集合中細胞的同步發射。 SHRUTI模型的一個局限性是，盡管概念以神經方式編碼，但它們并沒有基礎，而是任意的，就像在經典符號表示中一樣。

（Tetzlaff等人，2015）提出，Hebbian意義上的突觸可塑性和較慢的突觸縮放過程的結合實現了兩個關鍵目標：CA的形成和神經動力學多樣性的增強。突觸縮放是一個調整神經元之間連接強度的過程，以保持活動水平的平衡。當活動高時，它會削弱突觸，當活動低時，它會加強突觸，確保穩定的神經功能。該研究引入了一種基于不同時間尺度上神經和突觸過程相互作用的機制。它的目標是在長期內實現CA的自組織形成，同時在短期內執行非線性計算。主要的動機是大腦中CA的形成需要適應性地學習和適應新信息，但它也應該是穩定的，不會迅速改變。這表明，使學習成為可能的突觸可塑性必須由作用于更長的時間尺度的過程（如突觸縮放）來穩定。分析結果表明，突觸可塑性和縮放的結合非常適合實現多個CA的共存，因為這很難通過其他突觸可塑性規則或機制（如抑制或短期可塑性）來實現。

（Buzsáki，2010）建議，理解大腦中的CA應該關注它們如何影響下游的“閱讀器-執行器”機制。換句話說，一組活躍神經元或假定的CA的重要性只能通過考慮它們產生的明確輸出來確定。為了識別有意義的組裝體，檢查這些神經元之間的同步性是很重要的，而這種同步性從一個能夠隨時間整合事件的閱讀器機制的角度來看變得有意義。這種方法不同于僅基于神經元連接性而不考慮其功能影響的CA的替代觀點。

該論文介紹了CA及其激活序列可以被理解為具有層次神經語法的觀點，類似于語言。這種句法組織定義了組裝體之間的關系，促進了大腦中的通信和計算。離散組裝體的時間排序產生了“神經詞匯”和“句子”，并使復雜的認知功能（如回憶、思考、推理和計劃）成為可能。

突觸權重的動態變化被稱為“突觸體”，它們被認為在連接不同的尖峰CA中起著重要作用。突觸體有兩個重要的功能。首先，它們將神經組裝體的壽命限制在短時間范圍內，通常持續從亞秒到秒。這種時間約束有助于組裝體活動的組織和終止。其次，突觸體通過改變神經元之間突觸連接的強度，即使在沒有任何正在進行的尖峰活動的情況下，也能彌合不同CA之間的差距，從而連接被不活動期隔開的神經元詞匯。突觸體的這種雙重作用被認為是理解大腦功能連通性如何隨時間演變的關鍵。

（Huyck，2020）概述了一個神經認知架構的建議，該架構旨在緊密接近人腦的神經和認知功能。它使用尖峰神經元作為其基本單元，強調它們有效地近似生物發射行為和突觸修改的能力。所提出的架構可以幫助闡明神經網絡如何產生認知功能，促進各種系統（如基于規則的系統和聯想記憶系統）的整合，并使在認知任務背景下探索神經行為成為可能。

（Valiant，2005）提出了神經模型，這是一種關于神經系統及其計算能力的原創觀點。主要的貢獻圍繞著兩個主要計算功能的開發：記憶形成（一個“連接”功能）和在神經系統中已經表示的項目之間的關聯（一個“鏈接”功能）。這些功能被設計為與生物系統中觀察到的神經參數一致。

文章強調了在實施這些功能時不產生有害干擾或副作用的必要性，確保它們不會破壞先前建立的神經回路或導致意外后果。此外，它探索了使用隨機圖作為在神經系統內實現記憶和關聯任務的計算框架的概念。它表明，即使突觸強度相對較弱，隨機圖也可以用于創建記憶形成和關聯路徑。識別它們意想不到的計算能力是一項重大貢獻。該論文還引入了用于神經網絡內部通信的節點鏈的概念，擴展了之前的提議，如“同步鏈”。它強調這些通信鏈必須在網絡中無處不在，而不是局限于特定區域。

8. 動態模型

神經動力學研究神經元發射狀態的持續變化、同步模式的出現以及神經群體的集體行為。這些研究為感知、認知和其他各種神經現象的潛在機制提供了很好的見解。這些動態過程對于理解大腦如何管理信息、編碼記憶和產生復雜行為至關重要。

在本節中，我們將從三個角度介紹大腦的動態模型。第一個與一組描述大量神經元網絡活動的方程有關。第二個指的是一類被稱為“儲層計算”的計算動態模型。第三個展示了一些表現出可以用混沌理論方法分析的復雜行為的模型，例如，強調神經群體行為中吸引子的存在。

8.1. Wilson-Cowan模型2

在1970年代，Wilson和Cowan發表了兩篇革命性的理論神經科學經典論文。在他們的第一篇論文（Wilson & Cowan，1972）中，他們引入了一組耦合方程，提供了由興奮性和抑制性神經元群體組成的網絡動力學的粗粒度描述。粗粒化涉及以較低的分辨率（從更高的角度）表示系統；在我們的案例中，它是關于描述神經元群體的行為，而不是單個神經元。第二篇論文（Wilson & Cowan，1973）將他們的工作擴展到包括空間依賴性。這些結果標志著計算神經科學領域的轉折點。

在1960年代，許多與Wilson-Cowan方程有關的核心概念已經被提出，但它們還沒有被整合到一個統一的模型中。Wilson和Cowan的目標是開發一個全面的神經元活動描述，明確考慮興奮性和抑制性細胞之間的區別。他們的靈感來自于生理學證據，表明存在對外部刺激有類似反應的特定神經元群體。

以前的研究和模擬探索了空間局部化的神經群體。這些研究使用了各種方法，包括離散和連續時間模型。然而，它們都使用單一變量（如每單位時間變得活躍的細胞比例）來描述某一時刻的群體狀態。

鑒于大腦的復雜性和對微觀細節的有限訪問，人們認為有必要采取統計方法，涉及平均場理論等概念。挑戰在于確保丟失的信息對于理解感興趣的現象并不關鍵。 平均場理論最初是為磁性開發的，作為一種粗粒化方法，用于通過簡化系統中單個粒子或組件之間的相互作用來描述和分析復雜系統的行為，從而使研究更容易處理。平均場理論背后的關鍵思想是通過將組件之間的相互作用視為受到其他組件產生的平均或“平均”場的影響來近似它們的效果。換句話說，系統中的每個組件都與所有其他粒子創建的有效、平均場相互作用，而不是考慮與每個單獨實體的特定相互作用。這種簡化允許人們獲得分析解決方案，這些解決方案提供了對系統集體行為的洞察，即使當個體相互作用非常復雜且難以精確建模時也是如此。這種方法類似于使用統計熱力學將粒子的低級布朗運動與溫度、壓力或擴散等高級特性聯系起來。

Wilson和Cowan根據Dale原理明確考慮了興奮性和抑制性神經元兩個不同亞群之間的相互作用。作者表明，他們的方程描述的動力學表現出多穩定性和滯后性，這可以為記憶提供基礎，以及由刺激強度調制的振蕩頻率的極限周期。（Wilson & Cowan，1972）中引入的一個定理指出，對于一類刺激表現出極限周期行為的神經群體對于另一類刺激表現出簡單的滯后性。

滯后性（圖8.1a）是指神經群體響應表現出關于變化的輸入條件的延遲或非線性關系的現象，因為其狀態不僅取決于當前輸入，還取決于其過去的歷史，即以前的輸入條件繼續影響其當前狀態。極限周期（圖8.1b）代表了神經群體對某些刺激的響應中穩定的、重復的振蕩模式。這種周期性行為通常對應于大腦中觀察到的節律活動，如各種認知過程中的振蕩模式。