赫布理論

赫布理論（英語：Hebbian theory）是一個神經科學理論，解釋了在學習的過程中腦中的神經元所發生的變化。赫布理論描述了突觸可塑性的基本原理，即突觸前神經元向突觸後神經元的持續重複的刺激，可以導致突觸傳遞效能的增加。這一理論由唐納德·赫布於1949年提出^[1]，又被稱為赫布定律（Hebb's rule）、赫布假說（Hebb's postulate）、細胞結集理論（cell assembly theory）等。他如此表述這一理論：

我們可以假定，反射活動的持續與重複會導致神經元穩定性的持久性提升……當神經元A的軸突與神經元B很近並參與了對B的重複持續的興奮時，這兩個神經元或其中一個便會發生某些生長過程或代謝變化，致使A作為能使B興奮的細胞之一，它的效能增強了。

這一理論經常會被總結為「一起激發的神經元連在一起」（Cells that fire together, wire together）^[2]。但是，這個解釋並不完整，赫布強調說，神經元"A"必須對神經元"B"的激發「作出了一定貢獻」，因此，神經元"A"的激發必須在神經元"B"之先，而不能同時激發。赫布理論中的這一部分研究，後來被稱作脈衝時序依賴可塑性，表明突觸可塑性需要一定的時間延遲。^[3]赫布理論可以用於解釋「聯合學習」（associative learning），在這種學習中，由對神經元的重複刺激，使得神經元之間的突觸強度增加。這樣的學習方法被稱為赫布型學習（Hebbian learning）。赫布理論也成為了非監督學習的生物學基礎。

赫布記憶印痕與細胞結集理論

赫布理論解釋了神經元如何組成聯接，從而形成記憶印痕（英語：engram(neuropsychology)）。赫布理論闡明了細胞集群（Cell Assemblies）的形態和功能：「兩個神經元或者神經元系統，如果總是同時被激發，就會形成一種『組合』，其中一個神經元的激發會促進另一個的激發。」^[1]^:70 赫布同時寫道：「如果一個神經元持續激活另一個神經元，前者的軸突將會生長出突觸小體（如果已有，則會繼續長大）和後者的胞體相連接。」^[1]^:63

高爾頓·威拉德·奧爾波特根據「自聯想」(auto-association) 的思路，進一步提出了關於細胞集群的作用，以及它們在形成記憶痕跡中的角色：

如果系統的輸入會導致同樣的模式重複出現，那麼組成這個模式的元素之間的相互關聯性將會大大增強。這意味着，其中任何一個元素都會傾向於觸發同組的其他元素，同時（以減少權重的方式）抑制組外其他不相關元素。另一個角度來看，這個模式作為一個整體實現了「自聯想」。我們可以把一個學習了（自聯想）的模式稱為記憶痕跡。^[4]^:44

通常認為，從整體的角度來看，赫布學習是神經網絡形成記憶痕跡的首要基礎。

埃里克·坎德爾在一種稱作加州海兔（英語：Aplysia californica）的海生腹足綱動物上關於突觸學習機制的研究，進一步表明了赫布理論和這一學習機制的關聯。

在脊椎動物的中樞神經系統中進行關於赫布突觸可塑機制的實驗，要比在海洋無脊椎動物的周邊神經系統中難以控制許多。許多關於脊椎動物神經元的長時期突觸變化（例如長期增強作用）的實驗，都是對腦細胞的模擬而非進行真實的生理學實驗。儘管如此，一些關於脊椎動物的腦內突觸可塑機制的生理實驗，也傾向於符合赫布理論。

公式

在人工神經網絡中，突觸間傳遞作用的變化被當作是（被映射成）神經元網絡圖中相應權重的變化。如果兩個神經元同步激發，則它們之間的權重增加；如果單獨激發，則權重減少。赫布學習規則是最古老的也是最簡單的神經元學習規則。

以下是一種描述赫布學習的公式：

\,w_{ij}=x_{i}x_{j}

其中 $w_{ij}$ 是從神經元 $j$ 到神經元 $i$ 的聯接權重， $x_{i}$ 是神經元 $i$ 的輸入。注意這是模式學習，每個訓練樣本都會導致權重改變。在Hopfield神經網絡中，如果 $i=j$ 則 $w_{ij}$ 恆為 0（沒有神經元和自身相連）。對於二進制的神經元（激發值只能為0或者1），如果它聯接的神經元有相同的激發模式，則聯接會設定為 1。

另一種表達式為:

$w_{ij}={\frac {1}{p}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}\,$ ,

其中 $w_{ij}$ 是從神經元 $j$ 到神經元 $i$ 的聯接權重， $p$ 是訓練模式的個數,，而 $x_{i}^{k}$ 是神經元 $i$ 的第 $k$ 個輸入。（這是按照時段來進行學習，在所有訓練樣本都給出了之後再更新權重。）同樣的，在Hopfield神經網絡中，如果 $i=j$ 則 $w_{ij}$ 恆為 0（沒有神經元和自身相連）。

赫布理論有一個變體，稱作哈里·克洛普弗理論（Harry Klopf's model），考慮了包括阻斷等生理現象，可以再現很多生物學表現，也很容易使用。

概括與穩定性

赫布定理通常可以概括為：

$\Delta w_{ij}=\eta \cdot a_{i}\cdot o_{j}$

$\Delta w_{ij}$ ：由神經元 $j$ 向神經元 $i$ 傳遞的權重的變化量（即兩神經元間的連接強度）

$\eta$ ：學習速率（一個可選的合適的常係數）

$a_{i}$ ：神經元 $i$ 的激活值

$o_{j}$ ：神經元 $j$ 的輸出值，也是與神經元 $i$ 相連接的值

例外

儘管赫布模型在長期增強作用中廣泛使用，也還是存在一些赫布定理的反例，表明該理論在某些方面過度簡化了。其中記錄最詳細的一個反例，表明了突觸的可塑性不僅僅發生在神經元A和B之間，也會影響鄰近的神經元。^[5]這是因為赫布學習對於突觸的改變，取決於逆向信號（英語：Retrograde Signaling）對於前突觸神經元的作用。通常傳遞逆向信號的化合物是一氧化氮，具有高度的可溶性和擴散能力，常常會影響到鄰近的神經元。^[6] 這一類擴散性的突觸改變機制，被稱作集結學習（volume learning），即使不是對傳統赫布模型的挑戰，也是一種補充。^[7]

赫布學習對鏡像神經元的解釋

赫布理論和STDP已經被應用於解釋鏡像神經元的產生。^[8]^[9] 鏡像神經元不僅在個體做某種動作的時候會激發，而且當個體僅僅看見^[10] 或者聽見^[11]其他個體在進行類似的動作的時候也會激發。鏡像神經元的發現，對於解釋為何個體會對他者的動作敏感非常重要。當一個人感知到他人的動作的同時，激活了一套能讓自己做出類似動作的行動模式。這套行動模式的激活，可以為知覺提供信息，以便按照自己行動模式來預言他人接下來會做什麼。然而，很難解釋個體是如何產生既能夠對自己的動作做出反應，又能夠對於聽見或者看見他人的動作做出反應的神經元。

克里斯蒂安·克瑟爾（英語：Christian Keysers）和David Perrett認為，當一個個體在做一個特定動作時，他將會看到、聽見、感覺到自己在做這個動作。這些對自我的感覺信號，將會激發這一類動作所對應的視覺、聽覺和觸覺神經元。因為這些感覺神經元總是會和引起這些動作的運動神經元同時激發，赫布學習機制告訴我們，對應這些感覺的神經元將會激發對應這些運動的神經元。當人們在鏡子中看見自己，聽見自己喃喃自語，或者模仿別人的時候，同樣的過程也會發生。經過多次這樣自我感受的經驗，聯接感覺神經元和運動神經元的突觸將會增強，導致某個動作的聲音或者圖像就可以激發運動神經元，於是鏡像神經元就這樣產生了。

許多實驗都表明了，如果這個刺激和運動模式持續同時出現的話，運動模式可以被特別的聲音或者視覺刺激激發。(一些實例請參考 Giudice et al., 2009^[12]) 例如，從未彈過鋼琴的人聽到鋼琴音樂的時候，頭腦中和鋼琴演奏有關的腦區並不會激活。在4個小時鋼琴課裏，被試的每一次觸鍵都會和鋼琴的聲音聯繫在一起，于是之後再聽到鋼琴音樂的時候可以激發腦中的運動區域。^[13]這再一次證明了STDP只有在突觸前神經元的興奮導致了突觸後神經元的興奮的情況下才會產生，^[14]而感覺刺激和運動模式之間的聯繫，似乎也只有在刺激是緊隨運動模式而出現的情況下才會形成。

參考文獻

^ ^1.0 ^1.1 ^1.2 Hebb, D.O. The Organization of Behavior. New York: Wiley & Sons. 1949.
^ Carla Shatz, Stanford University; The exact sentence is: "Segregation to form the columns in the visual cortex [...] proceeds when the two nerves are stimulated asynchronously. In a sense, then, cells that fire together wire together. The timing of action-potential activity is critical in determing which synaptic connections are strenghtened and retained and which are weakened and eliminated." Shatz, Carla J. The Developing Brain. United States: Scientific American. 1992: 60–67 [2015-07-02]. ISSN 0036-8733. （原始內容存檔於2021-05-15）. . Also referenced in Doidge, Norman. The Brain That Changes Itself. United States: Viking Press. 2007: 427 [2015-07-02]. ISBN 067003830X. （原始內容存檔於2014-05-31）.
^ Caporale, N., & Dan, Y. (2008). "Spike timing-dependent plasticity: a Hebbian learning rule". Annual Review of Neuroscience, 31, 25-46.
^ Allport, D.A. Distributed memory, modular systems and dysphasia. Newman, S.K. and Epstein, R. (Eds.) (編). Current Perspectives in Dysphasia. Edinburgh: Churchill Livingstone. 1985. ISBN 0-443-03039-1.
^ Horgan, John. Neural Eavesdropping. Scientific American. May 1994: 16.
^ López, P; C.P. Araujo. A COMPUTATIONAL STUDY OF THE DIFFUSE NEIGHBOURHOODS IN BIOLOGICAL AND ARTIFICIAL NEURAL NETWORKS (PDF). - International Joint Conference on Computational Intelligence. 2009 [2015-07-02]. （原始內容存檔 (PDF)於2017-02-01）.
^ Mitchison, G; N. Swindale. Can Hebbian Volume Learning Explain Discontinuities in Cortical Maps?. Neural Computation. October 1999, 11 [2015-07-02]. doi:10.1162/089976699300016115. （原始內容存檔於2019-12-02）.
^ Keysers, C., & Perrett, D. I. (2004). "Demystifying social cognition: a Hebbian perspective". Trends in Cognitive Sciences, 8(11), 501-507.
^ Keysers, C. (2011). The Empathic Brain.
^ Gallese, V., Fadiga, L., Fogassi, L., & Rizzolatti, G. (1996). "Action recognition in the premotor cortex". Brain, 119 ( Pt 2), 593-609.
^ Keysers, C., Kohler, E., Umilta, M. A., Nanetti, L., Fogassi, L., & Gallese, V. (2003). "Audiovisual mirror neurons and action recognition". Exp Brain Res, 153(4), 628-636.
^ Del Giudice, M., Manera, V., & Keysers, C. (2009). "Programmed to learn? The ontogeny of mirror neurons". Dev Sci, 12(2), 350-363.
^ Lahav, A., Saltzman, E., & Schlaug, G. (2007). "Action representation of sound: audiomotor recognition network while listening to newly acquired actions". J Neurosci, 27(2), 308-314.
^ Bauer, E. P., LeDoux, J. E., & Nader, K. (2001). "Fear conditioning and LTP in the lateral amygdala are sensitive to the same stimulus contingencies". Nat Neurosci, 4(7), 687-688.

擴展閱讀

Hebb, D.O. Distinctive features of learning in the higher animal. J. F. Delafresnaye (Ed.) (編). Brain Mechanisms and Learning. London: Oxford University Press. 1961.
D. O. Hebb. HUMAN BEHAVIOR AFTER EXTENSIVE BILATERAL REMOVAL FROM THE FRONTAL LOBES. Archives of Neurology And Psychiatry. 1940-08-01, 44 (2) [2018-04-02]. ISSN 0096-6754. doi:10.1001/archneurpsyc.1940.02280080181011 （英語）.
Bishop, C.M. Neural Networks for Pattern Recognition. Oxford: Oxford University Press. 1995. ISBN 0-19-853849-9.
Paulsen, O.; Sejnowski, T. J. Natural patterns of activity and long-term synaptic plasticity. Current Opinion in Neurobiology. 2000, 10 (2): 172–179. PMC 2900254  . PMID 10753798. doi:10.1016/S0959-4388(00)00076-3.

參見

戴爾原則（英語：Dale's principle）
神經生物學中的重合檢測（英語：Coincidence detection in neurobiology）
Leabra（英語：Leabra）（基於局部誤差驅動和結合生物學實際算法）
再可塑性（英語：Metaplasticity）
強直刺激（英語：Tetanic stimulation）
突觸營養假設（英語：Synaptotropic hypothesis）

外部連結

Overview
Hebbian Learning tutorial (Part 1: Novelty Filtering, Part 2: PCA)

[Hebb_1949-1] 1.0 ^1.1 ^1.2 Hebb, D.O. The Organization of Behavior. New York: Wiley & Sons. 1949.

[2] Carla Shatz, Stanford University; The exact sentence is: "Segregation to form the columns in the visual cortex [...] proceeds when the two nerves are stimulated asynchronously. In a sense, then, cells that fire together wire together. The timing of action-potential activity is critical in determing which synaptic connections are strenghtened and retained and which are weakened and eliminated." Shatz, Carla J. The Developing Brain. United States: Scientific American. 1992: 60–67 [2015-07-02]. ISSN 0036-8733. （原始內容存檔於2021-05-15）. . Also referenced in Doidge, Norman. The Brain That Changes Itself. United States: Viking Press. 2007: 427 [2015-07-02]. ISBN 067003830X. （原始內容存檔於2014-05-31）.

[3] Caporale, N., & Dan, Y. (2008). "Spike timing-dependent plasticity: a Hebbian learning rule". Annual Review of Neuroscience, 31, 25-46.

[4] Allport, D.A. Distributed memory, modular systems and dysphasia. Newman, S.K. and Epstein, R. (Eds.) (編). Current Perspectives in Dysphasia. Edinburgh: Churchill Livingstone. 1985. ISBN 0-443-03039-1.

[5] Horgan, John. Neural Eavesdropping. Scientific American. May 1994: 16.

[6] López, P; C.P. Araujo. A COMPUTATIONAL STUDY OF THE DIFFUSE NEIGHBOURHOODS IN BIOLOGICAL AND ARTIFICIAL NEURAL NETWORKS (PDF). - International Joint Conference on Computational Intelligence. 2009 [2015-07-02]. （原始內容存檔 (PDF)於2017-02-01）.

[7] Mitchison, G; N. Swindale. Can Hebbian Volume Learning Explain Discontinuities in Cortical Maps?. Neural Computation. October 1999, 11 [2015-07-02]. doi:10.1162/089976699300016115. （原始內容存檔於2019-12-02）.

[8] Keysers, C., & Perrett, D. I. (2004). "Demystifying social cognition: a Hebbian perspective". Trends in Cognitive Sciences, 8(11), 501-507.

[9] Keysers, C. (2011). The Empathic Brain.

[10] Gallese, V., Fadiga, L., Fogassi, L., & Rizzolatti, G. (1996). "Action recognition in the premotor cortex". Brain, 119 ( Pt 2), 593-609.

[11] Keysers, C., Kohler, E., Umilta, M. A., Nanetti, L., Fogassi, L., & Gallese, V. (2003). "Audiovisual mirror neurons and action recognition". Exp Brain Res, 153(4), 628-636.

[12] Del Giudice, M., Manera, V., & Keysers, C. (2009). "Programmed to learn? The ontogeny of mirror neurons". Dev Sci, 12(2), 350-363.

[13] Lahav, A., Saltzman, E., & Schlaug, G. (2007). "Action representation of sound: audiomotor recognition network while listening to newly acquired actions". J Neurosci, 27(2), 308-314.

[14] Bauer, E. P., LeDoux, J. E., & Nader, K. (2001). "Fear conditioning and LTP in the lateral amygdala are sensitive to the same stimulus contingencies". Nat Neurosci, 4(7), 687-688.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]