【正文】 stephen Grossberg），吉姆安德森（ Jim Anderson），托伊沃 .科霍寧（ TeuvoKohonen）和戴維威爾肖（ Devid Willshaw）。 (2)每個(gè)輸入對(duì)單元的影響是將當(dāng)前的輸入信號(hào)（ +1或 1）與其相應(yīng)的權(quán)值相乘而得到的。（如果當(dāng)前信號(hào)是 1，權(quán)重是 +2，則影響為 2。） 計(jì)算將被一遍遍地反復(fù)進(jìn)行，直到所有單元的輸出都穩(wěn)定為止。①在霍普菲爾德網(wǎng)絡(luò)中，所有單元的狀態(tài)并不是同時(shí)改變的，而是按隨機(jī) 次序一個(gè)接一個(gè)進(jìn)行，霍普菲爾德從理論上證明了，給定一組權(quán)重（連接強(qiáng)度）以及任何輸入，網(wǎng)絡(luò)將不會(huì)無(wú)限制地處于漫游狀態(tài)，也不會(huì)進(jìn)入振蕩，而是迅速達(dá)到一個(gè)穩(wěn)態(tài)。① 霍普菲爾德的論證令人信服，表達(dá)也清晰有力。他的網(wǎng)絡(luò)對(duì)數(shù)學(xué)家和物理學(xué)家有巨大的吸引力，他們認(rèn)為終于找到了一種他們可以涉足腦研究的方法（正如我們?cè)诩永Ｄ醽喼菟f(shuō)的）。雖然這個(gè)網(wǎng)絡(luò)在許多細(xì)節(jié)上嚴(yán)重違背生物學(xué)，但他們并不對(duì)此感到憂慮。 如何調(diào)節(jié)所有這些連接的強(qiáng)度呢？ 194 年，加拿大心理學(xué)家唐納德赫布（ DonaldHebb）出版了《行為的 組織》一書(shū)。當(dāng)時(shí)人們就像現(xiàn)在一樣普遍相信，在學(xué)習(xí)過(guò)程中，一個(gè)關(guān)鍵因素是神經(jīng)元的連接（突觸）強(qiáng)度的調(diào)節(jié)。赫布意識(shí)到，僅僅因?yàn)橐粋€(gè)突觸是活動(dòng)的，就增加其強(qiáng)度，這是不夠的。他期望一種只在兩個(gè)神經(jīng)元的活動(dòng)相關(guān)時(shí)才起作用的機(jī)制。他的書(shū)中有一個(gè)后來(lái)被廣泛引用的段落：“當(dāng)細(xì)胞 A的一個(gè)軸突和細(xì)胞 B 很近，足以對(duì)它產(chǎn)生影響，并且持久地、不斷地參與了對(duì)細(xì)胞 B 的興奮，那么在這兩個(gè)細(xì)胞或其中之一會(huì)發(fā)生某種生長(zhǎng)過(guò)程或新陳代謝變化，以致于 A作為能使 B 興奮的細(xì)胞之一，它的影響加強(qiáng)了。”這個(gè)機(jī)制以及某些類似規(guī)則，現(xiàn)在稱為“赫布律”。 霍普菲爾德在他的網(wǎng)絡(luò)中使用了一種形式的赫布規(guī)則來(lái)調(diào)節(jié)連接權(quán)重。對(duì)于問(wèn)題中的一種模式，如果兩個(gè)單元具有相同的輸出，則它們之間的相互連接權(quán)重都設(shè)為 +1。如果它們具有相反的輸出，則兩個(gè)權(quán)重均設(shè)為 1。大致他說(shuō)，每個(gè)單元激勵(lì)它的“朋友”并試圖削弱它的“敵人”。 霍普菲爾德網(wǎng)絡(luò)是如何工作的呢？如果網(wǎng)絡(luò)輸入的是正確的單元活動(dòng)模式，它將停留在該狀態(tài)。這并沒(méi)有什么特別的，因?yàn)榇藭r(shí)給予它的就是答案。值得注意的是，如果僅僅給出模式的一小部分作為“線索”，它在經(jīng)過(guò)短暫的演化后，會(huì)穩(wěn)定在正確的輸出即整個(gè)模式上，在不斷地調(diào)節(jié)各個(gè)單元的輸出之后，網(wǎng)絡(luò)所揭示的是單元活動(dòng)的穩(wěn)定聯(lián)系。最終它將有效地從某些僅僅與其存貯的“記憶”接近的東西中恢復(fù)出該記憶，此外，這種記憶也被稱作是按“內(nèi)容尋址”的 —— 即它沒(méi)有通常計(jì)算機(jī)中具有的分離的、唯一用于作為“地址”的信號(hào)。輸入模式的任何可察覺(jué)的部分都將作為地址。這開(kāi)始與人的記憶略微有些相似了。 請(qǐng)注意記憶并不必存貯在活動(dòng)狀態(tài)中，它也可以完全是被動(dòng)的，因?yàn)樗氰偳对跈?quán)重的模式之中的即在所有各個(gè)單元之間的連接強(qiáng)度之中。網(wǎng)絡(luò)可以完全不活動(dòng)（所有輸出置為 0），但只要有信號(hào)輸入，網(wǎng)絡(luò)突然活 動(dòng)起來(lái)并在很短時(shí)間內(nèi)進(jìn)入與其應(yīng)當(dāng)記住的模式相對(duì)應(yīng)的穩(wěn)定的活動(dòng)狀態(tài)。據(jù)推測(cè)，人類長(zhǎng)期記憶的回憶具有這種一般性質(zhì)（只是活動(dòng)模式不能永久保持）。你能記住大量現(xiàn)在一時(shí)想不起來(lái)的事情。 神經(jīng)網(wǎng)絡(luò)（特別是霍普菲爾德網(wǎng)絡(luò)）能“記住”一個(gè)模式，但是除此以外它還能再記住第二個(gè)模式嗎？如果幾個(gè)模式彼此不太相似，一個(gè)網(wǎng)絡(luò)是能夠全部記住這幾個(gè)不同模式，即給出其中一個(gè)模式的足夠大的一部分，網(wǎng)絡(luò)經(jīng)過(guò)少數(shù)幾個(gè)周期后將輸出該模式。因?yàn)槿魏我粋€(gè)記憶都是分布在許多連接當(dāng)中的，所以整個(gè)系統(tǒng)中記憶是分布式的。因?yàn)槿魏我粋€(gè)連接都可能包含在 多個(gè)記憶中，因而記憶是可以疊加的。此外，記憶具有魯棒性，改變少數(shù)連接通常不會(huì)顯著改變網(wǎng)絡(luò)的行為。 為了實(shí)現(xiàn)這些特性就需要付出代價(jià)，這不足為奇。如果將過(guò)多的記憶加到網(wǎng)絡(luò)之中則很容易使它陷入混亂。即使給出線索，甚至以完整的模式作為輸入，網(wǎng)絡(luò)也會(huì)產(chǎn)生毫無(wú)意義的輸出。① 有人提出這是我們做夢(mèng)時(shí)出現(xiàn)的現(xiàn)象（弗洛伊德稱之為“凝聚” —— condensation），但這是題外話。值得注意的是，所有這些特性是“自然發(fā)生”的。它們并不是網(wǎng)絡(luò)設(shè)計(jì)者精心設(shè)置的，而是由單元的本性、它們連接的模式以及權(quán)重調(diào)節(jié)規(guī)則所 決定的。 霍普菲爾德網(wǎng)絡(luò)還有另一個(gè)性質(zhì)，即當(dāng)幾個(gè)輸人事實(shí)上彼此大致相似時(shí)，在適當(dāng)計(jì)算網(wǎng)絡(luò)的連接權(quán)重后，它“記住”的將是訓(xùn)練的模式的某種平均。這是另一個(gè)與腦有些類似的性質(zhì)。對(duì)我們?nèi)祟惗裕?dāng)我們聽(tīng)某個(gè)特定的聲調(diào)時(shí)，即便它在一定范圍內(nèi)發(fā)生變化，我們也會(huì)覺(jué)得它是一樣的。輸入是相似但不同的，而輸出 —— 我們所聽(tīng)到的 —— 則是一樣的。 這些簡(jiǎn)單網(wǎng)絡(luò)是不能和腦的復(fù)雜性相提并論的，但這種簡(jiǎn)化確實(shí)使我們可能對(duì)它們的行為有所了解，即使是簡(jiǎn)單網(wǎng)絡(luò)中出現(xiàn)的特點(diǎn)也可能出現(xiàn)在具有相同普遍特性的更復(fù)雜的網(wǎng)絡(luò)中，此外，它 們向我們提供了多種觀點(diǎn)，表明特定的腦回路所可能具有的功能。例如，海馬中有一個(gè)稱為 CA3 的區(qū)域，它的連接事實(shí)上很像一個(gè)按內(nèi)容尋址的網(wǎng)絡(luò)。當(dāng)然，這是否正確尚需實(shí)驗(yàn)檢驗(yàn)。 有趣的是，這些簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)具有全息圖的某些特點(diǎn)。在全息圖中，幾個(gè)影像可以彼此重疊地存貯在一起；全息圖的任何一部分都能用來(lái)恢復(fù)整個(gè)圖像，只不過(guò)清晰度會(huì)下降；全息圖對(duì)于小的缺陷是魯棒的。對(duì)腦和全息圖兩者均知之甚少的人經(jīng)常會(huì)熱情地支持這種類比。幾乎可以肯定這種比較是沒(méi)有價(jià)值的。原因有兩個(gè)。詳細(xì)的數(shù)學(xué)分析表明神經(jīng)網(wǎng)絡(luò)和全息圖在數(shù)學(xué)上是不同的 。更重要的是，雖然神經(jīng)網(wǎng)絡(luò)是由那些與真實(shí)神經(jīng)元有些相似的單元構(gòu)建的，沒(méi)有證據(jù)表明腦中具有全息圖所需的裝置或處理過(guò)程。（ 1） 一本更新的書(shū)產(chǎn)生了巨大的沖擊力，這就是戴維魯梅爾哈特（ David Rumelhart）、詹姆斯麥克萊蘭（ James McClelland）和 PDP 小組所編的一套很厚的兩卷著作《平行分布式處理》（ 1)。該書(shū)于 1986 年問(wèn)世，并很快至少在學(xué)術(shù)界成為最暢銷書(shū)。名義上我也是 PDP 小組的成員，并和淺沼智行（ Chiko Asanuma）合寫(xiě)了其中的一個(gè)章節(jié)。不過(guò)我起的作用很小。我?guī)缀?只有一個(gè)貢獻(xiàn)，就是堅(jiān)持要求他們停止使用神經(jīng)元一詞作為他們網(wǎng)絡(luò)的單元。 加利福尼亞州立大學(xué)圣迭戈分校心理系離索爾克研究所僅有大約一英里。在 70 年代末 80年代初我經(jīng)常步行去參加他們的討論小組舉行的小型非正式會(huì)議。那時(shí)我時(shí)常漫步的地方如今已變成了巨大的停車場(chǎng)。生活的步伐越來(lái)越快，我現(xiàn)在已改為驅(qū)車飛馳于兩地之間了。 研究小組當(dāng)時(shí)是由魯梅爾哈特和麥克萊蘭領(lǐng)導(dǎo)的，但是不久麥克萊蘭就離開(kāi)前往東海岸了。他們倆最初都是心理學(xué)家，但他們對(duì)符號(hào)處理器感到失望并共同研制了處理單詞的“相互作用激勵(lì)器”的模型。在克 里斯托夫朗格特 希金斯（ Christopher LonguetHiggins）的另一位學(xué)生杰弗里希爾頓（ Geoffrey Hinton）的鼓勵(lì)下，他們著手研究一個(gè)更加雄心勃勃的“聯(lián)結(jié)主義”方案。他們采納了平行分布式處理這個(gè)術(shù)語(yǔ)，因?yàn)樗纫郧暗男g(shù)語(yǔ) —— 聯(lián)想記憶② —— 的覆蓋面更廣。 在人們發(fā)明網(wǎng)絡(luò)的初期，一些理論家勇敢地開(kāi)始了嘗試。他們把一些仍顯笨拙的小型電子回路（其中常包括有老式繼電器）連接在一起來(lái)模擬他們的非常簡(jiǎn)單的網(wǎng)絡(luò)?，F(xiàn)在已發(fā)展出了復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)，這得益于現(xiàn)代計(jì)算機(jī)的運(yùn)算速度得到了極 大的提高，也很便宜。現(xiàn)在可以在計(jì)算機(jī)（這主要是數(shù)字計(jì)算機(jī)）上模擬檢驗(yàn)關(guān)于網(wǎng)絡(luò)的新思想，而不必像早期的研究那樣僅靠粗糙的模擬線路或是用相當(dāng)困難的數(shù)學(xué)論證。 1986年出版的《平行分布式處理》一書(shū)從 1981 年底開(kāi)始經(jīng)過(guò)了很長(zhǎng)時(shí)間的醞釀。這很幸運(yùn)，因?yàn)樗且粋€(gè)特殊算法的最新發(fā)展（或者說(shuō)是它的復(fù)興或應(yīng)用），在其早期工作基礎(chǔ)上，很快給人留下了深刻的印象。該書(shū)的熱情讀者不僅包括腦理論家和心理學(xué)家，還有數(shù)學(xué)家、物理學(xué)家和工程師，甚至有人工智能領(lǐng)域的工作者。不過(guò)后者最初的反應(yīng)是相當(dāng)敵視的。最終神經(jīng)科學(xué)家和分子生物 學(xué)家也對(duì)它的消息有所耳聞。 該書(shū)的副標(biāo)題是“認(rèn)知微結(jié)構(gòu)的探索”。它是某種大雜燴，但是其中一個(gè)的特殊的算法產(chǎn)生了驚人的效果。該算法現(xiàn)在稱作“誤差反傳算法”，通常簡(jiǎn)稱為“反傳法”。為了理解這個(gè)算法，你需要知道一些關(guān)于學(xué)習(xí)算法的一般性知識(shí)。 在神經(jīng)網(wǎng)絡(luò)有些學(xué)習(xí)形式被稱作是“無(wú)教師的”。這意味著沒(méi)有外界輸入的指導(dǎo)信息。對(duì)任何連接的改變只依賴于網(wǎng)絡(luò)內(nèi)部的局部狀態(tài)。簡(jiǎn)單的赫布規(guī)則具有這種特點(diǎn)。與之相反，在有教師學(xué)習(xí)中，從外部向網(wǎng)絡(luò)提供關(guān)于網(wǎng)絡(luò)執(zhí)行狀況的指導(dǎo)信號(hào)。 無(wú)教師學(xué)習(xí)具有很誘人的性質(zhì) ，因?yàn)閺哪撤N意義上說(shuō)網(wǎng)絡(luò)是在自己指導(dǎo)自己。理論家們?cè)O(shè)計(jì)了一種更有效的學(xué)習(xí)規(guī)則，但它需要一位“教師”來(lái)告訴網(wǎng)絡(luò)它對(duì)某些輸入的反應(yīng)是好、是差還是很糟。這種規(guī)則中有一個(gè)稱作“δ律”。 訓(xùn)練一個(gè)網(wǎng)絡(luò)需要有供訓(xùn)練用的輸入集合，稱作“訓(xùn)練集”。很快我們?cè)谟懻摼W(wǎng)絡(luò)發(fā)音器（ NETtalk）時(shí)將看到一個(gè)這樣的例子。這有用的訓(xùn)練集必須是網(wǎng)絡(luò)在訓(xùn)練后可能遇到的輸入的合適的樣本。通常需要將訓(xùn)練集的信號(hào)多次輸入，因而在網(wǎng)絡(luò)學(xué)會(huì)很好地執(zhí)行之前需要進(jìn)行大量的訓(xùn)練。其部分原因是這種網(wǎng)絡(luò)的連接通常是隨機(jī)的。而從某種意義上講，腦的初始連接是由遺傳機(jī)制控制的，通常不完全是隨機(jī)的。 網(wǎng)絡(luò)是如何進(jìn)行訓(xùn)練的呢？當(dāng)訓(xùn)練集的一個(gè)信號(hào)被輸入到網(wǎng)絡(luò)中，網(wǎng)絡(luò)就會(huì)產(chǎn)生一個(gè)輸出。這意味著每個(gè)輸出神經(jīng)元都處在一個(gè)特殊的活動(dòng)狀態(tài)。教師則用信號(hào)告訴每個(gè)輸出神經(jīng)元它的誤差，即它的狀態(tài)與正確之間的差異，δ這個(gè)名稱便來(lái)源于這個(gè)真實(shí)活動(dòng)與要求之間的差異（數(shù)學(xué)上δ常用來(lái)表示小而有限的差異）。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則利用這個(gè)信息計(jì)算如何調(diào)整權(quán)重以改進(jìn)網(wǎng)絡(luò)的性能。 Adaline 網(wǎng)絡(luò)是使用有教師學(xué)習(xí)的一個(gè)較早的例子。它是 1960 年由伯納德威德羅（ Bernard widrow）和霍夫（ ）設(shè)計(jì)的，因此δ律又稱作威德羅 霍夫規(guī)則。他們?cè)O(shè)計(jì)規(guī)則使得在每一步修正中總誤差總是下降的。①這意味著隨著訓(xùn)練過(guò)程網(wǎng)絡(luò)最終會(huì)達(dá)到一個(gè)誤差的極小值。這是毫無(wú)疑問(wèn)的，但還不能確定它是真正的全局極小還是僅僅是個(gè)局域極小值。用自然地理的術(shù)語(yǔ)說(shuō)就是，我們達(dá)到的是一個(gè)火山口中的湖，還是較低的池塘。海洋，還是像死海那樣的凹下去的海（低于海平面的海）？ 訓(xùn)練算法是可以調(diào)節(jié)的，因而趨近局域極小的步長(zhǎng)可大可小。如果步長(zhǎng)過(guò)大，算法會(huì)使網(wǎng)絡(luò)在極小值附近跳來(lái)跳去（開(kāi)始時(shí)它會(huì)沿下坡走，但走得 太遠(yuǎn)以致又上坡了）。如果步子小，算法就需要極長(zhǎng)的時(shí)間才能達(dá)到極小值的底端。人們也可以使用更精細(xì)的調(diào)節(jié)方案。 反傳算法是有教師學(xué)習(xí)算法中的一個(gè)特殊例子。為了讓它工作，網(wǎng)絡(luò)的單元需要具有一些特殊性質(zhì)。它們的輸出不必是二值的（即，或 0，或者＋ 1 或 1），而是分成若干級(jí)。它通常在 0 到 +1 之間取值。理論家們盲目地相信這對(duì)應(yīng)于神經(jīng)元的平均發(fā)放率（取最大發(fā)放率為＋ 1），但他們常常說(shuō)不清應(yīng)該在什么時(shí)候取這種平均。 如何確定這種“分級(jí)”輸出的大小呢？像以前一樣，每個(gè)單元對(duì)輸入加權(quán)求和，但此時(shí)不再有一個(gè)真實(shí) 的閾值。如果總和很小，輸出幾乎是 0?？偤蜕源笠恍r(shí)，輸出便增加。當(dāng)總和很大時(shí)，輸出接近于最大值。圖 54 所示的 S 形函數(shù)（ sigmoid 函數(shù)）體現(xiàn)了這種輸入總和與輸出間的典型關(guān)系。如果將一個(gè)真實(shí)神經(jīng)元的平均發(fā)放率視為它的輸出，那么它的行為與此相差不大。 這條看似平滑的曲線有兩個(gè)重要性質(zhì)。它在數(shù)學(xué)上是“可微的”，即任意一處的斜率都是有限的；反傳算法正依賴于這個(gè)特性。更重要的是，這條曲線是非線性的，而真實(shí)神經(jīng)元即是如此。當(dāng)（內(nèi)部）輸入加倍時(shí)輸出并不總是加倍。這種非線性使得它能處理的問(wèn)題比嚴(yán)格的線性系統(tǒng)更加 廣泛。 現(xiàn)在讓我們看一個(gè)典型的反傳網(wǎng)絡(luò)。它通常具有三個(gè)不同的單元層（見(jiàn)圖 55）。最底層是輸入層。下一層被稱作“隱單元”層，因?yàn)檫@些單元并不直接與網(wǎng)絡(luò)外部的世界連接。最頂層是輸出層。最底層的每個(gè)單元都與上一層的所有單元連接。中間層也是如此。網(wǎng)絡(luò)只有前向連接，而沒(méi)有側(cè)向連接，除了訓(xùn)練以外也沒(méi)有反向的投射。它的結(jié)構(gòu)幾乎不能被簡(jiǎn)化。 訓(xùn)練開(kāi)始的時(shí)候，所有的權(quán)重都被隨機(jī)賦值，因而網(wǎng)絡(luò)最初對(duì)所有信號(hào)的反應(yīng)是無(wú)意義的。此后給定一個(gè)訓(xùn)練輸入，產(chǎn)生輸出并按反傳訓(xùn)練規(guī)則調(diào)節(jié)權(quán)重。過(guò)程如下：在網(wǎng)絡(luò)對(duì)訓(xùn)練產(chǎn)生輸 出以后，告訴高層的每個(gè)單元它的輸出與“正確”輸出之間的差。單元利用該信息來(lái)對(duì)每個(gè)從低層單元達(dá)到它的突觸的權(quán)重進(jìn)行小的調(diào)整。然后它將該信息反傳到隱層的每個(gè)單元。每個(gè)隱層單元?jiǎng)t收集所有高層單元傳未的誤差信息，并以此調(diào)節(jié)來(lái)自最底層的所有突觸。 從整體上看具體的算法使得網(wǎng)絡(luò)總是不斷調(diào)節(jié)以減小誤差。這個(gè)過(guò)程被多次重復(fù)。（該算法是普適的，可以用于多于三層的前向網(wǎng)絡(luò)。） 經(jīng)過(guò)了足夠數(shù)量的訓(xùn)練之后網(wǎng)絡(luò)就可以使用了。此時(shí)有一個(gè)輸入的測(cè)試集來(lái)檢驗(yàn)網(wǎng)絡(luò)。測(cè)試集是經(jīng)過(guò)選擇的，它的一般（統(tǒng)計(jì)）特性與訓(xùn)練集相似，但 其他方面則不同。（權(quán)重在這個(gè)階段保持不變，以便考察訓(xùn)練后網(wǎng)絡(luò)的行為。）如果結(jié)果不能令人滿意，設(shè)計(jì)者會(huì)從頭開(kāi)始，修改網(wǎng)絡(luò)的結(jié)構(gòu)、輸入和輸出的編碼方式、訓(xùn)練規(guī)則中的參數(shù)或是訓(xùn)練總數(shù)。 所有這些看上去顯得很抽象。舉個(gè)例子或許能讓讀者清楚一些。特里塞吉諾斯基和查爾斯羅森堡（ Charles Rosenberg）在 1987 年提供了一個(gè)著名的演示。他們把他們的網(wǎng)絡(luò)稱為網(wǎng)絡(luò)發(fā)音器（ N