【正文】 不過這個觀點(diǎn)尚有爭議。范 ============================ ①查爾斯我們可以指出回路的哪些方面我們尚不足夠了解（如新皮層的向回的通路），我們從新的角度看待單個神經(jīng)元的行為，并意識到在實(shí)驗(yàn)日程上下一個重要的任務(wù)是它們整個群體的行為。得益于所有這些新的觀念，人們現(xiàn)在至少瞥見了將來按生物現(xiàn)實(shí)設(shè)計(jì)腦模型的可能性，而不是用一些毫無生物依據(jù)的模型僅僅去捕捉腦行為的某些有限方面。也許所有這些神經(jīng)網(wǎng)絡(luò)方面的工作的最重要的結(jié)果是它提出了關(guān)于 腦可能的工作方式的新觀點(diǎn)。這些網(wǎng)絡(luò)有可能具有重要的商業(yè)應(yīng)用。整個領(lǐng)域內(nèi)充滿了新觀點(diǎn)。隨著計(jì)算機(jī)變得越來越快，以及像網(wǎng)絡(luò)那樣高度并行的計(jì)算機(jī)的生產(chǎn)商業(yè)化，這會有所改善，但仍將一直是嚴(yán)重的障礙。 我們對神經(jīng)網(wǎng)絡(luò)能總結(jié)出些什么呢？它們的基礎(chǔ)設(shè)計(jì)更像腦，而不是標(biāo)準(zhǔn)計(jì)算機(jī)的結(jié)構(gòu)，然而，它們的單元并沒有真實(shí)神經(jīng)元那樣復(fù)雜，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)與新皮層的回路相比也過于簡單。但是進(jìn)化或許使用了某些額外的小花招來回避這些困難。自然界是以一種特殊的方式運(yùn)行的。為了證明這些模型哪個更接近于事實(shí)，看來還需要其他證據(jù)，諸如真實(shí)神經(jīng)元及腦中該部分的分子的準(zhǔn)確特性。如果一個的假設(shè)模型的行為相當(dāng)成功，其設(shè)計(jì)者很難相信它是不正確的。這樣人們就可以檢測某種設(shè)置的實(shí)際行為是否與原先所希望的相同，但即便使用最先進(jìn)的計(jì)算機(jī)也很難檢驗(yàn)?zāi)切┤藗兯Ｍ木薮蠖鴱?fù)雜的模型。 所有這些意味著需要對大量的模型及其變體進(jìn)行測試。 如果模型仍能工作，那么實(shí)驗(yàn)者必須表明這種學(xué)習(xí)方式確實(shí)在預(yù)測的地方出現(xiàn)，并揭示這種學(xué)習(xí)所包含的細(xì)胞和分子機(jī)制以支持這個觀點(diǎn)。這些現(xiàn)實(shí)性的學(xué)習(xí)規(guī)則可能是局部的，在模型的各個部分不盡相同。因此模擬者必須為這一類突觸找到合適的真實(shí)的學(xué)習(xí)規(guī)則。例如，模型可能會顯示，在該模型中某一類突觸需要按反傳法確定的某種方式改變。與在動物上做相同的實(shí)驗(yàn)相比，這更加快速也更徹底。 如果神經(jīng)元及其連接的結(jié)構(gòu)還算逼真，并已有足夠的限制被加入到系統(tǒng)中，那么產(chǎn)生的模型可能是有用的，它與現(xiàn)實(shí)情況足夠相似。他的觀點(diǎn)是，如果一個網(wǎng)絡(luò)的結(jié)構(gòu)至少近似于真實(shí)物體，并了解了系統(tǒng)足夠多 的限制，那么反傳算法作為一種最小化誤差的方法，通常能達(dá)到一個一般性質(zhì)相似于真實(shí)生物系統(tǒng)的解。齊帕澤（ David Zipser），一個由分子生物學(xué)家轉(zhuǎn)為神經(jīng)理論學(xué)家，曾經(jīng)指出，對于鑒別研究中的系統(tǒng)的本質(zhì)而言，反傳算法是非常好的方法。一種是嘗試在生物學(xué)看來更容易接受的算法，另一種方法更有效且更具有普遍性。 對這些神經(jīng)網(wǎng)絡(luò)的一種可能的批評是，由于它們使用這樣一種大體上說不真實(shí)的學(xué)習(xí)算法，事實(shí)上它們并不能揭示很多關(guān)于腦的情況。這種態(tài)度也許是錯的。 真實(shí)神經(jīng)元（其軸突、突觸和樹突）都存在不可避免的時間延遲和處理過程中的不斷變化。其本質(zhì)原因是網(wǎng)絡(luò)擅長于高度并行的處理，而這種語言學(xué)任務(wù)要求一定程度的序列式處理。（ NETtalk 確實(shí)產(chǎn)生了一個時間序列，但這只是數(shù)據(jù)傳入和傳出網(wǎng)絡(luò)的一種方法，而不是它的一種特性。很顯然在腦中有一些操作能表達(dá)一個時間序列，如口哨吹出一段曲調(diào)或理解一種語言并用之交談。由于學(xué)習(xí)算法自動將權(quán)重推向所要求的方向，每個隱單元將學(xué)會與一種特定種類的輸入相聯(lián)系。這種學(xué)習(xí)算法使得只有勝者及 其近鄰單元調(diào)節(jié)輸入權(quán)重。 這種網(wǎng)絡(luò)并沒有外部教師。這種設(shè)置意味著中間層的神經(jīng)元為整個網(wǎng)絡(luò)的活動而競爭。這些連接的強(qiáng)度通常是固定的，并不改變。學(xué)習(xí)過程中，每一步中只修正與勝者密切相關(guān)的那些連接，而不是系統(tǒng)的全部連接。一種同樣重要的類型是“競爭學(xué)習(xí)”。 我們已經(jīng)關(guān)注了神經(jīng)網(wǎng)絡(luò)中“學(xué)習(xí)”的兩種極端情況：由赫布規(guī)則說明的無教師學(xué)習(xí)和反傳算法那樣的有教師學(xué)習(xí)。此外，當(dāng)用一根棒來測試網(wǎng)絡(luò)時，其輸出層單元的反應(yīng)類似于 V1 區(qū)具有端點(diǎn)抑制（ endstopping）的復(fù)雜細(xì)胞。它們總是成為邊緣檢測器或棒檢測器，但在訓(xùn)練過程中，并未向網(wǎng)絡(luò)呈現(xiàn)過邊或棒，設(shè)計(jì)者也未強(qiáng)行規(guī)定感受野的形狀。對隱層單元的感受野進(jìn)行檢查時發(fā)現(xiàn)了令人吃驚的結(jié)果。塞吉諾斯基設(shè)計(jì)的 。 另一個神經(jīng)網(wǎng)絡(luò)是由西德尼因而與腦相比，NETtalk 僅是極小的一部分。如果包括（在前面的腳注中列出的）某些限制和忽略，這個數(shù)目將會大一些，但恐怕不會大 10 倍。 盡管有這些局限性， NETtalk 展示了一個相對簡單的神經(jīng)網(wǎng)絡(luò)所能完成的功能，給人印象非常深刻。這在腦中是完全不可能發(fā)生的。網(wǎng)絡(luò)的單元違背了一條規(guī)律，即一個神經(jīng)元只能產(chǎn)生興奮性或抑制性輸出，而不會二者皆有。它能正確他說話，但對它的腦所默認(rèn)的規(guī)則一無所知。它們內(nèi)在地鑲嵌在習(xí)得的權(quán)重模式當(dāng)中。同時，我們不僅具有使用字母 發(fā)音對應(yīng)的能力，似乎還能達(dá)到整個單詞的發(fā)音表達(dá)，但在網(wǎng)絡(luò)中并沒有單詞水平的表達(dá)。 盡管這些與人類的學(xué)習(xí)和記憶很相似，但 NETtalk 過于簡單，還不能作為人類獲得閱讀能力的一個好的模型。最后，信息分布在網(wǎng)絡(luò)之中，因 而沒有一個單元或連接是必不可少的，作為結(jié)果，網(wǎng)絡(luò)具有容錯能力，對增長的損害是故障弱化的。首先，網(wǎng)絡(luò)在開始時具有一些合理的“先天”的知識，體現(xiàn)為由實(shí)驗(yàn)者選擇的輸入輸出的表達(dá)形式，但沒有關(guān)于英語的特別知識 ——網(wǎng)絡(luò)可以對任何具有相同的字母和音素集的語言進(jìn)行訓(xùn)練?！? 這種相當(dāng)雜亂的布置在神經(jīng) 網(wǎng)絡(luò)中是典型現(xiàn)象，其重要性在于它與許多真實(shí)皮層神經(jīng)元（如視覺系統(tǒng)中的神經(jīng)元）的反應(yīng)驚人地相似，而與工程師強(qiáng)加給系統(tǒng)的那種巧妙的設(shè)計(jì)截然不同。 因此便有可能檢查隱單元的行為如何成簇的（即具有相同的特性）。一個字母僅會激發(fā)少數(shù)幾個隱單元，還是像全息圖那樣它的活動在許多隱單元中傳播呢？答案更接近于前者。（這個問題是由于英語具有兩個起源造成的，即拉丁語系和日爾曼語系，這使得英語的詞匯十分豐富。它的泛化能力取決于英語發(fā)音的冗余度。②這稱為“泛化”。一些相似的發(fā)音通常引起混淆，如論文（ thesis)和投擲（ throw）的“ th”音。在對訓(xùn)練集進(jìn)行了大約十次操作之后，單詞變得清楚，讀的聲音也和幼兒說話很像了。但開始時它只知道一個元音和一個輔音，因此像在咿呀學(xué)語。①最初，由于初始連接是隨機(jī)的，只能聽到一串令人困惑的聲音。在對真實(shí)的輸出進(jìn)行判斷時，程序會采納一個與真實(shí)發(fā)音最接近的音素作為最佳猜測，通常有好幾個“發(fā)音”輸出單元對此有關(guān)系。初始權(quán)重具有小的隨機(jī)值，并在訓(xùn)練期內(nèi)每處理一個詞更新一次。第一段文字摘自梅里亞姆 韋伯斯特袖珍詞典。圖 56 給出了它的一般結(jié)構(gòu)。 由于一個英語字母的發(fā)音在很大程度上依賴于它前后的字母搭配，輸入層每次讀入一串 7個字母。 NETtalk 的全部輸出是與口頭發(fā)音相對應(yīng)的一串符號，為了讓演示更生動，網(wǎng)絡(luò)的輸出與一個獨(dú)立的以前就有的機(jī)器（一種數(shù)字發(fā)音合成器）耦合。在訓(xùn)練過程中，網(wǎng)絡(luò)每次嘗試后將得到修正信號，網(wǎng)絡(luò)則從中學(xué)習(xí)。英文的拼法不規(guī)則 ,這使它成為一門發(fā)音特別困難的語言，因而這個任務(wù)并不那么簡 單易行。他們把他們的網(wǎng)絡(luò)稱為網(wǎng)絡(luò)發(fā)音器（ NETtalk）。塞吉諾斯基和查爾斯舉個例子或許能讓讀者清楚一些。）如果結(jié)果不能令人滿意，設(shè)計(jì)者會從頭開始，修改網(wǎng)絡(luò)的結(jié)構(gòu)、輸入和輸出的編碼方式、訓(xùn)練規(guī)則中的參數(shù)或是訓(xùn)練總數(shù)。測試集是經(jīng)過選擇的，它的一般（統(tǒng)計(jì)）特性與訓(xùn)練集相似，但 其他方面則不同。） 經(jīng)過了足夠數(shù)量的訓(xùn)練之后網(wǎng)絡(luò)就可以使用了。這個過程被多次重復(fù)。每個隱層單元則收集所有高層單元傳未的誤差信息，并以此調(diào)節(jié)來自最底層的所有突觸。單元利用該信息來對每個從低層單元達(dá)到它的突觸的權(quán)重進(jìn)行小的調(diào)整。此后給定一個訓(xùn)練輸入，產(chǎn)生輸出并按反傳訓(xùn)練規(guī)則調(diào)節(jié)權(quán)重。它的結(jié)構(gòu)幾乎不能被簡化。中間層也是如此。最頂層是輸出層。最底層是輸入層。 現(xiàn)在讓我們看一個典型的反傳網(wǎng)絡(luò)。當(dāng)（內(nèi)部）輸入加倍時輸出并不總是加倍。它在數(shù)學(xué)上是“可微的”，即任意一處的斜率都是有限的；反傳算法正依賴于這個特性。如果將一個真實(shí)神經(jīng)元的平均發(fā)放率視為它的輸出，那么它的行為與此相差不大。當(dāng)總和很大時，輸出接近于最大值。如果總和很小，輸出幾乎是 0。理論家們盲目地相信這對應(yīng)于神經(jīng)元的平均發(fā)放率（取最大發(fā)放率為＋ 1），但他們常常說不清應(yīng)該在什么時候取這種平均。它們的輸出不必是二值的（即，或 0，或者＋ 1 或 1），而是分成若干級。 反傳算法是有教師學(xué)習(xí)算法中的一個特殊例子。如果步子小，算法就需要極長的時間才能達(dá)到極小值的底端。海洋，還是像死海那樣的凹下去的海（低于海平面的海）？ 訓(xùn)練算法是可以調(diào)節(jié)的，因而趨近局域極小的步長可大可小。這是毫無疑問的，但還不能確定它是真正的全局極小還是僅僅是個局域極小值。他們設(shè)計(jì)規(guī)則使得在每一步修正中總誤差總是下降的。它是 1960 年由伯納德網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則利用這個信息計(jì)算如何調(diào)整權(quán)重以改進(jìn)網(wǎng)絡(luò)的性能。這意味著每個輸出神經(jīng)元都處在一個特殊的活動狀態(tài)。而從某種意義上講，腦的初始連接是由遺傳機(jī)制控制的，通常不完全是隨機(jī)的。通常需要將訓(xùn)練集的信號多次輸入，因而在網(wǎng)絡(luò)學(xué)會很好地執(zhí)行之前需要進(jìn)行大量的訓(xùn)練。很快我們在討論網(wǎng)絡(luò)發(fā)音器（ NETtalk）時將看到一個這樣的例子。這種規(guī)則中有一個稱作“δ律”。 無教師學(xué)習(xí)具有很誘人的性質(zhì) ，因?yàn)閺哪撤N意義上說網(wǎng)絡(luò)是在自己指導(dǎo)自己。簡單的赫布規(guī)則具有這種特點(diǎn)。這意味著沒有外界輸入的指導(dǎo)信息。為了理解這個算法，你需要知道一些關(guān)于學(xué)習(xí)算法的一般性知識。它是某種大雜燴，但是其中一個的特殊的算法產(chǎn)生了驚人的效果。最終神經(jīng)科學(xué)家和分子生物 學(xué)家也對它的消息有所耳聞。該書的熱情讀者不僅包括腦理論家和心理學(xué)家，還有數(shù)學(xué)家、物理學(xué)家和工程師，甚至有人工智能領(lǐng)域的工作者。 1986年出版的《平行分布式處理》一書從 1981 年底開始經(jīng)過了很長時間的醞釀。現(xiàn)在已發(fā)展出了復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)，這得益于現(xiàn)代計(jì)算機(jī)的運(yùn)算速度得到了極 大的提高，也很便宜。 在人們發(fā)明網(wǎng)絡(luò)的初期，一些理論家勇敢地開始了嘗試。希爾頓（ Geoffrey Hinton）的鼓勵下，他們著手研究一個更加雄心勃勃的“聯(lián)結(jié)主義”方案。在克 里斯托夫 研究小組當(dāng)時是由魯梅爾哈特和麥克萊蘭領(lǐng)導(dǎo)的，但是不久麥克萊蘭就離開前往東海岸了。那時我時常漫步的地方如今已變成了巨大的停車場。 加利福尼亞州立大學(xué)圣迭戈分校心理系離索爾克研究所僅有大約一英里。不過我起的作用很小。該書于 1986 年問世，并很快至少在學(xué)術(shù)界成為最暢銷書。魯梅爾哈特（ David Rumelhart）、詹姆斯更重要的是，雖然神經(jīng)網(wǎng)絡(luò)是由那些與真實(shí)神經(jīng)元有些相似的單元構(gòu)建的，沒有證據(jù)表明腦中具有全息圖所需的裝置或處理過程。原因有兩個。對腦和全息圖兩者均知之甚少的人經(jīng)常會熱情地支持這種類比。 有趣的是，這些簡單的神經(jīng)網(wǎng)絡(luò)具有全息圖的某些特點(diǎn)。例如，海馬中有一個稱為 CA3 的區(qū)域，它的連接事實(shí)上很像一個按內(nèi)容尋址的網(wǎng)絡(luò)。輸入是相似但不同的，而輸出 —— 我們所聽到的 —— 則是一樣的。這是另一個與腦有些類似的性質(zhì)。它們并不是網(wǎng)絡(luò)設(shè)計(jì)者精心設(shè)置的，而是由單元的本性、它們連接的模式以及權(quán)重調(diào)節(jié)規(guī)則所 決定的。① 有人提出這是我們做夢時出現(xiàn)的現(xiàn)象（弗洛伊德稱之為“凝聚” —— condensation），但這是題外話。如果將過多的記憶加到網(wǎng)絡(luò)之中則很容易使它陷入混亂。此外，記憶具有魯棒性，改變少數(shù)連接通常不會顯著改變網(wǎng)絡(luò)的行為。因?yàn)槿魏我粋€記憶都是分布在許多連接當(dāng)中的，所以整個系統(tǒng)中記憶是分布式的。你能記住大量現(xiàn)在一時想不起來的事情。網(wǎng)絡(luò)可以完全不活動（所有輸出置為 0），但只要有信號輸入，網(wǎng)絡(luò)突然活 動起來并在很短時間內(nèi)進(jìn)入與其應(yīng)當(dāng)記住的模式相對應(yīng)的穩(wěn)定的活動狀態(tài)。這開始與人的記憶略微有些相似了。最終它將有效地從某些僅僅與其存貯的“記憶”接近的東西中恢復(fù)出該記憶，此外，這種記憶也被稱作是按“內(nèi)容尋址”的 —— 即它沒有通常計(jì)算機(jī)中具有的分離的、唯一用于作為“地址”的信號。這并沒有什么特別的，因?yàn)榇藭r給予它的就是答案。大致他說，每個單元激勵它的“朋友”并試圖削弱它的“敵人”。對于問題中的一種模式，如果兩個單元具有相同的輸出，則它們之間的相互連接權(quán)重都設(shè)為 +1?！边@個機(jī)制以及某些類似規(guī)則，現(xiàn)在稱為“赫布律”。他期望一種只在兩個神經(jīng)元的活動相關(guān)時才起作用的機(jī)制。當(dāng)時人們就像現(xiàn)在一樣普遍相信，在學(xué)習(xí)過程中，一個關(guān)鍵因素是神經(jīng)元的連接（突觸）強(qiáng)度的調(diào)節(jié)。 如何調(diào)節(jié)所有這些連接的強(qiáng)度呢？ 194 年，加拿大心理學(xué)家唐納德他的網(wǎng)絡(luò)對數(shù)學(xué)家和物理學(xué)家有巨大的吸引力，他們認(rèn)為終于找到了一種他們可以涉足腦研究的方法（正如我們在加利福尼亞州所說的）。①在霍普菲爾德網(wǎng)絡(luò)中，所有單元的狀態(tài)并不是同時改變的，而是按隨機(jī) 次序一個接一個進(jìn)行，霍普菲爾德從理論上證明了，給定一組權(quán)重（連接強(qiáng)度）以及任何輸入，網(wǎng)絡(luò)將不會無限制地處于漫游狀態(tài)，也不會進(jìn)入振蕩，而是迅速達(dá)到一個穩(wěn)態(tài)。（如果當(dāng)前信號是 1，權(quán)重是 +2，則影響為 2。威爾肖（ Devid Willshaw）。這其中包括斯蒂芬 .格羅斯伯格（ stephen Grossberg），吉姆有些時候這意味著一個單元的輸出會因?yàn)閬碜云渌麊卧妮斎氚l(fā)生了改變而改變。在每個時刻單元把來自它的全部連接的效果 (2)總和起來。但每個單元具有多個輸入。這是一個具有自反饋的簡單網(wǎng)絡(luò)?；羝辗茽柕拢?John Hopfield)，一位加利福尼亞州理工學(xué) 院的物理學(xué)家，后來成為分子