【正文】 art）、詹姆斯不過我起的作用很小。那時(shí)我時(shí)常漫步的地方如今已變成了巨大的停車場。在克 里斯托夫 在人們發(fā)明網(wǎng)絡(luò)的初期，一些理論家勇敢地開始了嘗試。 1986年出版的《平行分布式處理》一書從 1981 年底開始經(jīng)過了很長時(shí)間的醞釀。最終神經(jīng)科學(xué)家和分子生物 學(xué)家也對(duì)它的消息有所耳聞。為了理解這個(gè)算法，你需要知道一些關(guān)于學(xué)習(xí)算法的一般性知識(shí)。簡單的赫布規(guī)則具有這種特點(diǎn)。這種規(guī)則中有一個(gè)稱作“δ律”。通常需要將訓(xùn)練集的信號(hào)多次輸入，因而在網(wǎng)絡(luò)學(xué)會(huì)很好地執(zhí)行之前需要進(jìn)行大量的訓(xùn)練。這意味著每個(gè)輸出神經(jīng)元都處在一個(gè)特殊的活動(dòng)狀態(tài)。它是 1960 年由伯納德這是毫無疑問的，但還不能確定它是真正的全局極小還是僅僅是個(gè)局域極小值。如果步子小，算法就需要極長的時(shí)間才能達(dá)到極小值的底端。它們的輸出不必是二值的（即，或 0，或者＋ 1 或 1），而是分成若干級(jí)。如果總和很小，輸出幾乎是 0。如果將一個(gè)真實(shí)神經(jīng)元的平均發(fā)放率視為它的輸出，那么它的行為與此相差不大。當(dāng)（內(nèi)部）輸入加倍時(shí)輸出并不總是加倍。最底層是輸入層。中間層也是如此。此后給定一個(gè)訓(xùn)練輸入，產(chǎn)生輸出并按反傳訓(xùn)練規(guī)則調(diào)節(jié)權(quán)重。每個(gè)隱層單元?jiǎng)t收集所有高層單元傳未的誤差信息，并以此調(diào)節(jié)來自最底層的所有突觸。） 經(jīng)過了足夠數(shù)量的訓(xùn)練之后網(wǎng)絡(luò)就可以使用了。）如果結(jié)果不能令人滿意，設(shè)計(jì)者會(huì)從頭開始，修改網(wǎng)絡(luò)的結(jié)構(gòu)、輸入和輸出的編碼方式、訓(xùn)練規(guī)則中的參數(shù)或是訓(xùn)練總數(shù)。塞吉諾斯基和查爾斯英文的拼法不規(guī)則 ,這使它成為一門發(fā)音特別困難的語言，因而這個(gè)任務(wù)并不那么簡 單易行。 NETtalk 的全部輸出是與口頭發(fā)音相對(duì)應(yīng)的一串符號(hào)，為了讓演示更生動(dòng)，網(wǎng)絡(luò)的輸出與一個(gè)獨(dú)立的以前就有的機(jī)器（一種數(shù)字發(fā)音合成器）耦合。圖 56 給出了它的一般結(jié)構(gòu)。初始權(quán)重具有小的隨機(jī)值，并在訓(xùn)練期內(nèi)每處理一個(gè)詞更新一次。①最初，由于初始連接是隨機(jī)的，只能聽到一串令人困惑的聲音。在對(duì)訓(xùn)練集進(jìn)行了大約十次操作之后，單詞變得清楚，讀的聲音也和幼兒說話很像了。②這稱為“泛化”。（這個(gè)問題是由于英語具有兩個(gè)起源造成的，即拉丁語系和日爾曼語系，這使得英語的詞匯十分豐富。 因此便有可能檢查隱單元的行為如何成簇的（即具有相同的特性）。首先，網(wǎng)絡(luò)在開始時(shí)具有一些合理的“先天”的知識(shí)，體現(xiàn)為由實(shí)驗(yàn)者選擇的輸入輸出的表達(dá)形式，但沒有關(guān)于英語的特別知識(shí) ——網(wǎng)絡(luò)可以對(duì)任何具有相同的字母和音素集的語言進(jìn)行訓(xùn)練。 盡管這些與人類的學(xué)習(xí)和記憶很相似，但 NETtalk 過于簡單，還不能作為人類獲得閱讀能力的一個(gè)好的模型。它們內(nèi)在地鑲嵌在習(xí)得的權(quán)重模式當(dāng)中。網(wǎng)絡(luò)的單元違背了一條規(guī)律，即一個(gè)神經(jīng)元只能產(chǎn)生興奮性或抑制性輸出，而不會(huì)二者皆有。 盡管有這些局限性， NETtalk 展示了一個(gè)相對(duì)簡單的神經(jīng)網(wǎng)絡(luò)所能完成的功能，給人印象非常深刻。因而與腦相比，NETtalk 僅是極小的一部分。塞吉諾斯基設(shè)計(jì)的 。它們總是成為邊緣檢測器或棒檢測器，但在訓(xùn)練過程中，并未向網(wǎng)絡(luò)呈現(xiàn)過邊或棒，設(shè)計(jì)者也未強(qiáng)行規(guī)定感受野的形狀。 我們已經(jīng)關(guān)注了神經(jīng)網(wǎng)絡(luò)中“學(xué)習(xí)”的兩種極端情況：由赫布規(guī)則說明的無教師學(xué)習(xí)和反傳算法那樣的有教師學(xué)習(xí)。學(xué)習(xí)過程中，每一步中只修正與勝者密切相關(guān)的那些連接，而不是系統(tǒng)的全部連接。這種設(shè)置意味著中間層的神經(jīng)元為整個(gè)網(wǎng)絡(luò)的活動(dòng)而競爭。這種學(xué)習(xí)算法使得只有勝者及 其近鄰單元調(diào)節(jié)輸入權(quán)重。很顯然在腦中有一些操作能表達(dá)一個(gè)時(shí)間序列，如口哨吹出一段曲調(diào)或理解一種語言并用之交談。其本質(zhì)原因是網(wǎng)絡(luò)擅長于高度并行的處理，而這種語言學(xué)任務(wù)要求一定程度的序列式處理。這種態(tài)度也許是錯(cuò)的。一種是嘗試在生物學(xué)看來更容易接受的算法，另一種方法更有效且更具有普遍性。他的觀點(diǎn)是，如果一個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)至少近似于真實(shí)物體，并了解了系統(tǒng)足夠多 的限制，那么反傳算法作為一種最小化誤差的方法，通常能達(dá)到一個(gè)一般性質(zhì)相似于真實(shí)生物系統(tǒng)的解。與在動(dòng)物上做相同的實(shí)驗(yàn)相比，這更加快速也更徹底。因此模擬者必須為這一類突觸找到合適的真實(shí)的學(xué)習(xí)規(guī)則。 如果模型仍能工作，那么實(shí)驗(yàn)者必須表明這種學(xué)習(xí)方式確實(shí)在預(yù)測的地方出現(xiàn)，并揭示這種學(xué)習(xí)所包含的細(xì)胞和分子機(jī)制以支持這個(gè)觀點(diǎn)。這樣人們就可以檢測某種設(shè)置的實(shí)際行為是否與原先所希望的相同，但即便使用最先進(jìn)的計(jì)算機(jī)也很難檢驗(yàn)?zāi)切┤藗兯Ｍ木薮蠖鴱?fù)雜的模型。為了證明這些模型哪個(gè)更接近于事實(shí)，看來還需要其他證據(jù)，諸如真實(shí)神經(jīng)元及腦中該部分的分子的準(zhǔn)確特性。但是進(jìn)化或許使用了某些額外的小花招來回避這些困難。隨著計(jì)算機(jī)變得越來越快，以及像網(wǎng)絡(luò)那樣高度并行的計(jì)算機(jī)的生產(chǎn)商業(yè)化，這會(huì)有所改善，但仍將一直是嚴(yán)重的障礙。這些網(wǎng)絡(luò)有可能具有重要的商業(yè)應(yīng)用。得益于所有這些新的觀念，人們現(xiàn)在至少瞥見了將來按生物現(xiàn)實(shí)設(shè)計(jì)腦模型的可能性，而不是用一些毫無生物依據(jù)的模型僅僅去捕捉腦行為的某些有限方面。 ============================ ①查爾斯不過這個(gè)觀點(diǎn)尚有爭議。范我們可以指出回路的哪些方面我們尚不足夠了解（如新皮層的向回的通路），我們從新的角度看待單個(gè)神經(jīng)元的行為，并意識(shí)到在實(shí)驗(yàn)日程上下一個(gè)重要的任務(wù)是它們整個(gè)群體的行為。也許所有這些神經(jīng)網(wǎng)絡(luò)方面的工作的最重要的結(jié)果是它提出了關(guān)于 腦可能的工作方式的新觀點(diǎn)。整個(gè)領(lǐng)域內(nèi)充滿了新觀點(diǎn)。 我們對(duì)神經(jīng)網(wǎng)絡(luò)能總結(jié)出些什么呢？它們的基礎(chǔ)設(shè)計(jì)更像腦，而不是標(biāo)準(zhǔn)計(jì)算機(jī)的結(jié)構(gòu)，然而，它們的單元并沒有真實(shí)神經(jīng)元那樣復(fù)雜，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)與新皮層的回路相比也過于簡單。自然界是以一種特殊的方式運(yùn)行的。如果一個(gè)的假設(shè)模型的行為相當(dāng)成功，其設(shè)計(jì)者很難相信它是不正確的。 所有這些意味著需要對(duì)大量的模型及其變體進(jìn)行測試。這些現(xiàn)實(shí)性的學(xué)習(xí)規(guī)則可能是局部的，在模型的各個(gè)部分不盡相同。例如，模型可能會(huì)顯示，在該模型中某一類突觸需要按反傳法確定的某種方式改變。 如果神經(jīng)元及其連接的結(jié)構(gòu)還算逼真，并已有足夠的限制被加入到系統(tǒng)中，那么產(chǎn)生的模型可能是有用的，它與現(xiàn)實(shí)情況足夠相似。齊帕澤（ David Zipser），一個(gè)由分子生物學(xué)家轉(zhuǎn)為神經(jīng)理論學(xué)家，曾經(jīng)指出，對(duì)于鑒別研究中的系統(tǒng)的本質(zhì)而言，反傳算法是非常好的方法。 對(duì)這些神經(jīng)網(wǎng)絡(luò)的一種可能的批評(píng)是，由于它們使用這樣一種大體上說不真實(shí)的學(xué)習(xí)算法，事實(shí)上它們并不能揭示很多關(guān)于腦的情況。 真實(shí)神經(jīng)元（其軸突、突觸和樹突）都存在不可避免的時(shí)間延遲和處理過程中的不斷變化。（ NETtalk 確實(shí)產(chǎn)生了一個(gè)時(shí)間序列，但這只是數(shù)據(jù)傳入和傳出網(wǎng)絡(luò)的一種方法，而不是它的一種特性。由于學(xué)習(xí)算法自動(dòng)將權(quán)重推向所要求的方向，每個(gè)隱單元將學(xué)會(huì)與一種特定種類的輸入相聯(lián)系。 這種網(wǎng)絡(luò)并沒有外部教師。這些連接的強(qiáng)度通常是固定的，并不改變。一種同樣重要的類型是“競爭學(xué)習(xí)”。此外，當(dāng)用一根棒來測試網(wǎng)絡(luò)時(shí)，其輸出層單元的反應(yīng)類似于 V1 區(qū)具有端點(diǎn)抑制（ endstopping）的復(fù)雜細(xì)胞。對(duì)隱層單元的感受野進(jìn)行檢查時(shí)發(fā)現(xiàn)了令人吃驚的結(jié)果。 另一個(gè)神經(jīng)網(wǎng)絡(luò)是由西德尼如果包括（在前面的腳注中列出的）某些限制和忽略，這個(gè)數(shù)目將會(huì)大一些，但恐怕不會(huì)大 10 倍。這在腦中是完全不可能發(fā)生的。它能正確他說話，但對(duì)它的腦所默認(rèn)的規(guī)則一無所知。同時(shí)，我們不僅具有使用字母 發(fā)音對(duì)應(yīng)的能力，似乎還能達(dá)到整個(gè)單詞的發(fā)音表達(dá)，但在網(wǎng)絡(luò)中并沒有單詞水平的表達(dá)。最后，信息分布在網(wǎng)絡(luò)之中，因 而沒有一個(gè)單元或連接是必不可少的，作為結(jié)果，網(wǎng)絡(luò)具有容錯(cuò)能力，對(duì)增長的損害是故障弱化的?！? 這種相當(dāng)雜亂的布置在神經(jīng) 網(wǎng)絡(luò)中是典型現(xiàn)象，其重要性在于它與許多真實(shí)皮層神經(jīng)元（如視覺系統(tǒng)中的神經(jīng)元）的反應(yīng)驚人地相似，而與工程師強(qiáng)加給系統(tǒng)的那種巧妙的設(shè)計(jì)截然不同。一個(gè)字母僅會(huì)激發(fā)少數(shù)幾個(gè)隱單元，還是像全息圖那樣它的活動(dòng)在許多隱單元中傳播呢？答案更接近于前者。它的泛化能力取決于英語發(fā)音的冗余度。一些相似的發(fā)音通常引起混淆，如論文（ thesis)和投擲（ throw）的“ th”音。但開始時(shí)它只知道一個(gè)元音和一個(gè)輔音，因此像在咿呀學(xué)語。在對(duì)真實(shí)的輸出進(jìn)行判斷時(shí)，程序會(huì)采納一個(gè)與真實(shí)發(fā)音最接近的音素作為最佳猜測，通常有好幾個(gè)“發(fā)音”輸出單元對(duì)此有關(guān)系。第一段文字摘自梅里亞姆 韋伯斯特袖珍詞典。 由于一個(gè)英語字母的發(fā)音在很大程度上依賴于它前后的字母搭配，輸入層每次讀入一串 7個(gè)字母。在訓(xùn)練過程中，網(wǎng)絡(luò)每次嘗試后將得到修正信號(hào)，網(wǎng)絡(luò)則從中學(xué)習(xí)。他們把他們的網(wǎng)絡(luò)稱為網(wǎng)絡(luò)發(fā)音器（ NETtalk）。舉個(gè)例子或許能讓讀者清楚一些。測試集是經(jīng)過選擇的，它的一般（統(tǒng)計(jì)）特性與訓(xùn)練集相似，但 其他方面則不同。這個(gè)過程被多次重復(fù)。單元利用該信息來對(duì)每個(gè)從低層單元達(dá)到它的突觸的權(quán)重進(jìn)行小的調(diào)整。它的結(jié)構(gòu)幾乎不能被簡化。最頂層是輸出層。 現(xiàn)在讓我們看一個(gè)典型的反傳網(wǎng)絡(luò)。它在數(shù)學(xué)上是“可微的”，即任意一處的斜率都是有限的；反傳算法正依賴于這個(gè)特性。當(dāng)總和很大時(shí)，輸出接近于最大值。理論家們盲目地相信這對(duì)應(yīng)于神經(jīng)元的平均發(fā)放率（取最大發(fā)放率為＋ 1），但他們常常說不清應(yīng)該在什么時(shí)候取這種平均。 反傳算法是有教師學(xué)習(xí)算法中的一個(gè)特殊例子。海洋，還是像死海那樣的凹下去的海（低于海平面的海）？ 訓(xùn)練算法是可以調(diào)節(jié)的，因而趨近局域極小的步長可大可小。他們設(shè)計(jì)規(guī)則使得在每一步修正中總誤差總是下降的。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則利用這個(gè)信息計(jì)算如何調(diào)整權(quán)重以改進(jìn)網(wǎng)絡(luò)的性能。而從某種意義上講，腦的初始連接是由遺傳機(jī)制控制的，通常不完全是隨機(jī)的。很快我們在討論網(wǎng)絡(luò)發(fā)音器（ NETtalk）時(shí)將看到一個(gè)這樣的例子。 無教師學(xué)習(xí)具有很誘人的性質(zhì) ，因?yàn)閺哪撤N意義上說網(wǎng)絡(luò)是在自己指導(dǎo)自己。這意味著沒有外界輸入的指導(dǎo)信息。它是某種大雜燴，但是其中一個(gè)的特殊的算法產(chǎn)生了驚人的效果。該書的熱情讀者不僅包括腦理論家和心理學(xué)家，還有數(shù)學(xué)家、物理學(xué)家和工程師，甚至有人工智能領(lǐng)域的工作者?，F(xiàn)在已發(fā)展出了復(fù)雜得多的神經(jīng)網(wǎng)絡(luò)，這得益于現(xiàn)代計(jì)算機(jī)的運(yùn)算速度得到了極 大的提高，也很便宜。希爾頓（ Geoffrey Hinton）的鼓勵(lì)下，他們著手研究一個(gè)更加雄心勃勃的“聯(lián)結(jié)主義”方案。 研究小組當(dāng)時(shí)是由魯梅爾哈特和麥克萊蘭領(lǐng)導(dǎo)的，但是不久麥克萊蘭就離開前往東海岸了。 加利福尼亞州立大學(xué)圣迭戈分校心理系離索爾克研究所僅有大約一英里。該書于 1986 年問世，并很快至少在學(xué)術(shù)界成為最暢銷書。更重要的是，雖然神經(jīng)網(wǎng)絡(luò)是由那些與真實(shí)神經(jīng)元有些相似的單元構(gòu)建的，沒有證據(jù)表明腦中具有全息圖所需的裝置或處理過程。對(duì)腦和全息圖兩者均知之甚少的人經(jīng)常會(huì)熱情地支持這種類比。例如，海馬中有一個(gè)稱為 CA3 的區(qū)域，它的連接事實(shí)上很像一個(gè)按內(nèi)容尋址的網(wǎng)絡(luò)。這是另一個(gè)與腦有些類似的性質(zhì)。① 有人提出這是我們做夢時(shí)出現(xiàn)的現(xiàn)象（弗洛伊德稱之為“凝聚” —— condensation），但這是題外話。此外，記憶具有魯棒性，改變少數(shù)連接通常不會(huì)顯著改變網(wǎng)絡(luò)的行為。你能記住大量現(xiàn)在一時(shí)想不起來的事情。這開始與人的記憶略微有些相似了。這并沒有什么特別的，因?yàn)榇藭r(shí)給予它的就是答案。對(duì)于問題中的一種模式，如果兩個(gè)單元具有相同的輸出，則它們之間的相互連接權(quán)重都設(shè)為 +1。他期望一種只在兩個(gè)神經(jīng)元的活動(dòng)相關(guān)時(shí)才起作用的機(jī)制。 如何調(diào)節(jié)所有這些連接的強(qiáng)度呢？ 194 年，加拿大心理學(xué)家唐納德①在霍普菲爾德網(wǎng)絡(luò)中，所有單元的狀態(tài)并不是同時(shí)改變的，而是按隨機(jī) 次序一個(gè)接一個(gè)進(jìn)行，霍普菲爾德從理論上證明了，給定一組權(quán)重（連接強(qiáng)度）以及任何輸入，網(wǎng)絡(luò)將不會(huì)無限制地處于漫游狀態(tài)，也不會(huì)進(jìn)入振蕩，而是迅速達(dá)到一個(gè)穩(wěn)態(tài)。威爾肖（ Devid Willshaw）。有些時(shí)候這意味著一個(gè)單元的輸出會(huì)因?yàn)閬碜云渌麊卧妮斎氚l(fā)生了改變而改變。但每個(gè)單元具有多個(gè)輸入?；羝辗茽柕拢?John Hopfield)，一位加利福尼亞州理工學(xué) 院的物理學(xué)家，后來成為分子生物學(xué)家和腦理論家。① 用簡單單元構(gòu)建一個(gè)多層網(wǎng)絡(luò)，使之完成簡單的單層網(wǎng)絡(luò)所無法完成的異或問題（或類似任務(wù)），這是可能的。佩伯特（ Segmour Papert)證明感知機(jī)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則無法執(zhí)行“異或問題”（如，判斷這是蘋果還是桔子，但不是二者皆是），因而也不可能學(xué)會(huì)它。 由于這個(gè)結(jié)果在數(shù)學(xué)上很優(yōu)美，從而吸引了眾人的注目。感知機(jī)的工作方式是，它對(duì)任務(wù)只有兩種反應(yīng)：正確或是錯(cuò)誤?；蛟S它對(duì)現(xiàn)代計(jì)算機(jī)的設(shè)計(jì)有所幫助，但它的最引人注目的結(jié)論就腦而言則是極端錯(cuò)誤的。皮茲（ Walter Pitts）的工作是這方面最早的嘗試之一。如今它被稱為 PDP方法（即平行分布式處理）。程序試圖在一組命題中發(fā)現(xiàn)具有最大可能性的那種組合，并以之作為結(jié)論，而不是那些它認(rèn)為可能性較小的結(jié)論。此時(shí)超級(jí)計(jì)算機(jī)特別有用。大多數(shù)設(shè)計(jì)使用了許多小型計(jì)算機(jī)，或是小型計(jì)算機(jī)的某些部件。計(jì)算機(jī)按編寫的程序執(zhí)行，因而擅長解決諸如大規(guī)模數(shù)字處理、嚴(yán)格的邏輯推理以及下棋等某些類型的問題。由于人們編寫軟件（計(jì)算機(jī)程序）時(shí)幾乎不必了解硬件（回路等）的細(xì)節(jié)，所以人們 —— 特別是心理學(xué)家 —— 爭論說沒必要了解有關(guān)腦的“硬件”的任何知識(shí)。諾依曼計(jì)算機(jī)完全不同，因?yàn)閳?zhí)行計(jì)算機(jī)的基本操作（如加法 .乘法等等）僅在一個(gè)或少數(shù)幾個(gè)地方，而它的記憶卻存貯在許多很不同的地方。 腦看起來一點(diǎn)也不像通用計(jì)算機(jī)。這樣就能夠?qū)⑿畔⒋嫒胗洃涹w的某個(gè)