【導(dǎo)讀】亞里斯多德，亞氏年青時(shí)曾於柏拉圖的學(xué)院親炙柏拉圖二十。年之久，直到柏氏去世為止，柏拉圖實(shí)對(duì)亞里斯多德有很大的影響，之後亞氏發(fā)展其思想，亞氏是第一位以邏輯為一特殊科學(xué)，並發(fā)現(xiàn)推理的基本形式(特。別是三段論證syllogism)的哲學(xué)家，Copleston即說：「這是他的永恒成就之一，單以這一項(xiàng)。貢獻(xiàn)就足以使他名垂青史?！筟4]這評(píng)價(jià)十分正確。亞氏在邏輯主要成就包括主謂命題。及關(guān)於此類命題的邏輯推理方法，特別是三段論證。所謂「命題」就是可言真或假的句子，例如「蘇格拉底是人」，這。只討論命題，因它有真假可言。亞氏認(rèn)為命題基本是由主詞與謂詞構(gòu)成的，的」，「這朵花」是主詞，「白」就是描述「這朵花」的謂詞。亞氏跟著提出四種較複雜的。這裏我們以符號(hào)S及P分別。關(guān)於推論，亞氏特別討論三段論證，這是由兩個(gè)前提推出(主謂式)結(jié)論的。對(duì)於亞里斯多德，第一實(shí)體或ousia才是唯一的真實(shí)個(gè)。柏拉圖在現(xiàn)實(shí)的生滅世界之上，指出理型

　　

【正文】 ETtalk）。它的任務(wù)是把書寫的英文轉(zhuǎn)化成英文發(fā)音。英文的拼法不規(guī)則 ,這使它成為一門發(fā)音特別困難的語言，因而這個(gè)任務(wù)并不那么簡(jiǎn) 單易行。當(dāng)然，事先并不把英語的發(fā)音規(guī)則清楚地告訴網(wǎng)絡(luò)。在訓(xùn)練過程中，網(wǎng)絡(luò)每次嘗試后將得到修正信號(hào)，網(wǎng)絡(luò)則從中學(xué)習(xí)。輸入是通過一種特殊的方式一個(gè)字母接一個(gè)字母地傳到網(wǎng)絡(luò)中。 NETtalk 的全部輸出是與口頭發(fā)音相對(duì)應(yīng)的一串符號(hào)，為了讓演示更生動(dòng)，網(wǎng)絡(luò)的輸出與一個(gè)獨(dú)立的以前就有的機(jī)器（一種數(shù)字發(fā)音合成器）耦合。它能將 NETtallk 的輸出變?yōu)榘l(fā)音，這樣就可以聽到機(jī)器“朗讀”英語了。 由于一個(gè)英語字母的發(fā)音在很大程度上依賴于它前后的字母搭配，輸入層每次讀入一串 7個(gè)字母。①輸出層中的單元與音素所要求的 21 個(gè) 發(fā)音特征②相對(duì)應(yīng)，還有 5 個(gè)單元處理音節(jié)分界和重音。圖 56 給出了它的一般結(jié)構(gòu)。③ 他們使用了兩段文字的摘錄來訓(xùn)練網(wǎng)絡(luò)，每段文字都附有訓(xùn)練機(jī)器所需的標(biāo)音法。第一段文字摘自梅里亞姆 韋伯斯特袖珍詞典。第二段摘錄則多少有些令人奇怪，是一個(gè)小孩的連續(xù)說話。初始權(quán)重具有小的隨機(jī)值，并在訓(xùn)練期內(nèi)每處理一個(gè)詞更新一次。他們編寫程序使得計(jì)算機(jī)能根據(jù)提供的輸入和（正確的）輸出信息自動(dòng)地完成這一步。在對(duì)真實(shí)的輸出進(jìn)行判斷時(shí)，程序會(huì)采納一個(gè)與真實(shí)發(fā)音最接近的音素作為最佳猜測(cè)，通常有好幾個(gè)“發(fā)音”輸出單元對(duì)此有關(guān)系。 聆聽機(jī)器學(xué)著“讀”英語是一件令人著迷的事情。①最初，由于初始連接是隨機(jī)的，只能聽到一串令人困惑的聲音。 NETtalk 很快就學(xué)會(huì)了區(qū)分元音和輔音。但開始時(shí)它只知道一個(gè)元音和一個(gè)輔音，因此像在咿呀學(xué)語。后來它能識(shí)別詞的邊界，并能發(fā)出像詞那樣的一串聲音。在對(duì)訓(xùn)練集進(jìn)行了大約十次操作之后，單詞變得清楚，讀的聲音也和幼兒說話很像了。 實(shí)際結(jié)果并不完美，在某種情況下英語發(fā)音依賴于詞意，而 NETtalk 對(duì)此一無所知。一些相似的發(fā)音通常引起混淆，如論文（ thesis)和投擲（ throw）的“ th”音。把同一 個(gè)小孩的另一段例文作為檢測(cè)，機(jī)器完成得很好，表明它能把從相當(dāng)小的訓(xùn)練集（ 1024 個(gè)單詞）中學(xué)到的推廣到它從未遇到的新詞上。②這稱為“泛化”。 顯然網(wǎng)絡(luò)不僅僅是它所訓(xùn)練過的每一個(gè)單詞的查詢表。它的泛化能力取決于英語發(fā)音的冗余度。并不是每一個(gè)英語單詞都按自己唯一的方式發(fā)音，雖然首次接觸英語的外國(guó)人容易這樣想。（這個(gè)問題是由于英語具有兩個(gè)起源造成的，即拉丁語系和日爾曼語系，這使得英語的詞匯十分豐富。） 相對(duì)于大多數(shù)從真實(shí)神經(jīng)元上收集的資料而言，神經(jīng)網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)在于在訓(xùn)練后很容易檢查它的每一個(gè) 隱單元的感受野。一個(gè)字母僅會(huì)激發(fā)少數(shù)幾個(gè)隱單元，還是像全息圖那樣它的活動(dòng)在許多隱單元中傳播呢？答案更接近于前者。雖然在每個(gè)字母一發(fā)音對(duì)應(yīng)中并沒有特殊的隱單元，但是每個(gè)這種對(duì)應(yīng)并不傳播到所有的隱單元。 因此便有可能檢查隱單元的行為如何成簇的（即具有相同的特性）。塞吉諾斯基和羅森堡發(fā)現(xiàn)“??最重要的區(qū)別是元音與輔音完全分離，然而在這兩類之中隱單元簇具有不同的模式，對(duì)于元音而言，下一個(gè)重要的變量是字母，而輔音成簇則按照了一種混合的策略，更多地依賴于它們聲音的相似性。” 這種相當(dāng)雜亂的布置在神經(jīng) 網(wǎng)絡(luò)中是典型現(xiàn)象，其重要性在于它與許多真實(shí)皮層神經(jīng)元（如視覺系統(tǒng)中的神經(jīng)元）的反應(yīng)驚人地相似，而與工程師強(qiáng)加給系統(tǒng)的那種巧妙的設(shè)計(jì)截然不同。 他們的結(jié)論是： NETtalk 是一個(gè)演示，是學(xué)習(xí)的許多方面的縮影。首先，網(wǎng)絡(luò)在開始時(shí)具有一些合理的“先天”的知識(shí)，體現(xiàn)為由實(shí)驗(yàn)者選擇的輸入輸出的表達(dá)形式，但沒有關(guān)于英語的特別知識(shí) ——網(wǎng)絡(luò)可以對(duì)任何具有相同的字母和音素集的語言進(jìn)行訓(xùn)練。其次，網(wǎng)絡(luò)通過學(xué)習(xí)獲得了它的能力，其間經(jīng)歷了幾個(gè)不同的訓(xùn)練階段，并達(dá)到了一種顯著的水平。最后，信息分布在網(wǎng)絡(luò)之中，因 而沒有一個(gè)單元或連接是必不可少的，作為結(jié)果，網(wǎng)絡(luò)具有容錯(cuò)能力，對(duì)增長(zhǎng)的損害是故障弱化的。此外，網(wǎng)絡(luò)從損傷中恢復(fù)的速度比重新學(xué)習(xí)要快得多。 盡管這些與人類的學(xué)習(xí)和記憶很相似，但 NETtalk 過于簡(jiǎn)單，還不能作為人類獲得閱讀能力的一個(gè)好的模型。網(wǎng)絡(luò)試圖用一個(gè)階段完成人類發(fā)育中兩個(gè)階段出現(xiàn)的過程，即首先是兒童學(xué)會(huì)說話；只有在單詞及其含義的表達(dá)已經(jīng)建立好以后，他們才學(xué)習(xí)閱讀。同時(shí)，我們不僅具有使用字母 發(fā)音對(duì)應(yīng)的能力，似乎還能達(dá)到整個(gè)單詞的發(fā)音表達(dá)，但在網(wǎng)絡(luò)中并沒有單詞水平的表達(dá)。注意到網(wǎng)絡(luò)上并沒有什么地 方清楚地表達(dá)英語的發(fā)音規(guī)則，這與標(biāo)準(zhǔn)的計(jì)算機(jī)程序不同。它們內(nèi)在地鑲嵌在習(xí)得的權(quán)重模式當(dāng)中。這正是小孩學(xué)習(xí)語言的方式。它能正確他說話，但對(duì)它的腦所默認(rèn)的規(guī)則一無所知。① NETtalk 有幾條特性是與生物學(xué)大為抵觸的。網(wǎng)絡(luò)的單元違背了一條規(guī)律，即一個(gè)神經(jīng)元只能產(chǎn)生興奮性或抑制性輸出，而不會(huì)二者皆有。更為嚴(yán)重的是，照字面上說，反傳算法要求教師信息快速地沿傳遞向前的操作信息的同一個(gè)突觸發(fā)送回去。這在腦中是完全不可能發(fā)生的。試驗(yàn)中用了獨(dú)立的回路來完成這一步，但對(duì)我而言它們顯得過于勉強(qiáng)，并不符合生物原型。 盡管有這些局限性， NETtalk 展示了一個(gè)相對(duì)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)所能完成的功能，給人印象非常深刻。別忘了那里只有不足 500 個(gè)神經(jīng)元和 2 萬個(gè)連接。如果包括（在前面的腳注中列出的）某些限制和忽略，這個(gè)數(shù)目將會(huì)大一些，但恐怕不會(huì)大 10 倍。而在每一側(cè)新皮層邊長(zhǎng)大約四分之一毫米的一小塊表面（比針尖還?。┯写蠹s 5000 個(gè)神經(jīng)元。因而與腦相比，NETtalk 僅是極小的一部分。②所以它能學(xué)會(huì)這樣相對(duì)復(fù)雜的任務(wù)給人印象格外深刻。 另一個(gè)神經(jīng)網(wǎng)絡(luò)是由西德尼萊基（ Sidney Lehky）和特里塞吉諾斯基設(shè)計(jì)的 。他們的網(wǎng)絡(luò)所要解決的問題是在不知道光源方向的情況下試圖從某些物體的陰影中推斷出其三維形狀（第四章 描述的所謂從陰影到形狀問題）。對(duì)隱層單元的感受野進(jìn)行檢查時(shí)發(fā)現(xiàn)了令人吃驚的結(jié)果。其中一些感受野與實(shí)驗(yàn)中在腦視覺第一區(qū)（ V1 區(qū)）發(fā)現(xiàn)的一些神經(jīng)元非常相似。它們總是成為邊緣檢測(cè)器或棒檢測(cè)器，但在訓(xùn)練過程中，并未向網(wǎng)絡(luò)呈現(xiàn)過邊或棒，設(shè)計(jì)者也未強(qiáng)行規(guī)定感受野的形狀。它們的出現(xiàn)是訓(xùn)練的結(jié)果。此外，當(dāng)用一根棒來測(cè)試網(wǎng)絡(luò)時(shí)，其輸出層單元的反應(yīng)類似于 V1 區(qū)具有端點(diǎn)抑制（ endstopping）的復(fù)雜細(xì)胞。 網(wǎng)絡(luò)和 反傳算法二者都在多處與生物學(xué)違背，但這個(gè)例子提出了這樣一個(gè)回想起來應(yīng)該很明顯的問題：僅僅從觀察腦中一個(gè)神經(jīng)元的感受野并不能推斷出它的功能，正如第十一章 描述的那樣，了解它的投射野，即它將軸突傳向哪些神經(jīng)元，也同樣重要。 我們已經(jīng)關(guān)注了神經(jīng)網(wǎng)絡(luò)中“學(xué)習(xí)”的兩種極端情況：由赫布規(guī)則說明的無教師學(xué)習(xí)和反傳算法那樣的有教師學(xué)習(xí)。此外還有若干種常見的類型。一種同樣重要的類型是“競(jìng)爭(zhēng)學(xué)習(xí)”。①其基本思想是網(wǎng)絡(luò)操作中存在一種勝者為王機(jī)制，使得能夠最好地表達(dá)了輸入的含義的那個(gè)單元（或更實(shí)際他說是少數(shù)單元）抑制了其 他所有單元。學(xué)習(xí)過程中，每一步中只修正與勝者密切相關(guān)的那些連接，而不是系統(tǒng)的全部連接。這通常用一個(gè)三層網(wǎng)絡(luò)進(jìn)行模擬，如同標(biāo)準(zhǔn)的反傳網(wǎng)絡(luò)，但又有顯著差異，即它的中間層單元之間具有強(qiáng)的相互連接。這些連接的強(qiáng)度通常是固定的，并不改變。通常短程連接是興奮性的，而長(zhǎng)程的則是抑制性的，一個(gè)單元傾向于與其近鄰友好而與遠(yuǎn)處的相對(duì)抗。這種設(shè)置意味著中間層的神經(jīng)元為整個(gè)網(wǎng)絡(luò)的活動(dòng)而競(jìng)爭(zhēng)。在一個(gè)精心設(shè)計(jì)的網(wǎng)絡(luò)中，在任何一次試驗(yàn)中通常只有一個(gè)勝者。 這種網(wǎng)絡(luò)并沒有外部教師。網(wǎng)絡(luò)自己尋找最佳反應(yīng)。這種學(xué)習(xí)算法使得只有勝者及 其近鄰單元調(diào)節(jié)輸入權(quán)重。這種方式使得當(dāng)前的那種特殊反應(yīng)在將來出現(xiàn)可能性更大。由于學(xué)習(xí)算法自動(dòng)將權(quán)重推向所要求的方向，每個(gè)隱單元將學(xué)會(huì)與一種特定種類的輸入相聯(lián)系。① 到此為止我們考慮的網(wǎng)絡(luò)處理的是靜態(tài)的輸入，并在一個(gè)時(shí)間間隔后產(chǎn)生一個(gè)靜態(tài)的輸出。很顯然在腦中有一些操作能表達(dá)一個(gè)時(shí)間序列，如口哨吹出一段曲調(diào)或理解一種語言并用之交談。人們初步設(shè)計(jì)了一些網(wǎng)絡(luò)來著手解決這個(gè)問題，但目前尚不深入。（ NETtalk 確實(shí)產(chǎn)生了一個(gè)時(shí)間序列，但這只是數(shù)據(jù)傳入和傳出網(wǎng)絡(luò)的一種方法，而不是它的一種特性。） 語 言學(xué)家曾經(jīng)強(qiáng)調(diào)，目前在語言處理方面（如句法規(guī)則）根據(jù)人工智能理論編寫的程序處理更為有效。其本質(zhì)原因是網(wǎng)絡(luò)擅長(zhǎng)于高度并行的處理，而這種語言學(xué)任務(wù)要求一定程度的序列式處理。腦中具有注意系統(tǒng)，它具有某種序列式的本性，對(duì)低層的并行處理進(jìn)行操作，迄今為止神經(jīng)網(wǎng)絡(luò)并未達(dá)到要求的這種序列處理的復(fù)雜程度，雖然它應(yīng)當(dāng)出現(xiàn)。 真實(shí)神經(jīng)元（其軸突、突觸和樹突）都存在不可避免的時(shí)間延遲和處理過程中的不斷變化。神經(jīng)網(wǎng)絡(luò)的大多數(shù)設(shè)計(jì)者認(rèn)為這些特性很討厭，因而回避它們。這種態(tài)度也許是錯(cuò)的。幾乎可以肯定進(jìn)化就建立在這些改變和時(shí)間 延遲上，并從中獲益。 對(duì)這些神經(jīng)網(wǎng)絡(luò)的一種可能的批評(píng)是，由于它們使用這樣一種大體上說不真實(shí)的學(xué)習(xí)算法，事實(shí)上它們并不能揭示很多關(guān)于腦的情況。對(duì)此有兩種答案。一種是嘗試在生物學(xué)看來更容易接受的算法，另一種方法更有效且更具有普遍性。加利福尼亞州立大學(xué)圣迭戈分校的戴維齊帕澤（ David Zipser），一個(gè)由分子生物學(xué)家轉(zhuǎn)為神經(jīng)理論學(xué)家，曾經(jīng)指出，對(duì)于鑒別研究中的系統(tǒng)的本質(zhì)而言，反傳算法是非常好的方法。他稱之為“神經(jīng)系統(tǒng)的身份證明”。他的觀點(diǎn)是，如果一個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)至少近似于真實(shí)物體，并了解了系統(tǒng)足夠多 的限制，那么反傳算法作為一種最小化誤差的方法，通常能達(dá)到一個(gè)一般性質(zhì)相似于真實(shí)生物系統(tǒng)的解。這樣便在朝著了解生物系統(tǒng)行為的正確方向上邁出了第一步。 如果神經(jīng)元及其連接的結(jié)構(gòu)還算逼真，并已有足夠的限制被加入到系統(tǒng)中，那么產(chǎn)生的模型可能是有用的，它與現(xiàn)實(shí)情況足夠相似。這樣便允許仔細(xì)地研究模型各組成部分的行為。與在動(dòng)物上做相同的實(shí)驗(yàn)相比，這更加快速也更徹底。 我們必須明白科學(xué)目標(biāo)并非到此為止，這很重要。例如，模型可能會(huì)顯示，在該模型中某一類突觸需要按反傳法確定的某種方式改變。但在真實(shí)系統(tǒng)中反傳 法并不出現(xiàn)。因此模擬者必須為這一類突觸找到合適的真實(shí)的學(xué)習(xí)規(guī)則。例如，那些特定的突觸或許只需要某一種形式的赫布規(guī)則。這些現(xiàn)實(shí)性的學(xué)習(xí)規(guī)則可能是局部的，在模型的各個(gè)部分不盡相同。如果需要的話，可能會(huì)引入一些全局信號(hào)，然后必須重新運(yùn)行該模型。 如果模型仍能工作，那么實(shí)驗(yàn)者必須表明這種學(xué)習(xí)方式確實(shí)在預(yù)測(cè)的地方出現(xiàn)，并揭示這種學(xué)習(xí)所包含的細(xì)胞和分子機(jī)制以支持這個(gè)觀點(diǎn)。只有如此我們才能從這些“有趣”的演示上升為真正科學(xué)的有說服力的結(jié)果。 所有這些意味著需要對(duì)大量的模型及其變體進(jìn)行測(cè)試。幸運(yùn)的是，隨 著極高速而又廉價(jià)的計(jì)算機(jī)的發(fā)展，現(xiàn)在可以對(duì)許多模型進(jìn)行模擬。這樣人們就可以檢測(cè)某種設(shè)置的實(shí)際行為是否與原先所希望的相同，但即便使用最先進(jìn)的計(jì)算機(jī)也很難檢驗(yàn)?zāi)切┤藗兯Ｍ木薮蠖鴱?fù)雜的模型。 “堅(jiān)持要求所有的模型應(yīng)當(dāng)經(jīng)過模擬檢驗(yàn)，這令人遺憾地帶來了兩個(gè)副產(chǎn)品。如果一個(gè)的假設(shè)模型的行為相當(dāng)成功，其設(shè)計(jì)者很難相信它是不正確的。然而經(jīng)驗(yàn)告訴我們，若干差異很大的模型也會(huì)產(chǎn)生相同的行為。為了證明這些模型哪個(gè)更接近于事實(shí)，看來還需要其他證據(jù)，諸如真實(shí)神經(jīng)元及腦中該部分的分子的準(zhǔn)確特性。 另一種危害是， 對(duì)成功的模型過分強(qiáng)調(diào)會(huì)抑制對(duì)問題的更為自由的想像，從而會(huì)阻礙理論的產(chǎn)生。自然界是以一種特殊的方式運(yùn)行的。對(duì)問題過于狹隘的討論會(huì)使人們由于某種特殊的困難而放棄極有價(jià)值的想法。但是進(jìn)化或許使用了某些額外的小花招來回避這些困難。盡管有這些保留，模擬一個(gè)理論，即便僅僅為了體會(huì)一下它事實(shí)上如何工作，也是有用的。 我們對(duì)神經(jīng)網(wǎng)絡(luò)能總結(jié)出些什么呢？它們的基礎(chǔ)設(shè)計(jì)更像腦，而不是標(biāo)準(zhǔn)計(jì)算機(jī)的結(jié)構(gòu)，然而，它們的單元并沒有真實(shí)神經(jīng)元那樣復(fù)雜，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)與新皮層的回路相比也過于簡(jiǎn)單。目前，如果一個(gè)網(wǎng)絡(luò)要在普通計(jì)算機(jī) 上在合理的時(shí)間內(nèi)進(jìn)行模擬，它的規(guī)模只能很小。隨著計(jì)算機(jī)變得越來越快，以及像網(wǎng)絡(luò)那樣高度并行的計(jì)算機(jī)的生產(chǎn)商業(yè)化，這會(huì)有所改善，但仍將一直是嚴(yán)重的障礙。 盡管神經(jīng)網(wǎng)絡(luò)有這些局限性，它現(xiàn)在仍然顯示出了驚人的完成任務(wù)的能力。整個(gè)領(lǐng)域內(nèi)充滿了新觀點(diǎn)。雖然其中許多網(wǎng)絡(luò)會(huì)被人們遺忘，但通過了解它們，抓住其局限性并設(shè)計(jì)改進(jìn)它們的新方法，肯定會(huì)有堅(jiān)實(shí)的發(fā)展。這些網(wǎng)絡(luò)有可能具有重要的商業(yè)應(yīng)用。盡管有時(shí)它會(huì)導(dǎo)致理論家遠(yuǎn)離生物事實(shí)，但最終會(huì)產(chǎn)生有用的觀點(diǎn)和發(fā)明。也許所有這些神經(jīng)網(wǎng)絡(luò)方面的工作的最重要的結(jié)果是它提出了關(guān)于 腦可能的工作方式的新觀點(diǎn)。 在過去，腦的許多方面看上去是完全不可理解的。得益于所有這些新的觀念，人們現(xiàn)在至少瞥見了將來按生物現(xiàn)實(shí)設(shè)計(jì)腦模型的可能性，而不是用一些毫無生物依據(jù)的模型僅僅去捕捉腦行為的某些有限方面。即便現(xiàn)在這些新觀念已經(jīng)使我們對(duì)實(shí)驗(yàn)的討論更為敏銳，我們現(xiàn)在更多地了解了關(guān)于個(gè)體神經(jīng)元所必須掌握的知識(shí)。我們可以指出回路的哪些方面我們尚不足夠了解（如新皮層的向回的通路），我們從新的角度看待單個(gè)神經(jīng)元的行為，并意識(shí)到在實(shí)驗(yàn)日程上下一個(gè)重要的任務(wù)是它們整個(gè)群體的行為。神經(jīng)網(wǎng)絡(luò)還有很長(zhǎng)的路要走，但 它們終于有了好的開端。 ============================ ①查爾斯安德森（ charles Anderson）和戴維范埃森提出腦中有些裝置將信息按規(guī)定路線從一處傳至另一處。不過這個(gè)觀點(diǎn)尚有