【正文】 安德森（ charles Anderson）和戴維盡管有時(shí)它會(huì)導(dǎo)致理論家遠(yuǎn)離生物事實(shí)，但最終會(huì)產(chǎn)生有用的觀點(diǎn)和發(fā)明。盡管有這些保留，模擬一個(gè)理論，即便僅僅為了體會(huì)一下它事實(shí)上如何工作，也是有用的。 “堅(jiān)持要求所有的模型應(yīng)當(dāng)經(jīng)過(guò)模擬檢驗(yàn)，這令人遺憾地帶來(lái)了兩個(gè)副產(chǎn)品。例如，那些特定的突觸或許只需要某一種形式的赫布規(guī)則。這樣便在朝著了解生物系統(tǒng)行為的正確方向上邁出了第一步。幾乎可以肯定進(jìn)化就建立在這些改變和時(shí)間 延遲上，并從中獲益。人們初步設(shè)計(jì)了一些網(wǎng)絡(luò)來(lái)著手解決這個(gè)問(wèn)題，但目前尚不深入。在一個(gè)精心設(shè)計(jì)的網(wǎng)絡(luò)中，在任何一次試驗(yàn)中通常只有一個(gè)勝者。此外還有若干種常見的類型。他們的網(wǎng)絡(luò)所要解決的問(wèn)題是在不知道光源方向的情況下試圖從某些物體的陰影中推斷出其三維形狀（第四章 描述的所謂從陰影到形狀問(wèn)題）。別忘了那里只有不足 500 個(gè)神經(jīng)元和 2 萬(wàn)個(gè)連接。這正是小孩學(xué)習(xí)語(yǔ)言的方式。其次，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)獲得了它的能力，其間經(jīng)歷了幾個(gè)不同的訓(xùn)練階段，并達(dá)到了一種顯著的水平。） 相對(duì)于大多數(shù)從真實(shí)神經(jīng)元上收集的資料而言，神經(jīng)網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)在于在訓(xùn)練后很容易檢查它的每一個(gè) 隱單元的感受野。 實(shí)際結(jié)果并不完美，在某種情況下英語(yǔ)發(fā)音依賴于詞意，而 NETtalk 對(duì)此一無(wú)所知。他們編寫程序使得計(jì)算機(jī)能根據(jù)提供的輸入和（正確的）輸出信息自動(dòng)地完成這一步。它能將 NETtallk 的輸出變?yōu)榘l(fā)音，這樣就可以聽到機(jī)器“朗讀”英語(yǔ)了。羅森堡（ Charles Rosenberg）在 1987 年提供了一個(gè)著名的演示。此時(shí)有一個(gè)輸入的測(cè)試集來(lái)檢驗(yàn)網(wǎng)絡(luò)。過(guò)程如下：在網(wǎng)絡(luò)對(duì)訓(xùn)練產(chǎn)生輸 出以后，告訴高層的每個(gè)單元它的輸出與“正確”輸出之間的差。下一層被稱作“隱單元”層，因?yàn)檫@些單元并不直接與網(wǎng)絡(luò)外部的世界連接。 這條看似平滑的曲線有兩個(gè)重要性質(zhì)。它通常在 0 到 +1 之間取值。用自然地理的術(shù)語(yǔ)說(shuō)就是，我們達(dá)到的是一個(gè)火山口中的湖，還是較低的池塘。教師則用信號(hào)告訴每個(gè)輸出神經(jīng)元它的誤差，即它的狀態(tài)與正確之間的差異，δ這個(gè)名稱便來(lái)源于這個(gè)真實(shí)活動(dòng)與要求之間的差異（數(shù)學(xué)上δ常用來(lái)表示小而有限的差異）。 訓(xùn)練一個(gè)網(wǎng)絡(luò)需要有供訓(xùn)練用的輸入集合，稱作“訓(xùn)練集”。 在神經(jīng)網(wǎng)絡(luò)有些學(xué)習(xí)形式被稱作是“無(wú)教師的”。這很幸運(yùn)，因?yàn)樗且粋€(gè)特殊算法的最新發(fā)展（或者說(shuō)是它的復(fù)興或應(yīng)用），在其早期工作基礎(chǔ)上，很快給人留下了深刻的印象。朗格特 希金斯（ Christopher LonguetHiggins）的另一位學(xué)生杰弗里我?guī)缀?只有一個(gè)貢獻(xiàn)，就是堅(jiān)持要求他們停止使用神經(jīng)元一詞作為他們網(wǎng)絡(luò)的單元。詳細(xì)的數(shù)學(xué)分析表明神經(jīng)網(wǎng)絡(luò)和全息圖在數(shù)學(xué)上是不同的 。 這些簡(jiǎn)單網(wǎng)絡(luò)是不能和腦的復(fù)雜性相提并論的，但這種簡(jiǎn)化確實(shí)使我們可能對(duì)它們的行為有所了解，即使是簡(jiǎn)單網(wǎng)絡(luò)中出現(xiàn)的特點(diǎn)也可能出現(xiàn)在具有相同普遍特性的更復(fù)雜的網(wǎng)絡(luò)中，此外，它 們向我們提供了多種觀點(diǎn)，表明特定的腦回路所可能具有的功能。即使給出線索，甚至以完整的模式作為輸入，網(wǎng)絡(luò)也會(huì)產(chǎn)生毫無(wú)意義的輸出。據(jù)推測(cè)，人類長(zhǎng)期記憶的回憶具有這種一般性質(zhì)（只是活動(dòng)模式不能永久保持）。 霍普菲爾德網(wǎng)絡(luò)是如何工作的呢？如果網(wǎng)絡(luò)輸入的是正確的單元活動(dòng)模式，它將停留在該狀態(tài)。赫布意識(shí)到，僅僅因?yàn)橐粋€(gè)突觸是活動(dòng)的，就增加其強(qiáng)度，這是不夠的。） 計(jì)算將被一遍遍地反復(fù)進(jìn)行，直到所有單元的輸出都穩(wěn)定為止。如果這個(gè)總和大于 0 則置輸出狀態(tài)為十 1（平均而言，當(dāng)單元興奮性輸入大于抑制性輸人時(shí)，則輸出為正），否則就輸出一 1。 下一個(gè)引起廣泛注意的發(fā)展來(lái)自約翰明斯基（ MarVinMinsky)和西摩意義在于，雖然它的連接最初是隨機(jī)的，它能使用一種簡(jiǎn)單而明確的規(guī)則改變這些連接，因而可以教會(huì)它執(zhí)行某些簡(jiǎn)單的任務(wù)，如識(shí)別固定位置的印刷字母。麥卡洛克（ Warrenc McCulloch）和沃爾特命題不再一定是真的或假的，而只需是具有更大或更小的可能性。 近幾年在設(shè)計(jì)新一代的、以更加并行方式工作的計(jì)算機(jī)方面取得了重要進(jìn)展。 人們習(xí)慣于從硬件和軟件的角度來(lái)談?wù)撚?jì)算機(jī)。①這樣，記憶必然將以不同的形式“存貯”。 一個(gè)典型的神經(jīng) 元可能具有來(lái)自各處的上百乃至數(shù)萬(wàn)個(gè)輸入，其軸突又有大量投射。它也意味著即使失去少數(shù) 分散的神經(jīng)元也不大可能明顯地改變腦的行為。即便是個(gè)人計(jì)算機(jī)，其基本周期，或稱時(shí)鐘頻率，也高于每秒 1000 萬(wàn)次操作。它的行為可能更為復(fù)雜。這樣，每一列波都獨(dú)立于另一列的行為。神經(jīng)網(wǎng)絡(luò)常常被用來(lái)模擬神經(jīng)系統(tǒng)中某些部分的行為，生產(chǎn)有用的商業(yè)化裝置以及檢驗(yàn)?zāi)X是如何工作的一般理論。諾依曼機(jī)”的不足，它妨礙著計(jì)算機(jī)速度的進(jìn)一步提高，而提出了“非馮諾依曼代數(shù)．這是有限維空間中矩陣代數(shù)的自然推廣． 馮諾依曼相繼在柏林大學(xué)和漢堡大學(xué)擔(dān)任數(shù)學(xué)講師。諾依曼．眾所周知， 1946年發(fā)明的電子計(jì)算機(jī)，大大促進(jìn)了科學(xué)技術(shù)的進(jìn)步，大大促進(jìn)了社會(huì)生活的進(jìn)步．鑒于馮在這段時(shí)間里，藥物產(chǎn)生了包括乳房不斷發(fā)育的副作用。 圖靈患有嚴(yán)重的花粉過(guò)敏癥。他的工作對(duì)公理集合論有重要影響，而且直接導(dǎo)致了集合和序數(shù)上的遞歸論的產(chǎn)生。早年在維也納大學(xué)攻讀物理、數(shù)學(xué)， 1930 年獲博士學(xué)位。布爾最大的貢獻(xiàn)是創(chuàng)立了邏輯代數(shù) ，他的工作給 19 世紀(jì)數(shù)學(xué)帶來(lái)新的轉(zhuǎn)機(jī)， 並成為後來(lái)計(jì)算機(jī)理論的基礎(chǔ) ?！痹谶@里，萊布尼茲不僅顯示出了不帶“歐洲中心論”色彩的虛心好學(xué)精神，而且為中西文化雙向交流描繪了宏偉的藍(lán)圖，極力推動(dòng)這種交流向縱深發(fā)展，是東西方人民相互學(xué)習(xí)，取長(zhǎng)補(bǔ)短，共同繁榮進(jìn)步。 五、中西文化交流之倡導(dǎo)者 萊布尼茲對(duì)中國(guó)、的科學(xué)、文化和哲學(xué)思想十分關(guān)注，是最早研究中國(guó)文化和中國(guó)哲學(xué)的德國(guó)人。此外，萊布尼茲還創(chuàng)立了符號(hào)邏輯學(xué)的基本概念，發(fā)明了能夠進(jìn)行加、減、乘、除及開方運(yùn)算的計(jì)算機(jī)和二進(jìn)制，為計(jì)算機(jī)的現(xiàn)代發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。因此，他發(fā)明了一套適用的符號(hào)系統(tǒng)，如，引入 dx 表示 x 的微分，∫表示積分， dnx 表示 n 階微分等等。萊布尼茲在 1684 年 10月發(fā)表的《教師學(xué)報(bào)》上的論文，“一種求極大極小的奇妙類型的計(jì)算”，在數(shù)學(xué)史上被認(rèn)為是最早發(fā)表的微積分文獻(xiàn)?？ㄍ吡欣铩土_、沃利斯等人得到了一系列求面積（積分）、求切線斜率（導(dǎo)數(shù)）的重要結(jié)果，但這些結(jié)果都是孤立的，不連貫的。此時(shí)，他的興趣已明顯地朝向了數(shù)學(xué)和自然科學(xué)， 開始了對(duì)無(wú)窮小算法的研究，獨(dú)立地創(chuàng)立了微積分的 基本概念與算法，和牛頓并蒂雙輝共同奠定了微積分學(xué) 。 20 歲時(shí)，萊布尼茲轉(zhuǎn)入阿爾特道夫大學(xué)。 Leibniz 萊布尼茲 萊布尼茲（ Gottfriend Wilhelm Leibniz,16461716）是 1 18世紀(jì)之交德國(guó)最重要的數(shù)學(xué)家、物理學(xué)家和哲學(xué)家，一個(gè)舉世罕見的科學(xué)天才?！? “順境的美德是節(jié)制；逆境的美德是堅(jiān)忍。這本書中的文章從各種角度論述了他對(duì)人與社會(huì)、人與自己、人與自然的關(guān)系的許多獨(dú)到而精辟的見解，使許許多多人從這本書中獲得熏陶指導(dǎo)。在 書中他響亮地提出了“ 知識(shí)就是力量 ”的觀點(diǎn)。亞氏認(rèn)為實(shí)體不能在 (另一 )主體中出現(xiàn)，懷氏表示反對(duì)，與此相反，懷氏的機(jī)體哲學(xué) (anistic philosophy)正是要解釋現(xiàn)實(shí)事物「在另一事物中出現(xiàn)或存在 (present)」這個(gè)觀念 [15]。柏拉圖在現(xiàn)實(shí)的生滅 世界之上，指出理型界的存在，現(xiàn)實(shí)的生滅世界變動(dòng)不居，我們對(duì)此不能有任何知識(shí)，理想的理型世界才是真實(shí)的客觀實(shí)在 (objective real reality)，我們能夠認(rèn)識(shí)理型，理型世界亦是真善美的最高價(jià)值統(tǒng)會(huì)，現(xiàn)實(shí)世界的萬(wàn)物都分享了理型，但它們只是理型的摹本 (copy) [12]。宇宙充滿和諧的秩序，因此有一位設(shè)計(jì)者，祂就是神。這裏的意思是說(shuō)，有些東西沒有獨(dú)立的存在性 (independent existence)，它們?nèi)舨皇钦撌鲋黧w的謂項(xiàng)，那麼就是依附體； ousia 絕不是這樣的。然後亞氏討論這類主謂命題的邏輯推理方法，所謂「邏輯推論」，即指由前提推導(dǎo)出結(jié)論的對(duì)確 (valid)的方法，在這種對(duì)確推論中，若前提為真，則結(jié)論亦必然地真?！?[4]這評(píng)價(jià)十分正確。亞氏在邏輯主要成就包括主謂命題(statement in subjectpredicate form)及關(guān)於此類命題的邏輯推理方法，特別是三段論證(syllogism)。關(guān)於推論，亞氏特別討論三段論證，這是由兩個(gè) (主謂命題為 )前提推出 (主謂式 )結(jié)論的方法，例如： (i)凡人皆會(huì)死， (ii)凡孔子的後代是人；因此凡孔子的後代皆會(huì)死。換言之，這暗示 ousia 是獨(dú)立自存的東西，亦意味著獨(dú)立自存的個(gè)體。另外，宇宙萬(wàn)物都在生成變化，例如太陽(yáng)之所以能動(dòng)，是因?yàn)橛袞|西在推動(dòng)它。亞氏郤認(rèn)為柏拉圖分離了理型與現(xiàn)實(shí)世界 [13]，理型存在於現(xiàn)實(shí)世界之外，亞氏認(rèn)為這是不可能的，亞氏說(shuō)：「實(shí)體與實(shí)體所代表之物 (that of which it is the substance)分立獨(dú)存，似乎是不可能的；理型既是事物 的實(shí)體，又怎能獨(dú)自存在呢？」 [14]柏拉圖把現(xiàn)實(shí)事物看為理型的摹本與影像，真實(shí)的理型並不存在於現(xiàn)實(shí)世界，亞氏反對(duì)而認(rèn)為理型是事物的本質(zhì) (essence, eidos)或 (第二 )實(shí)體，它內(nèi)在 (immanent)於事物之中，儘管它可能是潛能的 (potential)，例如嬰兒具有「人性」的本質(zhì)，但此本質(zhì)郤是潛能的。懷氏以攝受 (prehension)或感受 (feeling)來(lái)說(shuō)現(xiàn)實(shí)事物，現(xiàn)實(shí)事物是一感受主體或攝受統(tǒng)一體 [16][17]，每一現(xiàn)實(shí)事物都能感受其他事物的感受，以至將其感受成為自己的感受，將它納入自己的感受結(jié)構(gòu)之中；從這個(gè)意義看 ，其他的現(xiàn)實(shí)事物出現(xiàn)或存在於 (present)此現(xiàn)實(shí)事物之中。他指出，要想控制自然，利用自然，就必須掌握科學(xué)知識(shí)。如： “一個(gè)自身無(wú)德的人見別人有德必懷嫉妒”。這后一種是較為偉大的一種德性。他博覽群書，涉獵百科，對(duì)豐富人類的科學(xué)知識(shí)寶庫(kù)做出了不可磨滅的貢獻(xiàn)。這一年，他發(fā)表了第一篇數(shù)學(xué)論文《論組合的藝術(shù)》。 1676 年，他到漢諾威公爵府擔(dān)任法律顧問(wèn)兼圖書館館長(zhǎng)。只有萊布尼茲和牛頓將積分和微分真正溝通起來(lái)，明確地找到了兩者內(nèi)在的直接聯(lián)系：微分和積分是互逆的兩種運(yùn)算。牛頓在 1687 年出版的《自然哲學(xué)的數(shù)學(xué)原理》的第一版和第二版也寫道：“十年前在我和最杰出的幾何學(xué)家 G、 W 萊 布尼茲的通信中，我表明我已經(jīng)知道確定極大值和極小值的方法、作切線的方法以及類似的方法，但我在交換的信件中隱瞞了這方法，??這位最卓越的科學(xué)家在回信中寫道，他也發(fā)現(xiàn)了一種同樣的方法。這些符號(hào)進(jìn)一步促進(jìn)了微積分學(xué)的發(fā)展。 四、豐碩的物理學(xué)成果 萊布尼茲的物理學(xué)成就也是非凡的。他向耶酥會(huì)來(lái)華傳教士格里馬爾迪了解到了許多有關(guān)中國(guó)的情況，包括養(yǎng)蠶紡織、造紙印染、冶金礦產(chǎn)、天文地理、數(shù)學(xué)文字等等，并將這些資料編輯成 冊(cè)出版。 萊布尼茲為促進(jìn)中西文化交流做出了畢生的努力，產(chǎn)生了廣泛而深遠(yuǎn)的影響。為紀(jì)念他的功績(jī)，人們稱這一新學(xué)科為「布爾代數(shù)」。1938 年在美國(guó)普林斯頓高等研究所任職， 1948 年加入美國(guó)籍。 Turing圖靈 艾倫 迫害和逝世 因?yàn)?圖靈的同性戀傾向 而遭到的迫害使得他的職業(yè)生涯盡毀。在 1954 年，圖靈因食用浸過(guò)氰化物溶液的蘋果死亡。諾依曼在發(fā)明電子計(jì)算機(jī)中所起到關(guān)鍵性作用，他被西方人譽(yù)為“ 計(jì)算機(jī)之父 ”． 約翰 1930 年接受了普林斯頓大學(xué)客座教授的職位，西渡美國(guó)． 1931 年成為該校終身教授． 1933年轉(zhuǎn)到該校的高級(jí)研究所，成為最初六位教授之一，并在那里工作了一生． 馮諾依曼還創(chuàng)立了博奕論這一現(xiàn)代數(shù)學(xué)的又一重要分 支． 1944 年發(fā)表了奠基性的重要論文《 博奕論與經(jīng)濟(jì)行為 》．論文中包含博奕論的純粹數(shù)學(xué)形式的闡述以及對(duì)于實(shí)際博奕應(yīng)用的詳細(xì)說(shuō)明．文中還包含了諸如統(tǒng)計(jì)理論等教學(xué)思想．馮諾依曼機(jī)”的設(shè)想 ． 馮 神經(jīng)科學(xué)家們究竟為什么那么需要理論呢？如果他們能了解單個(gè)神經(jīng)元的確切行為，他們就有可能預(yù)測(cè)出具有相互作用的神經(jīng)元群體的特性。對(duì)于大振幅的波則通常不是這樣。因此對(duì)相互作用的神經(jīng)元群體進(jìn)行預(yù)測(cè)變得十分困難，特別是最終的結(jié)果往往與直覺相反。相反地，一個(gè)神經(jīng)元的典型發(fā)放率僅僅在每秒 100 個(gè)脈沖的范圍內(nèi)。用專業(yè)術(shù)語(yǔ)講，腦被稱作“故障弱化”（ degrade gracefully)。而計(jì)算機(jī)的一個(gè)基本元件 —— 晶體管，則只有極少數(shù)的輸入和輸出。 腦看起來(lái)一點(diǎn)也不像通用計(jì)算機(jī)。由于人們編寫軟件（計(jì)算機(jī)程序）時(shí)幾乎不必了解硬件（回路等）的細(xì)節(jié)，所以人們 —— 特別是心理學(xué)家 —— 爭(zhēng)論說(shuō)沒必要了解有關(guān)腦的“硬件”的任何知識(shí)。大多數(shù)設(shè)計(jì)使用了許多小型計(jì)算機(jī)，或是小型計(jì)算機(jī)的某些部件。程序試圖在一組命題中發(fā)現(xiàn)具有最大可能性的那種組合，并以之作為結(jié)論，而不是那些它認(rèn)為可能性較小的結(jié)論。皮茲（ Walter Pitts）的工作是這方面最早的嘗試之一。感知機(jī)的工作方式是，它對(duì)任務(wù)只有兩種反應(yīng)：正確或是錯(cuò)誤。佩伯特（ Segmour Papert)證明感知機(jī)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則無(wú)法執(zhí)行“異或問(wèn)題”（如，判斷這是蘋果還是桔子，但不是二者皆是），因而也不可能學(xué)會(huì)它?；羝辗茽柕拢?John Hopfield)，一位加利福尼亞州理工學(xué) 院的物理學(xué)家，后來(lái)成為分子生物學(xué)家和腦理論家。有些時(shí)候這意味著一個(gè)單元的輸出會(huì)因?yàn)閬?lái)自其他單元的輸入發(fā)生了改變而改變。①在霍普菲爾德網(wǎng)絡(luò)中，