【正文】 安德森（ charles Anderson）和戴維盡管有時它會導(dǎo)致理論家遠(yuǎn)離生物事實，但最終會產(chǎn)生有用的觀點和發(fā)明。盡管有這些保留，模擬一個理論，即便僅僅為了體會一下它事實上如何工作，也是有用的。 “堅持要求所有的模型應(yīng)當(dāng)經(jīng)過模擬檢驗，這令人遺憾地帶來了兩個副產(chǎn)品。例如，那些特定的突觸或許只需要某一種形式的赫布規(guī)則。這樣便在朝著了解生物系統(tǒng)行為的正確方向上邁出了第一步。幾乎可以肯定進(jìn)化就建立在這些改變和時間 延遲上，并從中獲益。人們初步設(shè)計了一些網(wǎng)絡(luò)來著手解決這個問題，但目前尚不深入。在一個精心設(shè)計的網(wǎng)絡(luò)中，在任何一次試驗中通常只有一個勝者。此外還有若干種常見的類型。他們的網(wǎng)絡(luò)所要解決的問題是在不知道光源方向的情況下試圖從某些物體的陰影中推斷出其三維形狀（第四章 描述的所謂從陰影到形狀問題）。別忘了那里只有不足 500 個神經(jīng)元和 2 萬個連接。這正是小孩學(xué)習(xí)語言的方式。其次，網(wǎng)絡(luò)通過學(xué)習(xí)獲得了它的能力，其間經(jīng)歷了幾個不同的訓(xùn)練階段，并達(dá)到了一種顯著的水平。） 相對于大多數(shù)從真實神經(jīng)元上收集的資料而言，神經(jīng)網(wǎng)絡(luò)的一個優(yōu)點在于在訓(xùn)練后很容易檢查它的每一個 隱單元的感受野。 實際結(jié)果并不完美，在某種情況下英語發(fā)音依賴于詞意，而 NETtalk 對此一無所知。他們編寫程序使得計算機(jī)能根據(jù)提供的輸入和（正確的）輸出信息自動地完成這一步。它能將 NETtallk 的輸出變?yōu)榘l(fā)音，這樣就可以聽到機(jī)器“朗讀”英語了。羅森堡（ Charles Rosenberg）在 1987 年提供了一個著名的演示。此時有一個輸入的測試集來檢驗網(wǎng)絡(luò)。過程如下：在網(wǎng)絡(luò)對訓(xùn)練產(chǎn)生輸 出以后，告訴高層的每個單元它的輸出與“正確”輸出之間的差。下一層被稱作“隱單元”層，因為這些單元并不直接與網(wǎng)絡(luò)外部的世界連接。 這條看似平滑的曲線有兩個重要性質(zhì)。它通常在 0 到 +1 之間取值。用自然地理的術(shù)語說就是，我們達(dá)到的是一個火山口中的湖，還是較低的池塘。教師則用信號告訴每個輸出神經(jīng)元它的誤差，即它的狀態(tài)與正確之間的差異，δ這個名稱便來源于這個真實活動與要求之間的差異（數(shù)學(xué)上δ常用來表示小而有限的差異）。 訓(xùn)練一個網(wǎng)絡(luò)需要有供訓(xùn)練用的輸入集合，稱作“訓(xùn)練集”。 在神經(jīng)網(wǎng)絡(luò)有些學(xué)習(xí)形式被稱作是“無教師的”。這很幸運，因為它是一個特殊算法的最新發(fā)展（或者說是它的復(fù)興或應(yīng)用），在其早期工作基礎(chǔ)上，很快給人留下了深刻的印象。朗格特 希金斯（ Christopher LonguetHiggins）的另一位學(xué)生杰弗里我?guī)缀?只有一個貢獻(xiàn)，就是堅持要求他們停止使用神經(jīng)元一詞作為他們網(wǎng)絡(luò)的單元。詳細(xì)的數(shù)學(xué)分析表明神經(jīng)網(wǎng)絡(luò)和全息圖在數(shù)學(xué)上是不同的 。 這些簡單網(wǎng)絡(luò)是不能和腦的復(fù)雜性相提并論的，但這種簡化確實使我們可能對它們的行為有所了解，即使是簡單網(wǎng)絡(luò)中出現(xiàn)的特點也可能出現(xiàn)在具有相同普遍特性的更復(fù)雜的網(wǎng)絡(luò)中，此外，它 們向我們提供了多種觀點，表明特定的腦回路所可能具有的功能。即使給出線索，甚至以完整的模式作為輸入，網(wǎng)絡(luò)也會產(chǎn)生毫無意義的輸出。據(jù)推測，人類長期記憶的回憶具有這種一般性質(zhì)（只是活動模式不能永久保持）。 霍普菲爾德網(wǎng)絡(luò)是如何工作的呢？如果網(wǎng)絡(luò)輸入的是正確的單元活動模式，它將停留在該狀態(tài)。赫布意識到，僅僅因為一個突觸是活動的，就增加其強度，這是不夠的。） 計算將被一遍遍地反復(fù)進(jìn)行，直到所有單元的輸出都穩(wěn)定為止。如果這個總和大于 0 則置輸出狀態(tài)為十 1（平均而言，當(dāng)單元興奮性輸入大于抑制性輸人時，則輸出為正），否則就輸出一 1。 下一個引起廣泛注意的發(fā)展來自約翰明斯基（ MarVinMinsky)和西摩意義在于，雖然它的連接最初是隨機(jī)的，它能使用一種簡單而明確的規(guī)則改變這些連接，因而可以教會它執(zhí)行某些簡單的任務(wù)，如識別固定位置的印刷字母。麥卡洛克（ Warrenc McCulloch）和沃爾特命題不再一定是真的或假的，而只需是具有更大或更小的可能性。 近幾年在設(shè)計新一代的、以更加并行方式工作的計算機(jī)方面取得了重要進(jìn)展。 人們習(xí)慣于從硬件和軟件的角度來談?wù)撚嬎銠C(jī)。①這樣，記憶必然將以不同的形式“存貯”。 一個典型的神經(jīng) 元可能具有來自各處的上百乃至數(shù)萬個輸入，其軸突又有大量投射。它也意味著即使失去少數(shù) 分散的神經(jīng)元也不大可能明顯地改變腦的行為。即便是個人計算機(jī)，其基本周期，或稱時鐘頻率，也高于每秒 1000 萬次操作。它的行為可能更為復(fù)雜。這樣，每一列波都獨立于另一列的行為。神經(jīng)網(wǎng)絡(luò)常常被用來模擬神經(jīng)系統(tǒng)中某些部分的行為，生產(chǎn)有用的商業(yè)化裝置以及檢驗?zāi)X是如何工作的一般理論。諾依曼機(jī)”的不足，它妨礙著計算機(jī)速度的進(jìn)一步提高，而提出了“非馮諾依曼代數(shù)．這是有限維空間中矩陣代數(shù)的自然推廣． 馮諾依曼相繼在柏林大學(xué)和漢堡大學(xué)擔(dān)任數(shù)學(xué)講師。諾依曼．眾所周知， 1946年發(fā)明的電子計算機(jī)，大大促進(jìn)了科學(xué)技術(shù)的進(jìn)步，大大促進(jìn)了社會生活的進(jìn)步．鑒于馮在這段時間里，藥物產(chǎn)生了包括乳房不斷發(fā)育的副作用。 圖靈患有嚴(yán)重的花粉過敏癥。他的工作對公理集合論有重要影響，而且直接導(dǎo)致了集合和序數(shù)上的遞歸論的產(chǎn)生。早年在維也納大學(xué)攻讀物理、數(shù)學(xué)， 1930 年獲博士學(xué)位。布爾最大的貢獻(xiàn)是創(chuàng)立了邏輯代數(shù) ，他的工作給 19 世紀(jì)數(shù)學(xué)帶來新的轉(zhuǎn)機(jī)， 並成為後來計算機(jī)理論的基礎(chǔ) ?！痹谶@里，萊布尼茲不僅顯示出了不帶“歐洲中心論”色彩的虛心好學(xué)精神，而且為中西文化雙向交流描繪了宏偉的藍(lán)圖，極力推動這種交流向縱深發(fā)展，是東西方人民相互學(xué)習(xí)，取長補短，共同繁榮進(jìn)步。 五、中西文化交流之倡導(dǎo)者 萊布尼茲對中國、的科學(xué)、文化和哲學(xué)思想十分關(guān)注，是最早研究中國文化和中國哲學(xué)的德國人。此外，萊布尼茲還創(chuàng)立了符號邏輯學(xué)的基本概念，發(fā)明了能夠進(jìn)行加、減、乘、除及開方運算的計算機(jī)和二進(jìn)制，為計算機(jī)的現(xiàn)代發(fā)展奠定了堅實的基礎(chǔ)。因此，他發(fā)明了一套適用的符號系統(tǒng)，如，引入 dx 表示 x 的微分，∫表示積分， dnx 表示 n 階微分等等。萊布尼茲在 1684 年 10月發(fā)表的《教師學(xué)報》上的論文，“一種求極大極小的奇妙類型的計算”，在數(shù)學(xué)史上被認(rèn)為是最早發(fā)表的微積分文獻(xiàn)?？ㄍ吡欣铩土_、沃利斯等人得到了一系列求面積（積分）、求切線斜率（導(dǎo)數(shù)）的重要結(jié)果，但這些結(jié)果都是孤立的，不連貫的。此時，他的興趣已明顯地朝向了數(shù)學(xué)和自然科學(xué)， 開始了對無窮小算法的研究，獨立地創(chuàng)立了微積分的 基本概念與算法，和牛頓并蒂雙輝共同奠定了微積分學(xué) 。 20 歲時，萊布尼茲轉(zhuǎn)入阿爾特道夫大學(xué)。 Leibniz 萊布尼茲 萊布尼茲（ Gottfriend Wilhelm Leibniz,16461716）是 1 18世紀(jì)之交德國最重要的數(shù)學(xué)家、物理學(xué)家和哲學(xué)家，一個舉世罕見的科學(xué)天才?！? “順境的美德是節(jié)制；逆境的美德是堅忍。這本書中的文章從各種角度論述了他對人與社會、人與自己、人與自然的關(guān)系的許多獨到而精辟的見解，使許許多多人從這本書中獲得熏陶指導(dǎo)。在 書中他響亮地提出了“ 知識就是力量 ”的觀點。亞氏認(rèn)為實體不能在 (另一 )主體中出現(xiàn)，懷氏表示反對，與此相反，懷氏的機(jī)體哲學(xué) (anistic philosophy)正是要解釋現(xiàn)實事物「在另一事物中出現(xiàn)或存在 (present)」這個觀念 [15]。柏拉圖在現(xiàn)實的生滅 世界之上，指出理型界的存在，現(xiàn)實的生滅世界變動不居，我們對此不能有任何知識，理想的理型世界才是真實的客觀實在 (objective real reality)，我們能夠認(rèn)識理型，理型世界亦是真善美的最高價值統(tǒng)會，現(xiàn)實世界的萬物都分享了理型，但它們只是理型的摹本 (copy) [12]。宇宙充滿和諧的秩序，因此有一位設(shè)計者，祂就是神。這裏的意思是說，有些東西沒有獨立的存在性 (independent existence)，它們?nèi)舨皇钦撌鲋黧w的謂項，那麼就是依附體； ousia 絕不是這樣的。然後亞氏討論這類主謂命題的邏輯推理方法，所謂「邏輯推論」，即指由前提推導(dǎo)出結(jié)論的對確 (valid)的方法，在這種對確推論中，若前提為真，則結(jié)論亦必然地真。」 [4]這評價十分正確。亞氏在邏輯主要成就包括主謂命題(statement in subjectpredicate form)及關(guān)於此類命題的邏輯推理方法，特別是三段論證(syllogism)。關(guān)於推論，亞氏特別討論三段論證，這是由兩個 (主謂命題為 )前提推出 (主謂式 )結(jié)論的方法，例如： (i)凡人皆會死， (ii)凡孔子的後代是人；因此凡孔子的後代皆會死。換言之，這暗示 ousia 是獨立自存的東西，亦意味著獨立自存的個體。另外，宇宙萬物都在生成變化，例如太陽之所以能動，是因為有東西在推動它。亞氏郤認(rèn)為柏拉圖分離了理型與現(xiàn)實世界 [13]，理型存在於現(xiàn)實世界之外，亞氏認(rèn)為這是不可能的，亞氏說：「實體與實體所代表之物 (that of which it is the substance)分立獨存，似乎是不可能的；理型既是事物 的實體，又怎能獨自存在呢？」 [14]柏拉圖把現(xiàn)實事物看為理型的摹本與影像，真實的理型並不存在於現(xiàn)實世界，亞氏反對而認(rèn)為理型是事物的本質(zhì) (essence, eidos)或 (第二 )實體，它內(nèi)在 (immanent)於事物之中，儘管它可能是潛能的 (potential)，例如嬰兒具有「人性」的本質(zhì)，但此本質(zhì)郤是潛能的。懷氏以攝受 (prehension)或感受 (feeling)來說現(xiàn)實事物，現(xiàn)實事物是一感受主體或攝受統(tǒng)一體 [16][17]，每一現(xiàn)實事物都能感受其他事物的感受，以至將其感受成為自己的感受，將它納入自己的感受結(jié)構(gòu)之中；從這個意義看 ，其他的現(xiàn)實事物出現(xiàn)或存在於 (present)此現(xiàn)實事物之中。他指出，要想控制自然，利用自然，就必須掌握科學(xué)知識。如： “一個自身無德的人見別人有德必懷嫉妒”。這后一種是較為偉大的一種德性。他博覽群書，涉獵百科，對豐富人類的科學(xué)知識寶庫做出了不可磨滅的貢獻(xiàn)。這一年，他發(fā)表了第一篇數(shù)學(xué)論文《論組合的藝術(shù)》。 1676 年，他到漢諾威公爵府擔(dān)任法律顧問兼圖書館館長。只有萊布尼茲和牛頓將積分和微分真正溝通起來，明確地找到了兩者內(nèi)在的直接聯(lián)系：微分和積分是互逆的兩種運算。牛頓在 1687 年出版的《自然哲學(xué)的數(shù)學(xué)原理》的第一版和第二版也寫道：“十年前在我和最杰出的幾何學(xué)家 G、 W 萊 布尼茲的通信中，我表明我已經(jīng)知道確定極大值和極小值的方法、作切線的方法以及類似的方法，但我在交換的信件中隱瞞了這方法，??這位最卓越的科學(xué)家在回信中寫道，他也發(fā)現(xiàn)了一種同樣的方法。這些符號進(jìn)一步促進(jìn)了微積分學(xué)的發(fā)展。 四、豐碩的物理學(xué)成果 萊布尼茲的物理學(xué)成就也是非凡的。他向耶酥會來華傳教士格里馬爾迪了解到了許多有關(guān)中國的情況，包括養(yǎng)蠶紡織、造紙印染、冶金礦產(chǎn)、天文地理、數(shù)學(xué)文字等等，并將這些資料編輯成 冊出版。 萊布尼茲為促進(jìn)中西文化交流做出了畢生的努力，產(chǎn)生了廣泛而深遠(yuǎn)的影響。為紀(jì)念他的功績，人們稱這一新學(xué)科為「布爾代數(shù)」。1938 年在美國普林斯頓高等研究所任職， 1948 年加入美國籍。 Turing圖靈 艾倫 迫害和逝世 因為 圖靈的同性戀傾向 而遭到的迫害使得他的職業(yè)生涯盡毀。在 1954 年，圖靈因食用浸過氰化物溶液的蘋果死亡。諾依曼在發(fā)明電子計算機(jī)中所起到關(guān)鍵性作用，他被西方人譽為“ 計算機(jī)之父 ”． 約翰 1930 年接受了普林斯頓大學(xué)客座教授的職位，西渡美國． 1931 年成為該校終身教授． 1933年轉(zhuǎn)到該校的高級研究所，成為最初六位教授之一，并在那里工作了一生． 馮諾依曼還創(chuàng)立了博奕論這一現(xiàn)代數(shù)學(xué)的又一重要分 支． 1944 年發(fā)表了奠基性的重要論文《 博奕論與經(jīng)濟(jì)行為 》．論文中包含博奕論的純粹數(shù)學(xué)形式的闡述以及對于實際博奕應(yīng)用的詳細(xì)說明．文中還包含了諸如統(tǒng)計理論等教學(xué)思想．馮諾依曼機(jī)”的設(shè)想 ． 馮 神經(jīng)科學(xué)家們究竟為什么那么需要理論呢？如果他們能了解單個神經(jīng)元的確切行為，他們就有可能預(yù)測出具有相互作用的神經(jīng)元群體的特性。對于大振幅的波則通常不是這樣。因此對相互作用的神經(jīng)元群體進(jìn)行預(yù)測變得十分困難，特別是最終的結(jié)果往往與直覺相反。相反地，一個神經(jīng)元的典型發(fā)放率僅僅在每秒 100 個脈沖的范圍內(nèi)。用專業(yè)術(shù)語講，腦被稱作“故障弱化”（ degrade gracefully)。而計算機(jī)的一個基本元件 —— 晶體管，則只有極少數(shù)的輸入和輸出。 腦看起來一點也不像通用計算機(jī)。由于人們編寫軟件（計算機(jī)程序）時幾乎不必了解硬件（回路等）的細(xì)節(jié)，所以人們 —— 特別是心理學(xué)家 —— 爭論說沒必要了解有關(guān)腦的“硬件”的任何知識。大多數(shù)設(shè)計使用了許多小型計算機(jī)，或是小型計算機(jī)的某些部件。程序試圖在一組命題中發(fā)現(xiàn)具有最大可能性的那種組合，并以之作為結(jié)論，而不是那些它認(rèn)為可能性較小的結(jié)論。皮茲（ Walter Pitts）的工作是這方面最早的嘗試之一。感知機(jī)的工作方式是，它對任務(wù)只有兩種反應(yīng)：正確或是錯誤。佩伯特（ Segmour Papert)證明感知機(jī)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則無法執(zhí)行“異或問題”（如，判斷這是蘋果還是桔子，但不是二者皆是），因而也不可能學(xué)會它?；羝辗茽柕拢?John Hopfield)，一位加利福尼亞州理工學(xué) 院的物理學(xué)家，后來成為分子生物學(xué)家和腦理論家。有些時候這意味著一個單元的輸出會因為來自其他單元的輸入發(fā)生了改變而改變。①在霍普菲爾德網(wǎng)絡(luò)中，