【文章內(nèi)容簡介】 是有限維空間中矩陣代數(shù)的自然推廣． 馮諾依曼還創(chuàng)立了博奕論這一現(xiàn)代數(shù)學(xué)的又一重要分 支． 1944 年發(fā)表了奠基性的重要論文《 博奕論與經(jīng)濟(jì)行為 》．論文中包含博奕論的純粹數(shù)學(xué)形式的闡述以及對于實(shí)際博奕應(yīng)用的詳細(xì)說明．文中還包含了諸如統(tǒng)計理論等教學(xué)思想．馮諾依曼在格論、連續(xù)幾何、理論物理、動力學(xué)、連續(xù)介質(zhì)力學(xué)、氣象計算、原子能和經(jīng)濟(jì)學(xué)等領(lǐng)域都作過重要的工作． 馮諾依曼對人類的最大貢獻(xiàn)是對計算機(jī)科學(xué)、計算機(jī)技術(shù)和數(shù)值分析的開拓性工作． 現(xiàn)在一般認(rèn)為 ENIAC機(jī)是世界第一臺電子計算機(jī)，它是由美國科學(xué)家研制的，于 1946年 2 月 14 日在費(fèi)城開始運(yùn)行．其實(shí)由湯米、費(fèi)勞爾斯等英國科學(xué)家 研制的“科洛薩斯”計算機(jī)比 ENIAC 機(jī)問世早兩年多，于 1944 年 1 月 10日在布萊奇利園區(qū)開始運(yùn)行． ENIAC 機(jī)證明電子真空技術(shù)可以大大地提高計算技術(shù)，不過， ENIAC 機(jī)本身存在兩大缺點(diǎn)：（ 1）沒有存儲器；（ 2）它用布線接板進(jìn)行控制，甚至要搭接見天，計算速度也就被這一工作抵消了． ENIAC 機(jī)研制組的莫克利和埃克特顯然是感到了這一點(diǎn)，他們也想盡快著手研制另一臺計算機(jī)，以便改進(jìn)． 馮諾依曼由 ENIAC 機(jī)研制組的戈爾德斯廷中尉介紹參加 ENIAC 機(jī)研制小組后，便帶領(lǐng)這批富有創(chuàng)新精神的年輕科技人員，向著更高的 目標(biāo)進(jìn)軍． 1945 年，他們在共同討論的基礎(chǔ)上，發(fā)表了一個全新的“ 存儲程序通用電子計算機(jī)方案 ” —— EDVAC（ Electronic Discrete Variable AutomaticCompUter的縮寫）．在這過程中，馮諾依曼顯示出他雄厚的數(shù)理基礎(chǔ)知識，充分發(fā)揮了他的顧問作用及探索問題和綜合分析的能力． EDVAC 方案明確奠定了新機(jī)器由五個部分組成，包括：運(yùn)算器、邏輯控制裝置、存儲器、輸入和輸出設(shè)備，并描述了這五部分的職能和相互關(guān)系． EDVAC 機(jī)還有兩個非常重大的改進(jìn)，即： （ 1）采用了二進(jìn)制， 不但數(shù)據(jù)采用二進(jìn)制，指令也采用二進(jìn)制；（ 2 建立了存儲程序，指令和數(shù)據(jù)便可一起放在存儲器里，并作同樣處理．簡化了計算機(jī)的結(jié)構(gòu)，大大提高了計算機(jī)的速度 ． 1946 年 7， 8 月間，馮諾依曼和戈爾德斯廷、勃克斯在 EDVAC方案的基礎(chǔ)上，為普林斯頓大學(xué)高級研究所研制 IAS 計算機(jī)時，又提出了一個更加完善的設(shè)計報告《電子計算機(jī)邏輯設(shè)計初探》．以上兩份既有理論又有具體設(shè)計的文件，首次在全世界掀起了一股“計算機(jī)熱”，它們的綜合設(shè)計思想，便是著名的“馮諾依曼機(jī)”，其中心就是有存儲程序 原則 —— 指令和數(shù)據(jù)一起存儲．這個概 念被譽(yù)為‘計算機(jī)發(fā)展史上的一個里程碑”．它標(biāo)志著電子計算機(jī)時代的真正開始，指導(dǎo)著以后的計算機(jī)設(shè)計．自然一切事物總是在發(fā)展著的，隨著科學(xué)技術(shù)的進(jìn)步， 今天人們又認(rèn)識到“馮諾依曼機(jī)”的不足，它妨礙著計算機(jī)速度的進(jìn)一步提高，而提出了“非馮諾依曼機(jī)”的設(shè)想 ． 馮諾依曼還積極參與了推廣應(yīng)用計算機(jī)的工作，對如何編制程序及搞數(shù)值計算都作出了杰出的貢獻(xiàn)． 馮諾依曼于 1937年獲美國數(shù)學(xué)會的波策獎； 1947 年獲美國總統(tǒng)的功勛獎?wù)?、美國海軍?yōu)秀公民服務(wù)獎； 1956年獲美國總統(tǒng)的自由獎?wù)潞蛺垡蛩固辜o(jì)念獎以及費(fèi)米 獎． 馮諾依曼逝世后，未完成的手稿于 1958 年以《計算機(jī)與人腦》為名出版．他的主要著作收集在六卷《馮諾依曼全集》中， 1961 年出版． 驚人的假說 靈魂的科學(xué)探索 作者：弗蘭西斯 .克里克 汪云九、齊翔林、吳新年、曾曉東 等譯校 第十三章 神經(jīng)網(wǎng)絡(luò) “??我相信，對一個模型的最好的檢驗(yàn)是它的設(shè)計者能否回答這些問題：‘現(xiàn)在你知道哪些原本不知道的東西？’以及‘你如何證明它是否是對的？’” —— 詹姆斯鮑爾（ James ) 神經(jīng)網(wǎng)絡(luò)是由具有各種相互聯(lián)系的單元組成的集合 。每個單元具有極為簡化的神經(jīng)元的特性。神經(jīng)網(wǎng)絡(luò)常常被用來模擬神經(jīng)系統(tǒng)中某些部分的行為，生產(chǎn)有用的商業(yè)化裝置以及檢驗(yàn)?zāi)X是如何工作的一般理論。 神經(jīng)科學(xué)家們究竟為什么那么需要理論呢？如果他們能了解單個神經(jīng)元的確切行為，他們就有可能預(yù)測出具有相互作用的神經(jīng)元群體的特性。令人遺憾的是，事情并非如此輕而易舉。事實(shí)上，單個神經(jīng)元的行為通常遠(yuǎn)不那么簡單，而且神經(jīng)元幾乎總是以一種復(fù)雜的方式連接在一起。此外，整個系統(tǒng)通常是高度非線性的。線性系統(tǒng)，就其最簡單形式而言，當(dāng)輸入加倍時，它的輸出也嚴(yán)格加倍 —— 即輸出與輸入呈 比例關(guān)系。①例如，在池塘的表面，當(dāng)兩股行進(jìn)中的小湍流彼此相遇時，它們會彼此穿過而互不干擾。為了計算兩股小水波聯(lián)合產(chǎn)生的效果，人們只需把第一列波與第二列波的效果在空間和時間的每一點(diǎn)上相加即可。這樣，每一列波都獨(dú)立于另一列的行為。對于大振幅的波則通常不是這樣。物理定律表明，大振幅情況下均衡性被打破。沖破一列波的過程是高度非線性的：一旦振幅超過某個閾值，波的行為完全以全新的方式出現(xiàn)。那不僅僅是“更多同樣的東西”，而是某些新的特性。非線性行為在日常生活中很普遍，特別是在愛情和戰(zhàn)爭當(dāng)中。正如歌中唱的：“吻她一次遠(yuǎn)不及 吻她兩次的一半那么美妙。” 如果一個系統(tǒng)是非線性的，從數(shù)學(xué)上理解它通常比線性系統(tǒng)要困難得多。它的行為可能更為復(fù)雜。因此對相互作用的神經(jīng)元群體進(jìn)行預(yù)測變得十分困難，特別是最終的結(jié)果往往與直覺相反。 高速數(shù)字計算機(jī)是近 50 年來最重要的技術(shù)發(fā)展之一。它時常被稱作馮 .諾依曼計算機(jī)，以紀(jì)念這位杰出的科學(xué)家、計算機(jī)的締造者。由于計算機(jī)能像人腦一樣對符號和數(shù)字進(jìn)行操作，人們自然地想像腦是某種形式相當(dāng)復(fù)雜的馮諾依曼計算機(jī)。這種比較，如果陷入極端的話，將導(dǎo)致不切實(shí)際的理論。 計算機(jī)是構(gòu)建在固有 的高速組件之上的。即便是個人計算機(jī)，其基本周期，或稱時鐘頻率，也高于每秒 1000 萬次操作。相反地，一個神經(jīng)元的典型發(fā)放率僅僅在每秒 100 個脈沖的范圍內(nèi)。計算機(jī)要快上百萬倍。而像克雷型機(jī)那樣的高速超級計算機(jī)速度甚至更高。大致說來，計算機(jī)的操作是序列式的，即一條操作接著一條操作。與此相反，腦的工作方式則通常是大規(guī)模并行的，例如，從每只眼睛到達(dá)腦的軸突大約有 100 萬個，它們?nèi)纪瑫r工作。在系統(tǒng)中這種高度的并行情況幾乎重復(fù)出現(xiàn)在每個階段。這種連線方式在某種程度上彌補(bǔ)了神經(jīng)元行為上的相對緩慢性。它也意味著即使失去少數(shù) 分散的神經(jīng)元也不大可能明顯地改變腦的行為。用專業(yè)術(shù)語講，腦被稱作“故障弱化”（ degrade gracefully)。而計算機(jī)則是脆弱的，哪怕是對它極小的損傷，或是程序中的一個小錯誤，也會引起大的災(zāi)難。計算機(jī)中出現(xiàn)錯誤則是災(zāi)難性的（ degrade catastrophically)。 計算機(jī)在工作中是高度穩(wěn)定的。因?yàn)槠鋯蝹€組件是很可靠的，當(dāng)給定相同的輸入時通常產(chǎn)生完全同樣的輸出。反之，單個神經(jīng)元則具有更多的變化。它們受可以調(diào)節(jié)其行為的信號所支配，有些特性邊“計算”邊改變。 一個典型的神經(jīng) 元可能具有來自各處的上百乃至數(shù)萬個輸入，其軸突又有大量投射。而計算機(jī)的一個基本元件 —— 晶體管，則只有極少數(shù)的輸入和輸出。 在計算機(jī)中，信息被編碼成由 0 和 1 組成的脈沖序列。計算機(jī)通過這種形式高度精確地將信息從一個特定的地方傳送到另一個地方。信息可以到達(dá)特定的地址，提取或者改變那里所貯存的內(nèi)容。這樣就能夠?qū)⑿畔⒋嫒胗洃涹w的某個特殊位置，并在以后的某些時刻進(jìn)一步加以利用。這種精確性在腦中是不會出現(xiàn)的。盡管一個神經(jīng)元沿它的軸突發(fā)送的脈沖的模式（而不僅僅是其平均發(fā)放率）可能攜帶某些信息，但并不存在精確的由脈 沖編碼的信息。①這樣，記憶必然將以不同的形式“存貯”。 腦看起來一點(diǎn)也不像通用計算機(jī)。腦的不同部分，甚至是新皮層的不同部分，都是專門用來處理不同類型的信息的（至少在某種程度上是這樣的）?？磥泶蠖鄶?shù)記憶存貯在進(jìn)行當(dāng)前操作的那個地方。所有這些與傳統(tǒng)的馮諾依曼計算機(jī)完全不同，因?yàn)閳?zhí)行計算機(jī)的基本操作（如加法 .乘法等等）僅在一個或少數(shù)幾個地方，而它的記憶卻存貯在許多很不同的地方。 最后，計算機(jī)是由工程師精心設(shè)計出來的，而腦則是動物經(jīng)自然選擇一代又一代進(jìn)化而來的。這就產(chǎn)生了如第一章 所述的本質(zhì)上 不同的設(shè)計形式。 人們習(xí)慣于從硬件和軟件的角度來談?wù)撚嬎銠C(jī)。由于人們編寫軟件（計算機(jī)程序）時幾乎不必了解硬件（回路等）的細(xì)節(jié)，所以人們 —— 特別是心理學(xué)家 —— 爭論說沒必要了解有關(guān)腦的“硬件”的任何知識。實(shí)際上想把這種理論強(qiáng)加到腦的操作過程中是不恰當(dāng)?shù)?，腦的硬件與軟件之間并沒有明顯的差異。對于這種探討的一種合理的解釋是，雖然腦的活動是高度并行的，在所有這些平行操作的頂端有某些形式的（由注意控制的）序列機(jī)制，因而，在腦的操作的較高層次，在那些遠(yuǎn)離感覺輸入的地方，可以膚淺地說腦與計算機(jī)有某種相似之處。 人們可以從一個理論途徑的成果來對它作判斷。計算機(jī)按編寫的程序執(zhí)行，因而擅長解決諸如大規(guī)模數(shù)字處理、嚴(yán)格的邏輯推理以及下棋等某些類型的問題。這些事情大多數(shù)人都沒有它們完成得那么快、那么好。但是，面對常人能快速、不費(fèi)氣力就能完成的任務(wù)，如觀察物體并理解其意義，即便是最現(xiàn)代的計算機(jī)也顯得無能為力。 近幾年在設(shè)計新一代的、以更加并行方式工作的計算機(jī)方面取得了重要進(jìn)展。大多數(shù)設(shè)計使用了許多小型計算機(jī)，或是小型計算機(jī)的某些部件。它們被連接在一起，并同時運(yùn)行。由一些相當(dāng)復(fù)雜的設(shè)備來處理小計算機(jī)之間的信息 交換并對計算進(jìn)行全局控制。像天氣預(yù)測等類似問題，其基本要素在多處出現(xiàn)。此時超級計算機(jī)特別有用。 人工智能界也采取了行動設(shè)計更具有腦的特點(diǎn)的程序。他們用一種模糊邏輯取代通常計算中使用的嚴(yán)格的邏輯。命題不再一定是真的或假的，而只需是具有更大或更小的可能性。程序試圖在一組命題中發(fā)現(xiàn)具有最大可能性的那種組合，并以之作為結(jié)論，而不是那些它認(rèn)為可能性較小的結(jié)論。 在概念的設(shè)置上，這種方法確實(shí)比早期的人工智能方法與腦更為相像，但在其他方面，特別是在記憶的存貯上，則不那么像腦。因此，要檢查它與真實(shí)的腦在 所有層次上行為的相似性可能會有困難。 一群原先很不知名的理論工作者發(fā)展了一種更具有腦的特性的方法。如今它被稱為 PDP方法（即平行分布式處理）。這個話題有很長的歷史，我只能概述一二。 在 1943 年沃侖麥卡洛克（ Warrenc McCulloch）和沃爾特皮茲（ Walter Pitts）的工作是這方面最早的嘗試之一。他們表明，在原則上由非常簡單的單元連接在一起組成的“網(wǎng)絡(luò)”可以對任何邏輯和算術(shù)函數(shù)進(jìn)行計算。因?yàn)榫W(wǎng)絡(luò)的單元有些像大大簡化的神經(jīng)元，它現(xiàn)在常被稱作“神經(jīng)網(wǎng)絡(luò)”。 這個成就非常令人 鼓舞，以致它使許多人受到誤導(dǎo)，相信腦就是這樣工作的?；蛟S它對現(xiàn)代計算機(jī)的設(shè)計有所幫助，但它的最引人注目的結(jié)論就腦而言則是極端錯誤的。 下一個重要的進(jìn)展是弗蘭克羅森布拉特（ Frank Rosenblatt）發(fā)明的一種非常簡單的單層裝置，他稱之為感知機(jī)（ Perceptron)。意義在于，雖然它的連接最初是隨機(jī)的，它能使用一種簡單而明確的規(guī)則改變這些連接，因而可以教會它執(zhí)行某些簡單的任務(wù)，如識別固定位置的印刷字母。感知機(jī)的工作方式是，它對任務(wù)只有兩種反應(yīng)：正確或是錯誤。你只需告訴它它所作出的（暫時的） 回答是否正確。然后它根據(jù)一種感知機(jī)學(xué)習(xí)規(guī)則來改變其連接。羅森布拉特證明，對于某一類簡單的問題 —— “線性可分”的問題 —— 感知機(jī)通過有限次訓(xùn)練就能學(xué)會正確的行為。 由于這個結(jié)果在數(shù)學(xué)上很優(yōu)美，從而吸引了眾人的注目。只可惜它時運(yùn)不濟(jì)，它的影響很快就消退了。馬文明斯基（ MarVinMinsky)和西摩佩伯特（ Segmour Papert)證明感知機(jī)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則無法執(zhí)行“異或問題”（如，判斷這是蘋果還是桔子，但不是二者皆是），因而也不可能學(xué)會它。他們寫了一本書，通篇詳述了感知機(jī)的局限性。這在許多年內(nèi) 扼殺了人們對感知機(jī)的興趣（明斯基后來承認(rèn)做得過分了）。此問大部分工作將注意力轉(zhuǎn)向人工智能方法。① 用簡單單元構(gòu)建一個多層網(wǎng)絡(luò)，使之完成簡單的單層網(wǎng)絡(luò)所無法完成的異或問題（或類似任務(wù)），這是可能的。這種網(wǎng)絡(luò)必定具有許多不同層次上的連接，問題在于，對哪些最初是隨機(jī)的連接進(jìn)行修改才能使網(wǎng)絡(luò)完成所要求的操作。如果明斯基和佩伯特為這個問題提供了解答，而不是把感知機(jī)打入死路的話，他們的貢獻(xiàn)會更大些。 下一個引起廣泛注意的發(fā)展來自約翰霍普菲爾德（ John Hopfield)，一位加利福尼亞州理工學(xué) 院的物理學(xué)家，后來成為分子生物學(xué)家和腦理論家。 1982 年他提出了一種網(wǎng)絡(luò)，現(xiàn)在被稱為霍普菲爾德網(wǎng)絡(luò) (見圖 53）。這是一個具有自反饋的簡單網(wǎng)絡(luò)。每個單元只能有兩種輸出：一 1（表示抑制）或十 1（表示興奮）。但每個單元具有多個輸入。每個連接均被指派一個特定的強(qiáng)度。在每個時刻單元把來自它的全部連接的效果 (2)總和起來。如果這個總和大于 0 則置輸出狀態(tài)為十 1（平均而言，當(dāng)單元興奮性輸入大于抑制性輸人時，則輸出為正），否則就輸出一 1。有些時候這意味著一個單元的輸出會因?yàn)閬碜云渌麊卧妮斎氚l(fā)生了改變而改變。 盡管 如此，仍有不少理論工作者默默無聞地繼續(xù)工作。這其中包括斯蒂芬 .格羅斯伯格（