【正文】 所有單元的狀態(tài)并不是同時(shí)改變的，而是按隨機(jī) 次序一個(gè)接一個(gè)進(jìn)行，霍普菲爾德從理論上證明了，給定一組權(quán)重（連接強(qiáng)度）以及任何輸入，網(wǎng)絡(luò)將不會無限制地處于漫游狀態(tài)，也不會進(jìn)入振蕩，而是迅速達(dá)到一個(gè)穩(wěn)態(tài)。他期望一種只在兩個(gè)神經(jīng)元的活動(dòng)相關(guān)時(shí)才起作用的機(jī)制。這并沒有什么特別的，因?yàn)榇藭r(shí)給予它的就是答案。你能記住大量現(xiàn)在一時(shí)想不起來的事情。① 有人提出這是我們做夢時(shí)出現(xiàn)的現(xiàn)象（弗洛伊德稱之為“凝聚” —— condensation），但這是題外話。例如，海馬中有一個(gè)稱為 CA3 的區(qū)域，它的連接事實(shí)上很像一個(gè)按內(nèi)容尋址的網(wǎng)絡(luò)。更重要的是，雖然神經(jīng)網(wǎng)絡(luò)是由那些與真實(shí)神經(jīng)元有些相似的單元構(gòu)建的，沒有證據(jù)表明腦中具有全息圖所需的裝置或處理過程。 加利福尼亞州立大學(xué)圣迭戈分校心理系離索爾克研究所僅有大約一英里。希爾頓（ Geoffrey Hinton）的鼓勵(lì)下，他們著手研究一個(gè)更加雄心勃勃的“聯(lián)結(jié)主義”方案。該書的熱情讀者不僅包括腦理論家和心理學(xué)家，還有數(shù)學(xué)家、物理學(xué)家和工程師，甚至有人工智能領(lǐng)域的工作者。這意味著沒有外界輸入的指導(dǎo)信息。很快我們在討論網(wǎng)絡(luò)發(fā)音器（ NETtalk）時(shí)將看到一個(gè)這樣的例子。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則利用這個(gè)信息計(jì)算如何調(diào)整權(quán)重以改進(jìn)網(wǎng)絡(luò)的性能。海洋，還是像死海那樣的凹下去的海（低于海平面的海）？ 訓(xùn)練算法是可以調(diào)節(jié)的，因而趨近局域極小的步長可大可小。理論家們盲目地相信這對應(yīng)于神經(jīng)元的平均發(fā)放率（取最大發(fā)放率為＋ 1），但他們常常說不清應(yīng)該在什么時(shí)候取這種平均。它在數(shù)學(xué)上是“可微的”，即任意一處的斜率都是有限的；反傳算法正依賴于這個(gè)特性。最頂層是輸出層。單元利用該信息來對每個(gè)從低層單元達(dá)到它的突觸的權(quán)重進(jìn)行小的調(diào)整。測試集是經(jīng)過選擇的，它的一般（統(tǒng)計(jì)）特性與訓(xùn)練集相似，但 其他方面則不同。他們把他們的網(wǎng)絡(luò)稱為網(wǎng)絡(luò)發(fā)音器（ NETtalk）。 由于一個(gè)英語字母的發(fā)音在很大程度上依賴于它前后的字母搭配，輸入層每次讀入一串 7個(gè)字母。在對真實(shí)的輸出進(jìn)行判斷時(shí)，程序會采納一個(gè)與真實(shí)發(fā)音最接近的音素作為最佳猜測，通常有好幾個(gè)“發(fā)音”輸出單元對此有關(guān)系。一些相似的發(fā)音通常引起混淆，如論文（ thesis)和投擲（ throw）的“ th”音。一個(gè)字母僅會激發(fā)少數(shù)幾個(gè)隱單元，還是像全息圖那樣它的活動(dòng)在許多隱單元中傳播呢？答案更接近于前者。最后，信息分布在網(wǎng)絡(luò)之中，因 而沒有一個(gè)單元或連接是必不可少的，作為結(jié)果，網(wǎng)絡(luò)具有容錯(cuò)能力，對增長的損害是故障弱化的。它能正確他說話，但對它的腦所默認(rèn)的規(guī)則一無所知。如果包括（在前面的腳注中列出的）某些限制和忽略，這個(gè)數(shù)目將會大一些，但恐怕不會大 10 倍。對隱層單元的感受野進(jìn)行檢查時(shí)發(fā)現(xiàn)了令人吃驚的結(jié)果。一種同樣重要的類型是“競爭學(xué)習(xí)”。 這種網(wǎng)絡(luò)并沒有外部教師。（ NETtalk 確實(shí)產(chǎn)生了一個(gè)時(shí)間序列，但這只是數(shù)據(jù)傳入和傳出網(wǎng)絡(luò)的一種方法，而不是它的一種特性。 對這些神經(jīng)網(wǎng)絡(luò)的一種可能的批評是，由于它們使用這樣一種大體上說不真實(shí)的學(xué)習(xí)算法，事實(shí)上它們并不能揭示很多關(guān)于腦的情況。 如果神經(jīng)元及其連接的結(jié)構(gòu)還算逼真，并已有足夠的限制被加入到系統(tǒng)中，那么產(chǎn)生的模型可能是有用的，它與現(xiàn)實(shí)情況足夠相似。這些現(xiàn)實(shí)性的學(xué)習(xí)規(guī)則可能是局部的，在模型的各個(gè)部分不盡相同。如果一個(gè)的假設(shè)模型的行為相當(dāng)成功，其設(shè)計(jì)者很難相信它是不正確的。 我們對神經(jīng)網(wǎng)絡(luò)能總結(jié)出些什么呢？它們的基礎(chǔ)設(shè)計(jì)更像腦，而不是標(biāo)準(zhǔn)計(jì)算機(jī)的結(jié)構(gòu)，然而，它們的單元并沒有真實(shí)神經(jīng)元那樣復(fù)雜，大多數(shù)網(wǎng)絡(luò)的結(jié)構(gòu)與新皮層的回路相比也過于簡單。也許所有這些神經(jīng)網(wǎng)絡(luò)方面的工作的最重要的結(jié)果是它提出了關(guān)于 腦可能的工作方式的新觀點(diǎn)。范 ============================ ①查爾斯這些網(wǎng)絡(luò)有可能具有重要的商業(yè)應(yīng)用。但是進(jìn)化或許使用了某些額外的小花招來回避這些困難。這樣人們就可以檢測某種設(shè)置的實(shí)際行為是否與原先所希望的相同，但即便使用最先進(jìn)的計(jì)算機(jī)也很難檢驗(yàn)?zāi)切┤藗兯Ｍ木薮蠖鴱?fù)雜的模型。因此模擬者必須為這一類突觸找到合適的真實(shí)的學(xué)習(xí)規(guī)則。他的觀點(diǎn)是，如果一個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)至少近似于真實(shí)物體，并了解了系統(tǒng)足夠多 的限制，那么反傳算法作為一種最小化誤差的方法，通常能達(dá)到一個(gè)一般性質(zhì)相似于真實(shí)生物系統(tǒng)的解。這種態(tài)度也許是錯(cuò)的。很顯然在腦中有一些操作能表達(dá)一個(gè)時(shí)間序列，如口哨吹出一段曲調(diào)或理解一種語言并用之交談。這種設(shè)置意味著中間層的神經(jīng)元為整個(gè)網(wǎng)絡(luò)的活動(dòng)而競爭。 我們已經(jīng)關(guān)注了神經(jīng)網(wǎng)絡(luò)中“學(xué)習(xí)”的兩種極端情況：由赫布規(guī)則說明的無教師學(xué)習(xí)和反傳算法那樣的有教師學(xué)習(xí)。塞吉諾斯基設(shè)計(jì)的 。 盡管有這些局限性， NETtalk 展示了一個(gè)相對簡單的神經(jīng)網(wǎng)絡(luò)所能完成的功能，給人印象非常深刻。它們內(nèi)在地鑲嵌在習(xí)得的權(quán)重模式當(dāng)中。首先，網(wǎng)絡(luò)在開始時(shí)具有一些合理的“先天”的知識，體現(xiàn)為由實(shí)驗(yàn)者選擇的輸入輸出的表達(dá)形式，但沒有關(guān)于英語的特別知識 ——網(wǎng)絡(luò)可以對任何具有相同的字母和音素集的語言進(jìn)行訓(xùn)練。（這個(gè)問題是由于英語具有兩個(gè)起源造成的，即拉丁語系和日爾曼語系，這使得英語的詞匯十分豐富。在對訓(xùn)練集進(jìn)行了大約十次操作之后，單詞變得清楚，讀的聲音也和幼兒說話很像了。初始權(quán)重具有小的隨機(jī)值，并在訓(xùn)練期內(nèi)每處理一個(gè)詞更新一次。 NETtalk 的全部輸出是與口頭發(fā)音相對應(yīng)的一串符號，為了讓演示更生動(dòng)，網(wǎng)絡(luò)的輸出與一個(gè)獨(dú)立的以前就有的機(jī)器（一種數(shù)字發(fā)音合成器）耦合。塞吉諾斯基和查爾斯） 經(jīng)過了足夠數(shù)量的訓(xùn)練之后網(wǎng)絡(luò)就可以使用了。此后給定一個(gè)訓(xùn)練輸入，產(chǎn)生輸出并按反傳訓(xùn)練規(guī)則調(diào)節(jié)權(quán)重。最底層是輸入層。如果將一個(gè)真實(shí)神經(jīng)元的平均發(fā)放率視為它的輸出，那么它的行為與此相差不大。它們的輸出不必是二值的（即，或 0，或者＋ 1 或 1），而是分成若干級。這是毫無疑問的，但還不能確定它是真正的全局極小還是僅僅是個(gè)局域極小值。這意味著每個(gè)輸出神經(jīng)元都處在一個(gè)特殊的活動(dòng)狀態(tài)。這種規(guī)則中有一個(gè)稱作“δ律”。為了理解這個(gè)算法，你需要知道一些關(guān)于學(xué)習(xí)算法的一般性知識。 1986年出版的《平行分布式處理》一書從 1981 年底開始經(jīng)過了很長時(shí)間的醞釀。在克 里斯托夫不過我起的作用很小。原因有兩個(gè)。輸入是相似但不同的，而輸出 —— 我們所聽到的 —— 則是一樣的。如果將過多的記憶加到網(wǎng)絡(luò)之中則很容易使它陷入混亂。網(wǎng)絡(luò)可以完全不活動(dòng)（所有輸出置為 0），但只要有信號輸入，網(wǎng)絡(luò)突然活 動(dòng)起來并在很短時(shí)間內(nèi)進(jìn)入與其應(yīng)當(dāng)記住的模式相對應(yīng)的穩(wěn)定的活動(dòng)狀態(tài)。大致他說，每個(gè)單元激勵(lì)它的“朋友”并試圖削弱它的“敵人”。當(dāng)時(shí)人們就像現(xiàn)在一樣普遍相信，在學(xué)習(xí)過程中，一個(gè)關(guān)鍵因素是神經(jīng)元的連接（突觸）強(qiáng)度的調(diào)節(jié)。（如果當(dāng)前信號是 1，權(quán)重是 +2，則影響為 2。在每個(gè)時(shí)刻單元把來自它的全部連接的效果 (2)總和起來。如果明斯基和佩伯特為這個(gè)問題提供了解答，而不是把感知機(jī)打入死路的話，他們的貢獻(xiàn)會更大些。馬文羅森布拉特（ Frank Rosenblatt）發(fā)明的一種非常簡單的單層裝置，他稱之為感知機(jī)（ Perceptron)。 在 1943 年沃侖他們用一種模糊邏輯取代通常計(jì)算中使用的嚴(yán)格的邏輯。但是，面對常人能快速、不費(fèi)氣力就能完成的任務(wù)，如觀察物體并理解其意義，即便是最現(xiàn)代的計(jì)算機(jī)也顯得無能為力。這就產(chǎn)生了如第一章 所述的本質(zhì)上 不同的設(shè)計(jì)形式。盡管一個(gè)神經(jīng)元沿它的軸突發(fā)送的脈沖的模式（而不僅僅是其平均發(fā)放率）可能攜帶某些信息，但并不存在精確的由脈 沖編碼的信息。它們受可以調(diào)節(jié)其行為的信號所支配，有些特性邊“計(jì)算”邊改變。這種連線方式在某種程度上彌補(bǔ)了神經(jīng)元行為上的相對緩慢性。 計(jì)算機(jī)是構(gòu)建在固有 的高速組件之上的?！? 如果一個(gè)系統(tǒng)是非線性的，從數(shù)學(xué)上理解它通常比線性系統(tǒng)要困難得多。為了計(jì)算兩股小水波聯(lián)合產(chǎn)生的效果，人們只需把第一列波與第二列波的效果在空間和時(shí)間的每一點(diǎn)上相加即可。每個(gè)單元具有極為簡化的神經(jīng)元的特性。諾依曼機(jī)”，其中心就是有存儲程序 原則 —— 指令和數(shù)據(jù)一起存儲．這個(gè)概 念被譽(yù)為‘計(jì)算機(jī)發(fā)展史上的一個(gè)里程碑”．它標(biāo)志著電子計(jì)算機(jī)時(shí)代的真正開始，指導(dǎo)著以后的計(jì)算機(jī)設(shè)計(jì)．自然一切事物總是在發(fā)展著的，隨著科學(xué)技術(shù)的進(jìn)步， 今天人們又認(rèn)識到“馮諾依曼解決了 希爾伯特第 5問題 ，即證明了局部歐幾里得緊群是李群． 1934年他又把緊群理論與波爾的殆周期函數(shù)理論統(tǒng)一起來．他還對一般拓?fù)淙旱慕Y(jié)構(gòu)有深刻的認(rèn)識，弄清了它的代數(shù)結(jié)構(gòu)和拓?fù)浣Y(jié)構(gòu)與實(shí)數(shù)是一致的． 他對其子代數(shù)進(jìn)行了開創(chuàng)性工作，并莫定了它的理論基礎(chǔ)，從而建立了算子代數(shù)這門新的數(shù)學(xué)分支．這個(gè)分支在當(dāng)代的有關(guān)數(shù)學(xué)文獻(xiàn)中均稱為馮諾依曼年僅 22 歲． 1927 年一 1929 年馮 諾依曼 20 世紀(jì)即將過去， 21 世紀(jì)就要到來．我們站在世紀(jì)之交的大門檻，回顧 20 世紀(jì)科學(xué)技術(shù)的輝煌發(fā)展時(shí)，不能不提及 20世紀(jì)最杰出的數(shù)學(xué)家之一的馮他選擇了荷爾蒙注射，并持續(xù)了一年。 此外，圖靈提出的著名的圖靈機(jī)模型為現(xiàn)代計(jì)算機(jī)的邏輯工作方式奠定了基礎(chǔ)。並於 1940 年發(fā)表。 1906 年 4 月 28 日生於捷克克斯洛伐克的布爾諾， 1978年 1 月 4 日卒於美國普林斯頓。 1841 年開始發(fā)表論文。在思考的縝密和理性的思辯方面，顯然我們要略勝一籌”，但“在時(shí)間哲學(xué)，即在生活與人類實(shí)際方面的倫理以及治國學(xué)說方面，我們實(shí)在是相形 見拙了?？梢哉f萊布尼茲的物理學(xué)研究一直是朝著為物理學(xué)建立一個(gè)類似歐氏幾何的公理系統(tǒng)的目標(biāo)前進(jìn)的。他還對線性方程組進(jìn)行研究，對消元法從理論上進(jìn)行了探討，并首先引入了行列式的概念，提出行列式的某些理論。 萊布尼茲認(rèn)識到好的數(shù)學(xué)符號能節(jié)省思維勞動(dòng)，運(yùn)用符號的技巧是數(shù)學(xué)成功的關(guān)鍵之一 。實(shí)際上，牛頓在微積分方面的研究雖早于萊布尼茲，但萊布尼茲成果的發(fā)表則早于牛頓。以前，微分和積分作為兩種數(shù)學(xué)運(yùn)算、兩類數(shù)學(xué)問題，是分別的加以研究的。 1673 年，萊布尼茲被推薦為英國皇家學(xué)會會員。 17 歲時(shí)他在耶拿大學(xué)學(xué)習(xí)了短時(shí)期的數(shù)學(xué)，并獲得了哲學(xué)碩士學(xué)位。１６２６年４月培根離開了人世。一 個(gè)狡猾人與一個(gè)聰明人之間，確有一種很大的差異，這差異不但是在誠實(shí)上，而且是在才能上的。 《論說文集》最能體現(xiàn)培根的寫作風(fēng)格：文筆優(yōu)美、語言凝練、寓意深刻。 １６２０年，培根總結(jié)了他的哲學(xué)思想，出版了《新工具》一書。懷氏認(rèn)為現(xiàn)實(shí)事物並無獨(dú)立的存在性，而 是依眾多的其他事物為因緣而生起的，實(shí)在 (Reality)就是歷程 (process)。 跟著我們討論亞氏與柏拉圖在思想上的區(qū)別。在亞氏的哲學(xué)，「神」是作為宇宙萬物生成變化的終極原因而出現(xiàn)?！筟5]以上的「主體的謂項(xiàng)」亦即是邏輯上「主詞的謂 詞」的意思，因此第一實(shí)體或 ousia 不能是謂詞，它只能是主詞；至於「在主體中出現(xiàn)」就是「不可能離開論及的主體而存在」 [6]，因此「在主體中出現(xiàn)」的東西就是依附的存在或「依附體」 (accident)。四種主謂命題是： (A) 所有 S 是 P (或 凡 S 是 P)，例如「凡人是動(dòng)物」； (E) 凡 S不是 P，例如「凡貓不是狗」； (I) 有 S 是 P，例如「有花是白的」； (O) 有 S 不是 P，例如「有花不是白的」。亞氏是第一位以邏輯為一特殊科學(xué)，並發(fā)現(xiàn)推理的基本形式 (特別是三段論證 syllogism)的哲學(xué)家， Copleston即說： 「這是他的永恒成就之一，單以這一項(xiàng)貢獻(xiàn)就足以使他名垂青史。所謂「命題」就是可言真 (true)或假 (false)的句子，例如「蘇格拉底是人」，這是真的命題；至於問句「我的書在那裏？」就不是命題了，它並沒有真假的意義可言。 若寫成普遍的形式，則是： (i)凡 M 是 P， (ii)凡 S 是 M；因此凡 S 是 P。能論述 ousia 的謂項(xiàng)則是第二實(shí)體、本質(zhì)、共相或?qū)傩?，由此?dǎo)出亞氏「實(shí)體─屬性」 (substanceattribute)的形上思想，例如「蘇格拉底是人」，蘇格拉底是 ousia，人就是蘇氏的本質(zhì)或?qū)傩?。推?dòng)太陽 之物 (i)或是被其他物所動(dòng)， (ii)或不被其他物所動(dòng)。因此亞氏與柏拉圖不同，他重視這個(gè)現(xiàn)實(shí)遷流的經(jīng)驗(yàn)世界，認(rèn)為具體事物是真實(shí)的 (實(shí)體或 ousia)，因此他發(fā)展了科學(xué)知識，這些都是他與柏拉圖的主要分別，亞氏哲學(xué)這方面有其正面的意義。 Bacon 培根 １５６１年培根出生在英國倫敦的一個(gè)貴族家庭，父親是女王的掌璽大臣，母親也是貴族出身。他認(rèn)為真正的哲學(xué)必須研究自然，研究科學(xué)。 “沒有友誼，則世上不過是一片荒野”。” 培根一生在學(xué)問上成就很大，然而作為政客他飽嘗了仕途之艱辛。 一、生平事跡 萊布尼茲出生于德國東部萊比錫的一個(gè)書香之家，父親是萊比錫大學(xué)的道德哲學(xué)教授，母親出生在一個(gè)教授家庭。這是一篇關(guān)于數(shù)理邏輯的文章，其基本 思想是出于想把理論的真理性論證歸結(jié)于一種計(jì)算的結(jié)果。 1700 年被選為巴黎科學(xué)院院士，促成建立了柏林科學(xué)院并任首任院長。而這是微積分建立的關(guān)鍵所在。他并訴述了他的方法，它與我的方法幾乎沒有什么不同，除了他的措詞和符號而外。 1713 年，萊布尼茲發(fā)表了《微積分的歷史和起源》一文，總結(jié)了自己創(chuàng)立微積分學(xué)的思路，說明了自己成就的獨(dú)立性。他發(fā)表了《物理學(xué)新假說》，提出了具體運(yùn)動(dòng)原理和抽象 運(yùn)動(dòng)原理，認(rèn)為運(yùn)動(dòng)著的物體，不論多么渺小，他將帶著處于完全靜止?fàn)顟B(tài)的物體的部分一起運(yùn)動(dòng)。他認(rèn)為中西相互之間應(yīng)建立一種交流認(rèn)識的新型關(guān)系。他的虛心好學(xué)、對中國文化平等相待，不含