【正文】 國際人工智能聯(lián)合會議 .......................................................................................... 18 國際人工智能工具會議 .......................................................................................... 18 6 未來 .................................................................................................................................... 19 7 結(jié)論 .................................................................................................................................... 20 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 IV 致謝 .......................................................................................................................................... 21 參考文獻(xiàn) .................................................................................................................................. 22 附錄 1 ....................................................................................................................................... 24 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 1 1 引言 基本原理 現(xiàn)代人 大腦 的平均重量 約為 1400g，大腦內(nèi)約含 1000 億個神經(jīng)元，每個神經(jīng)元與其他神經(jīng)元間有約 1000 個連接，大腦內(nèi)總共約有 1000000 億個連接。人腦的基本組成單元是神經(jīng)元，是一種特殊化學(xué)細(xì)胞。神經(jīng)元由 樹突與軸突組成，樹突位于神經(jīng)元表面，軸突周圍有腱鞘。樹突與其他神經(jīng)元軸突末梢相聯(lián)系，構(gòu)成突觸。神經(jīng)元間信號傳遞是一種復(fù)雜的生物化學(xué)過程：電過程?？傊唵紊窠?jīng)元的復(fù)雜聯(lián)系構(gòu)成了人類智能的物質(zhì)基礎(chǔ)。 人的智能涉及許多領(lǐng)域，包括感知和認(rèn)知，語言能力及視覺功能，記憶，學(xué)習(xí)與知識預(yù)測，自適應(yīng)和魯邦性，創(chuàng)新和發(fā)明，行動和動作，優(yōu)化，計(jì)劃、判斷和決定，博弈與對策 ，深層智能因素（意識，感情，意志，注意力，直覺，理解） [1]。 其中認(rèn)知的研究，是本文討論的重點(diǎn) [1]。 人工神經(jīng)網(wǎng)絡(luò)簡稱作神經(jīng)網(wǎng)絡(luò)，他是一種基于 生物神經(jīng)網(wǎng)絡(luò)的功能和結(jié)構(gòu)的數(shù)學(xué)模型或計(jì)算模型。神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元組成，神經(jīng)元間相互連接構(gòu)成了神經(jīng)網(wǎng)絡(luò)系統(tǒng)。大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)是自適應(yīng)系統(tǒng)，在學(xué)習(xí)期間，他能通過觀察流過網(wǎng)絡(luò)的外部或內(nèi)部信息來變換他的結(jié)構(gòu)，以適應(yīng)信息加工的變化。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是非線性統(tǒng)計(jì)數(shù)據(jù)模型工具，他們通常是在輸入和輸出關(guān)系復(fù)雜的模式或查詢數(shù)據(jù)中得到應(yīng)用。 認(rèn)知科學(xué)是一個交叉性學(xué)科，其研究思維和思維過程，探索什么是認(rèn)知、認(rèn)知做什么、怎么工作。其研究主要是在人類的智力和行為上，特別是人類的神經(jīng)系統(tǒng)。在神經(jīng)系統(tǒng)中信息怎樣表述、怎樣產(chǎn)生、怎樣轉(zhuǎn)換，是認(rèn)知科學(xué)的研究課題。認(rèn)知科學(xué)涉及心理學(xué)、人工智能、哲學(xué)、神經(jīng)科學(xué)、語言學(xué)、社會學(xué)、教育學(xué)、人類學(xué)，其分析層次既有低水平學(xué)習(xí)和機(jī)械式?jīng)Q定又有高水平邏輯和計(jì)劃，不僅關(guān)注神經(jīng)元的連接而且關(guān)注大腦分子組織。 在研究人類認(rèn)知能力中，利用人工神經(jīng)網(wǎng)絡(luò)模型來模擬認(rèn)知能力是一種重要的研究方法。模擬認(rèn)知利用的是現(xiàn)有已知的認(rèn)知運(yùn)行機(jī)制，雖然這些機(jī)制并不完美，但通過模擬我們還是能利用其解決許多問題，甚至能透過人 工神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步了解認(rèn)知。這類人工神經(jīng)網(wǎng)絡(luò)的模擬理論，被稱為聯(lián)結(jié)主義。聯(lián)結(jié)主義的原理是神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)間連接機(jī)制與學(xué)習(xí)算法，理論認(rèn)為人的思維基元是神經(jīng)元，而不是符號處理過程。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展起于 20 世紀(jì)，認(rèn)知科學(xué)研究起于古希臘哲學(xué)，而將人工神經(jīng)網(wǎng)絡(luò)用于研究認(rèn)知科學(xué)則是近幾十年的事。 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史 [2] 早期：古希臘哲學(xué)，代表人物 Descartes， David Hume， Immanuel Kant， Benedict de Spinoza， Nicolas， Malebranche， Pierre Cabanis， Leibniz， John Locke，這個時期的認(rèn)知科學(xué)研究與現(xiàn)代認(rèn)知科學(xué)不同，其最終發(fā)展成了心理學(xué)和哲學(xué)。 啟蒙期： 1880年美國心理學(xué)家 William James 出版了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《 principles of psychology》，對與學(xué)習(xí)、聯(lián)想記憶相關(guān)的基本原理做了開創(chuàng)性研究。 1930年代到 1940年代（自動控制化時期）， Warren Mcculloch 和 Walter Pitts 尋求解釋：思維的組織原則，第一次提出了人工神經(jīng)網(wǎng)絡(luò)。 1943 年生物學(xué)家 和數(shù)學(xué)家 發(fā)表了一篇神經(jīng)網(wǎng)絡(luò)的文章，提出了神經(jīng)元的數(shù)學(xué)模型 MP 模型。 1949 年心理學(xué)家 Donald olding Hebb 出版了名為《 anization of Behavior》的書，提出了 Hebb 算法的連結(jié)權(quán)值訓(xùn)練算法和聯(lián)結(jié)主義。 1958 年計(jì)算機(jī)學(xué)家 Frank Rosenblatt 發(fā)表文章提出了三層網(wǎng)絡(luò)特性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為“感知機(jī)”。 1940 年代到 1950 年代，計(jì)算機(jī)理論和數(shù)字計(jì)算機(jī)的快速發(fā)展， Alan Turing和 John von Neu mann 在認(rèn)知科學(xué)研究中首次 運(yùn)用了現(xiàn)代計(jì)算機(jī)理論和技術(shù)。 1959 年，Noam chomsky 評論 的書《 語言行為 》 。提出了為解釋語言，我們需要一個產(chǎn)生語法的理論，它不僅能歸屬內(nèi)在表達(dá)，而且有潛在的順序特征。 1960 年電機(jī)工程師 Bernard Widrow 和 Marcian Hoff 發(fā)表了文章《 Adaptive Switching Circuits》實(shí)現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)仿真和硬件電路的設(shè)計(jì)。 低潮期： 1969 年 和 評論“感知機(jī)”，認(rèn)為其存在無法擴(kuò)展到多層網(wǎng)絡(luò)的問題。 1969年 應(yīng) 理論模型。1972 年 提出了自組織映射（ SOM）理論。同年， 也提出了一個相似的“交換存儲器”。 1973 年， Christopher LonguetHiggins在他 的文獻(xiàn) Lighthill report 中提到了認(rèn)知科學(xué)的術(shù)語。 1980 年到 1983 年 Kunihiko Fukushima 發(fā)表了文章《 Neocognitron》，并開發(fā)了許多神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練算法 復(fù)興期： 1982 年 John 發(fā)表文章提出了 Hopfield 網(wǎng)絡(luò)。 1987 年美國電話與電報公司貝爾實(shí)驗(yàn)室利用 Hopfield 網(wǎng)絡(luò)，仿真出耳蝸與視網(wǎng)膜等硬件網(wǎng)絡(luò)。同年 和 提出學(xué)習(xí)過程使用模擬退火技術(shù)的 Blotzmann 機(jī)（波爾茲曼機(jī)）。 1988 年 David 和 James 及其領(lǐng)導(dǎo)小組發(fā)表了《 Parallel Distributed Processing》。 新時期： 1987 年 6 月首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議在美國加州圣地亞哥召開，而且在會上成立了國際神經(jīng)網(wǎng)絡(luò)學(xué)會（ INNS）。 1989 年 Stephen Grossberg、 Teuvo kohonen和 Shunichi Amari 主持創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志《 Neural Network》。 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 3 文章內(nèi)容 文章第二部分論述了部分對人工神經(jīng)網(wǎng)絡(luò)發(fā)展有重大影響的網(wǎng)絡(luò)模型 ，然后第三部分重點(diǎn)介紹了近十年內(nèi)十個模擬人類認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型，分別從人工神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)、優(yōu)勢和原理等方面論述。 第四部分總結(jié)了作者對近年人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象的發(fā)展規(guī)律。第五部分講述了五個國際著名的人工智能會議及投稿主題。第六 部分對人工智能特別是人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的發(fā)展趨勢進(jìn)行了預(yù)測。 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 4 2 對神經(jīng)網(wǎng)絡(luò)發(fā)展有重要影響的神經(jīng)網(wǎng)絡(luò)模型 [2] Perceptron（感知機(jī)） Frank Rosenblatt（康奈爾大學(xué)）在 1957 年提出的 Adaline（自適應(yīng)線性單位）和 Madaline（多個 Adaline 的組合網(wǎng)絡(luò)） Bernard Widrow（斯坦福大學(xué)）在 1960 年到 1962 年提出的 Avakabche（雪崩網(wǎng)）： 在 1967 年提出 Cerellatron（小腦自動機(jī)） 麻省理工學(xué)院在 1969 年到 1982 年提出 Back Propagation（誤差反傳網(wǎng)絡(luò)）： （哈佛大學(xué)）、 David Rumelhart（斯坦福大學(xué)） James McClelland（斯坦福大學(xué)）在 1979 年到 1990 年提出 Adaptive Resonance Theory（自適應(yīng)共振理論 ART）有 ART ART ART3 三種類型 和 S Grossberg（波士頓大學(xué)）在 1976 年到 1990 年提出的 Brain State in a Box（盒中腦 BSB 網(wǎng)絡(luò)） James Anderson（布朗大學(xué)）在 1977年提出 Neocognition（新認(rèn)知機(jī)） Fukushima（日本廣播協(xié)會）在 1978 年到 1984 年提出 SelfOrganizing feature map（自組織特征映射網(wǎng)絡(luò)） Tuevo Konhonen（芬蘭赫爾辛基技術(shù)大學(xué)）在 1980 年提出 Hopfield 網(wǎng)絡(luò) John Hopfield（加州理工大學(xué)）在 1982 年提出 Boltzman machine（波爾茲曼機(jī)）和 Cauchy machine（柯西機(jī)） （多倫多大學(xué)）和 （霍布金 斯大學(xué)）在 1985 到 1986 年提出的 Bidirectional Associative Memory（ BAM，雙向聯(lián)想記憶網(wǎng)） Baaart kosko（南加州大學(xué)） 1985 年到 1988 年提出 Counter proagation（ CPN，雙向傳播網(wǎng)） Robert HechtNielsen 在 1983 年提出 Radial Basis Functions（ RBF，徑向基函數(shù)網(wǎng)絡(luò)） Broomhead Lowe 在 1988 年提出 Support Vector Machine（ SVM，支持向量機(jī)） Vapnik 在 1992 年到 1988 年提出 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 5 3 模擬認(rèn)知的人工神經(jīng)網(wǎng)絡(luò)模型 模擬記憶 模型 [3] 在人類大腦中，信息是存儲在大腦內(nèi)神經(jīng)元中的，不同神經(jīng)元間不同連接強(qiáng)度構(gòu)成了特定的信息，這些信息在大腦中被稱作記憶。生物大腦的信息 存儲容量和效率是現(xiàn)代電子計(jì)算機(jī)的許多倍，如果能模擬出大腦記憶的機(jī)制，將會給計(jì)算機(jī)存儲帶來深遠(yuǎn)的影響。 Rs 模型是一種模擬記憶現(xiàn)象的存儲模型。 Rs 中有兩個重要的組成部分，訓(xùn)練集 和回憶集，其中的神經(jīng)元分為興奮神經(jīng)元和抑制神經(jīng)元，模型結(jié)構(gòu)見圖 ，光滑球形是興奮神經(jīng)元，尖狀球形是抑制神經(jīng)元， Rs 大約有 3000 到 75000 個興奮神經(jīng)元組 成。在模型中，興奮神經(jīng)元到抑制神經(jīng)元的比率和突觸的數(shù)量是不等的。Rs 神經(jīng)網(wǎng)絡(luò)的存儲能力由隨機(jī)選擇興奮神經(jīng)元和訓(xùn)練突觸估算出來。網(wǎng)絡(luò)中部分神經(jīng)元被訓(xùn)練成訓(xùn)練集，訓(xùn)練集中半數(shù)興奮神經(jīng)元又組成回憶集。網(wǎng)絡(luò)可以運(yùn)行 100個循環(huán)，訓(xùn)練集的數(shù)量是持續(xù)增長的，直至訓(xùn)練集中每個目標(biāo)組的錯誤數(shù)量達(dá)到目標(biāo)組尺寸的 10%。在網(wǎng)絡(luò)整體尺寸大幅增長下，回憶集的尺寸也是小幅增長的，這可以有效的存儲信息。而對于訓(xùn)練集而言，訓(xùn)練集尺寸與網(wǎng)絡(luò)尺寸要相適應(yīng)，否則會出現(xiàn)許多錯誤偏差。訓(xùn)練集對網(wǎng)絡(luò)整體相對較小時，其錯誤偏差主要由于神經(jīng)元中 存在虛假的連結(jié)，使得訓(xùn)練組不能連結(jié)到回憶集。訓(xùn)練集對網(wǎng)絡(luò)整體相對較大時，錯誤主要原因則是網(wǎng)絡(luò)的過度訓(xùn)練。由于存儲空間和突觸數(shù)量是線性的，使得網(wǎng)絡(luò)間出現(xiàn)密集的連接。 圖 Rs 模型結(jié)構(gòu) 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)論文 6 Rs 網(wǎng)絡(luò)模型相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢在于，其信息存儲能力更強(qiáng)而且更符合生物學(xué)上神經(jīng)系統(tǒng)的運(yùn)行方式。對于信息存儲而言，網(wǎng)絡(luò)的學(xué)習(xí)算法和回憶算法是獨(dú)立于網(wǎng)絡(luò)結(jié)構(gòu)的，且不需要設(shè)定臨界值也不需要對突觸進(jìn)行分級。對于符合生物神經(jīng)系統(tǒng)運(yùn)行模式而言，模型表 現(xiàn)在不僅體現(xiàn)了大腦的物質(zhì)情況，而且提供了特別的仿生物連接矩陣。雖然模型的生物特征可能會限制其求解更低水平的問題的能力，但是這些特征在非現(xiàn)實(shí)突觸模擬中是有用的。 由于其