【正文】 經(jīng)元內(nèi)引起響應(yīng)，使下一個(gè)神經(jīng)元興奮，或阻止下一個(gè)神經(jīng)元興奮。 ? 突觸 ：它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號(hào)傳遞給下一個(gè)神經(jīng)元的樹(shù)突或細(xì)胞體。 ? 樹(shù)突 ：它有大量的分枝，多達(dá) 103數(shù)量級(jí)，長(zhǎng)度較短（通常不超過(guò) 1毫米），用以接收來(lái)自其它神經(jīng)元的信號(hào)。 – 人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語(yǔ) – 常用表示符號(hào) – 描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)概念 人工神經(jīng)網(wǎng)絡(luò)的生物原型 —大腦 ? 簡(jiǎn)單的神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 人工神經(jīng)網(wǎng)絡(luò)的生物原型 —大腦 ? 簡(jiǎn)單的神經(jīng)元 – 神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特征之一，在人體內(nèi)從大腦到全身存在大約 1010個(gè)神經(jīng)元。 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 人工神經(jīng)網(wǎng)絡(luò)的局限性 – 正確的訓(xùn)練數(shù)據(jù)的收集 ? 大量有代表性樣本的采集 ? 正確的預(yù)處理 ? 總之 ， 人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來(lái)的學(xué)科 ， 盡管它只是大腦的低級(jí)近似， 但它的許多特點(diǎn)和人類的智能特點(diǎn)類似， 有著較強(qiáng)的識(shí)別能力和廣泛的應(yīng)用前景。 ? 脫機(jī)訓(xùn)練往往需要很長(zhǎng)時(shí)間，為了獲得最佳效果，常常要重復(fù)試驗(yàn)多次。 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 人工神經(jīng)網(wǎng)絡(luò)的局限性 – 人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計(jì)算 ? 正像很多人不善于直接計(jì)算類似資金的問(wèn)題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計(jì)算資金方面的問(wèn)題。 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 自適應(yīng)性 – 人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力 ? 綜合推理的能力 ： 網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見(jiàn)過(guò)的輸入樣本的能力 。 – 在網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)只能給出大量的輸入圖形，沒(méi)有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對(duì)它們進(jìn)行分類。 – 好像告訴網(wǎng)絡(luò)： “ 當(dāng)你看到這個(gè)圖形（比如 5）時(shí)，請(qǐng)給我指示 5”。 概述 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 自適應(yīng)性 – 人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力 ? 小孩在周圍環(huán)境的熏陶下可以學(xué)會(huì)很多事情，如通過(guò)學(xué)習(xí)可以認(rèn)字、說(shuō)話、走路、思考、判斷等。 – 人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定 ? 由于知識(shí)存在整個(gè)系統(tǒng)中，而不是在一個(gè)存儲(chǔ)單元內(nèi) ， 因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大影響。 概述 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 容錯(cuò)性 – 人類大腦具有很強(qiáng)的容錯(cuò)能力 ，這正是 由于大腦中知識(shí)是存儲(chǔ)在很多處理單元和它們的連接上的。 ? 希望在理論上尋找新的突破，建立新的專用或通用模型和算法。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 再認(rèn)識(shí)與應(yīng)用研究期 – 主要研究?jī)?nèi)容 ? 開(kāi)發(fā)現(xiàn)有模型的應(yīng)用 ，并在應(yīng)用中 根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的 訓(xùn)練速度 和 運(yùn)行的準(zhǔn)確度 。 – 1986年 ， Rumelhart等研究者 獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法 —BP算法 ， 較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第二次高潮期 —Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇 – 1984年 ， Hopfield設(shè)計(jì)研制了后來(lái)被人們稱為Hopfield網(wǎng)的電路 ， 較好地解決了 TCP問(wèn)題 ，找到了最佳解的近似解，引起了較大轟動(dòng)。 – 根據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解， Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么 ，并提出了他自己的模型， 能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國(guó)軍方的興趣。 ? Grossberg, Rumelhart, McClelland, Marr, Amari和 Cooper等人的工作。 ? 日本學(xué)者 Kunihik Fukushima開(kāi)發(fā)的用于視覺(jué)圖形識(shí)別的認(rèn)知器模型（ Neocognitron）。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 反思期 —— 神經(jīng)網(wǎng)絡(luò)的低潮 – 雖然如此，二十世紀(jì) 70年代到 80年代早期， 仍有一些堅(jiān)信神經(jīng)網(wǎng)絡(luò)的人堅(jiān)持他們的工作 ，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。 – 此時(shí)，批評(píng)的聲音高漲，導(dǎo)致了停止對(duì)人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。 – 由于當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的樂(lè)觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（ 有人甚至擔(dān)心制造機(jī)器人的人類會(huì)很快受到機(jī)器人的攻擊 ）。 – 該感知器具有輸入層、輸出層和中間層，通過(guò)實(shí)驗(yàn)可以模仿人的某些特性，并斷言它可以學(xué)會(huì)任何它可以表示的功能。 – 該網(wǎng)絡(luò)通過(guò)訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報(bào)，成為第一個(gè)用于實(shí)際問(wèn)題的神經(jīng)網(wǎng)絡(luò)。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第一次高潮期 ——感知器模型 和人工神經(jīng)網(wǎng)絡(luò) – 1957年 ， 計(jì)算機(jī)專家 Frank Rosenblatt開(kāi)始從事 感知器的研究，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。 – 在該書(shū)中， 他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的通路每當(dāng)通過(guò)參與某種活動(dòng)時(shí)將被加強(qiáng) ，這就是后來(lái)的 Hebb學(xué)習(xí)規(guī)則。 雖然問(wèn)題并非如此簡(jiǎn)單 ，但它給 人們一個(gè)信念 ，即 大腦的活動(dòng)是靠腦細(xì)胞的組合連接實(shí)現(xiàn)的。 該文指出， 腦細(xì)胞的活動(dòng)像斷 /通開(kāi)關(guān) ， 這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算 。 概述 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 初始（萌發(fā)）期 —— MP模型 的提出和人工神經(jīng)網(wǎng)絡(luò)的興起。 ? 這時(shí)，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。 ? 需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但 這種模仿目前還處于極低的水平。 ? 現(xiàn)已明確大腦的學(xué)習(xí)過(guò)程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過(guò)程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來(lái)。 ? 每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來(lái)，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 ? 長(zhǎng)期以來(lái)，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)， 雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。第 5章 人工神經(jīng)網(wǎng)絡(luò) 原理及應(yīng)用 ?人工神經(jīng)網(wǎng)絡(luò)概述 ?人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) ?前饋人工神經(jīng)網(wǎng)絡(luò) 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 所謂人工神經(jīng)網(wǎng)絡(luò)就是 基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng) （ 計(jì)算機(jī) ）。 ? 人是地球上具有最高智慧的動(dòng)物， 而人的指揮均來(lái)自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為 “ 電腦 ” 的一般計(jì)算機(jī)所無(wú)法取代的。 什么是人工神經(jīng)網(wǎng)絡(luò) ? 粗略地講， 大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的 。 ? 這種神經(jīng)元網(wǎng)絡(luò)中 各神經(jīng)元之間聯(lián)結(jié)的 強(qiáng)弱 ， 按外部的激勵(lì)信號(hào) 做自適應(yīng)變化 ， 而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的 綜合大小 而呈現(xiàn) 興奮 或 抑制 狀態(tài)。 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為 人工 神經(jīng)網(wǎng)絡(luò)。 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)的 兩種操作過(guò)程 – 訓(xùn)練學(xué)習(xí) ? 訓(xùn)練時(shí)，把 要教給神經(jīng)網(wǎng)絡(luò)的信息 （ 外部輸入 ）作為 網(wǎng)絡(luò)的輸入 和 要求的輸出 ， 使網(wǎng)絡(luò)按某種規(guī)則 （稱為 訓(xùn)練算法 ） 調(diào)節(jié)各處理單元間的連接權(quán)值 ， 直至 加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。 – 正常操作（回憶操作） ? 對(duì)訓(xùn)練好的網(wǎng)絡(luò)輸入一個(gè)信號(hào)，它就可以正確回憶出相應(yīng)輸出，得到識(shí)別結(jié)果。 1943年，美國(guó)神經(jīng)生理學(xué)家 Warren Mcculloch和數(shù)學(xué)家 Walter Pitts合寫(xiě)了一篇關(guān)于神經(jīng)元如何工作的開(kāi)拓性文章： “ A Logical Calculus of Ideas Immanent in Nervous Activity”。按此想法，他們用電路構(gòu)成了簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動(dòng)最終將被解釋清楚。 – 1949年，心理學(xué)家 Donala Hebb寫(xiě)了一本書(shū)：“ The Organization of Behavior”。 – 目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。 – 1959年 ， 兩位電機(jī)工程師 Bernard Widrow和 Marcian Haff開(kāi)發(fā)出一種叫作 自適應(yīng)線性單元 （ ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文 “ Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)算法（ WidrowHaff算法 ）。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第一次高潮期 —— 感知器模型 和人工神經(jīng)網(wǎng)絡(luò) – 1962年 ， Rosenblatt出版了一本書(shū) “ The Principles of Neurodynamics”， 詳述了他的感知器模型 。 – 在這一時(shí)期，由于感知器的某些進(jìn)展和對(duì)神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了實(shí)現(xiàn)智能的關(guān)鍵，許多部門(mén)開(kāi)始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 反思期 —神經(jīng)網(wǎng)絡(luò)的低潮 – 1969年 ， Marvin Minsky和 Seymour Papert合著了一本書(shū) “ Perception”，分析了當(dāng)時(shí)的簡(jiǎn)單感知器， 指出它有非常嚴(yán)重的局限性 ，甚至不能解決簡(jiǎn)單的 “ 異或 ” 問(wèn)題， 為 Rosenblatt的感知器判了 “ 死刑 ” 。 – 不少研究人員把注意力轉(zhuǎn)向了人工智能， 導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。 ? 神經(jīng)生理學(xué)家 James Anderson開(kāi)發(fā)的盒中腦模型（ BrainStateinaBox， BSB）。 ? 電氣工程師 Teuvo Kohonen開(kāi)發(fā)的與 BSB類似的網(wǎng)絡(luò)模型。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第二次高潮期 —Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇 – 1982年 ， John Hopfield向美國(guó)科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報(bào)告 ，主要內(nèi)容就是 建議收集和重視以前對(duì)神經(jīng)網(wǎng)絡(luò)的工作 ，其中 特別強(qiáng)調(diào)了每種模型的實(shí)用性。 – 當(dāng)時(shí)，人工智能對(duì)自動(dòng)制導(dǎo)車的研究失敗， 而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個(gè)問(wèn)題 ，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)， 導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。 – 1985年 ， Hinton、 Sejnowsky、 Rumelhart等研究者在 Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Bolziman機(jī)。 – 1990年 12月，國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。 ? 充分發(fā)揮每種技術(shù)各自的優(yōu)勢(shì)，尋找更有效的解決方法。 ? 進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對(duì)人腦的認(rèn)識(shí)。 ? 每天大腦的一些細(xì)胞都可能會(huì)自動(dòng)死亡，但這并沒(méi)有影響人們的記憶和思考能力。 ? 神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計(jì)算機(jī)要強(qiáng)得多。 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ? 自適應(yīng)性 – 人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力 ? 有指導(dǎo)的訓(xùn)練 ： 將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)