【正文】 第 5章 人工神經(jīng)網(wǎng)絡(luò) 原理及應(yīng)用 ?人工神經(jīng)網(wǎng)絡(luò)概述 ?人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) ?前饋人工神經(jīng)網(wǎng)絡(luò) 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 所謂人工神經(jīng)網(wǎng)絡(luò)就是 基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng) （ 計算機(jī) ）。 ? 人是地球上具有最高智慧的動物， 而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為 “ 電腦 ” 的一般計算機(jī)所無法取代的。 ? 長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計算機(jī)， 雖然到目前對大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對其結(jié)構(gòu)已有所了解。 什么是人工神經(jīng)網(wǎng)絡(luò) ? 粗略地講， 大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的 。 ? 每個神經(jīng)元可看作是一個小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 ? 這種神經(jīng)元網(wǎng)絡(luò)中 各神經(jīng)元之間聯(lián)結(jié)的 強(qiáng)弱 ， 按外部的激勵信號 做自適應(yīng)變化 ， 而每個神經(jīng)元又隨著所接收到的多個接收信號的 綜合大小 而呈現(xiàn) 興奮 或 抑制 狀態(tài)。 ? 現(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 由于我們建立的信息處理系統(tǒng)實際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為 人工 神經(jīng)網(wǎng)絡(luò)。 ? 需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿，但 這種模仿目前還處于極低的水平。 概述 什么是人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)的 兩種操作過程 – 訓(xùn)練學(xué)習(xí) ? 訓(xùn)練時，把 要教給神經(jīng)網(wǎng)絡(luò)的信息 （ 外部輸入 ）作為 網(wǎng)絡(luò)的輸入 和 要求的輸出 ， 使網(wǎng)絡(luò)按某種規(guī)則 （稱為 訓(xùn)練算法 ） 調(diào)節(jié)各處理單元間的連接權(quán)值 ， 直至 加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。 ? 這時，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。 – 正常操作（回憶操作） ? 對訓(xùn)練好的網(wǎng)絡(luò)輸入一個信號，它就可以正確回憶出相應(yīng)輸出，得到識別結(jié)果。 概述 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 初始（萌發(fā)）期 —— MP模型 的提出和人工神經(jīng)網(wǎng)絡(luò)的興起。 1943年，美國神經(jīng)生理學(xué)家 Warren Mcculloch和數(shù)學(xué)家 Walter Pitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章： “ A Logical Calculus of Ideas Immanent in Nervous Activity”。 該文指出， 腦細(xì)胞的活動像斷 /通開關(guān) ， 這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算 。按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動最終將被解釋清楚。 雖然問題并非如此簡單 ，但它給 人們一個信念 ，即 大腦的活動是靠腦細(xì)胞的組合連接實現(xiàn)的。 – 1949年，心理學(xué)家 Donala Hebb寫了一本書：“ The Organization of Behavior”。 – 在該書中， 他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的通路每當(dāng)通過參與某種活動時將被加強(qiáng) ，這就是后來的 Hebb學(xué)習(xí)規(guī)則。 – 目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第一次高潮期 ——感知器模型 和人工神經(jīng)網(wǎng)絡(luò) – 1957年 ， 計算機(jī)專家 Frank Rosenblatt開始從事 感知器的研究，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。 – 1959年 ， 兩位電機(jī)工程師 Bernard Widrow和 Marcian Haff開發(fā)出一種叫作 自適應(yīng)線性單元 （ ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文 “ Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)算法（ WidrowHaff算法 ）。 – 該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報，成為第一個用于實際問題的神經(jīng)網(wǎng)絡(luò)。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第一次高潮期 —— 感知器模型 和人工神經(jīng)網(wǎng)絡(luò) – 1962年 ， Rosenblatt出版了一本書 “ The Principles of Neurodynamics”， 詳述了他的感知器模型 。 – 該感知器具有輸入層、輸出層和中間層，通過實驗可以模仿人的某些特性，并斷言它可以學(xué)會任何它可以表示的功能。 – 在這一時期，由于感知器的某些進(jìn)展和對神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實現(xiàn)智能的關(guān)鍵，許多部門開始大批地投入此項研究，希望盡快占領(lǐng)制高點，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。 – 由于當(dāng)時對神經(jīng)網(wǎng)絡(luò)的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（ 有人甚至擔(dān)心制造機(jī)器人的人類會很快受到機(jī)器人的攻擊 ）。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 反思期 —神經(jīng)網(wǎng)絡(luò)的低潮 – 1969年 ， Marvin Minsky和 Seymour Papert合著了一本書 “ Perception”，分析了當(dāng)時的簡單感知器， 指出它有非常嚴(yán)重的局限性 ，甚至不能解決簡單的 “ 異或 ” 問題， 為 Rosenblatt的感知器判了 “ 死刑 ” 。 – 此時，批評的聲音高漲，導(dǎo)致了停止對人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。 – 不少研究人員把注意力轉(zhuǎn)向了人工智能， 導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 反思期 —— 神經(jīng)網(wǎng)絡(luò)的低潮 – 雖然如此，二十世紀(jì) 70年代到 80年代早期， 仍有一些堅信神經(jīng)網(wǎng)絡(luò)的人堅持他們的工作 ，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。 ? 神經(jīng)生理學(xué)家 James Anderson開發(fā)的盒中腦模型（ BrainStateinaBox， BSB）。 ? 日本學(xué)者 Kunihik Fukushima開發(fā)的用于視覺圖形識別的認(rèn)知器模型（ Neocognitron）。 ? 電氣工程師 Teuvo Kohonen開發(fā)的與 BSB類似的網(wǎng)絡(luò)模型。 ? Grossberg, Rumelhart, McClelland, Marr, Amari和 Cooper等人的工作。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第二次高潮期 —Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇 – 1982年 ， John Hopfield向美國科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報告 ，主要內(nèi)容就是 建議收集和重視以前對神經(jīng)網(wǎng)絡(luò)的工作 ，其中 特別強(qiáng)調(diào)了每種模型的實用性。 – 根據(jù)對神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解， Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作的，可以做些什么 ，并提出了他自己的模型， 能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國軍方的興趣。 – 當(dāng)時，人工智能對自動制導(dǎo)車的研究失敗， 而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個問題 ，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)， 導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 第二次高潮期 —Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇 – 1984年 ， Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)的電路 ， 較好地解決了 TCP問題 ，找到了最佳解的近似解，引起了較大轟動。 – 1985年 ， Hinton、 Sejnowsky、 Rumelhart等研究者在 Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Bolziman機(jī)。 – 1986年 ， Rumelhart等研究者 獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法 —BP算法 ， 較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。 – 1990年 12月，國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會在北京舉行。 概述 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 ? 再認(rèn)識與應(yīng)用研究期 – 主要研究內(nèi)容 ? 開發(fā)現(xiàn)有模型的應(yīng)用 ，并在應(yīng)用中 根據(jù)實際運(yùn)行情況對模型、算法加以改造，以提高網(wǎng)絡(luò)的 訓(xùn)練速度 和 運(yùn)行的準(zhǔn)確度 。 ? 充分發(fā)揮每種技術(shù)各自的優(yōu)勢，尋找更有效的解決方法。 ? 希望在理論上尋找新的突破，建立新的專用或通用模型和算法。 ? 進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。 概述 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 容錯性 – 人類大腦具有很強(qiáng)的容錯能力 ，這正是 由于大腦中知識是存儲在很多處理單元和它們的連接上的。 ? 每天大腦的一些細(xì)胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。 – 人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定 ? 由于知識存在整個系統(tǒng)中，而不是在一個存儲單元內(nèi) ， 因此一定比例的結(jié)點不參與運(yùn)算，對整個系統(tǒng)的性能不會產(chǎn)生重大影響。 ? 神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計算機(jī)要強(qiáng)得多。 概述 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 自適應(yīng)性 – 人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力 ? 小孩在周圍環(huán)境的熏陶下可以學(xué)會很多事情，如通過學(xué)習(xí)可以認(rèn)字、說話、走路、思考、判斷等。 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 自適應(yīng)性 – 人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力 ? 有指導(dǎo)的訓(xùn)練 ： 將輸入樣本加到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。 – 好像告訴網(wǎng)絡(luò)： “ 當(dāng)你看到這個圖形（比如 5）時，請給我指示 5”。 ? 無指導(dǎo)的訓(xùn)練 ： 網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對輸入樣本分類 。 – 在網(wǎng)絡(luò)訓(xùn)練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對它們進(jìn)行分類。 – 如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 自適應(yīng)性 – 人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力 ? 綜合推理的能力 ： 網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力 。 – 進(jìn)行數(shù)字圖形的識別時，對于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 人工神經(jīng)網(wǎng)絡(luò)的局限性 – 人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計算 ? 正像很多人不善于直接計算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計算資金方面的問題。 – 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練往往是一個艱難的過程 ? 網(wǎng)絡(luò)的設(shè)計沒有嚴(yán)格確定的方法（一般憑經(jīng)驗），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。 ? 脫機(jī)訓(xùn)練往往需要很長時間，為了獲得最佳效果，常常要重復(fù)試驗多次。 ? 網(wǎng)絡(luò)收斂性的問題。 人工神經(jīng)網(wǎng)絡(luò)的特點 ? 人工神經(jīng)網(wǎng)絡(luò)的局限性 – 正確的訓(xùn)練數(shù)據(jù)的收集 ? 大量有代表性樣本的采集 ? 正確的預(yù)處理 ? 總之 ， 人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科 ， 盡管它只是大腦的低級近似， 但它的許多特點和人類的智能特點類似， 有著較強(qiáng)的識別能力和廣泛的應(yīng)用前景。 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) ? 目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型，盡管在性能和結(jié)構(gòu)上各有特點，但它們存在很多共同之處。 – 人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語 – 常用表示符號 – 描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)概念 人