【正文】 可以實(shí)現(xiàn)邏輯運(yùn)算 ， 包括三種基本運(yùn)算：邏輯乘法(又稱 “與 ”運(yùn)算 )、 邏輯加法 (又稱 “或 ”運(yùn)算 )和邏輯否定 (又稱 “非 ”運(yùn)算 )。 2022/6/23 34 35 啟蒙時(shí)期 ? 1949年，心理學(xué)家赫布（ Hebb）在 《 行為構(gòu)成 》 （ Organization of Behavior）一書中提出了連接權(quán)訓(xùn)練算法，即 Hebb算法。他認(rèn)為學(xué)習(xí)過程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。它對(duì)以后人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法都有很大影響。 2022/6/23 36 啟蒙時(shí)期 ? 1957年，羅森布蘭特 (Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本上符合神經(jīng)生理學(xué)的知識(shí)，模型的學(xué)習(xí)環(huán)境是有噪聲的，網(wǎng)絡(luò)構(gòu)造中存在隨機(jī)連接，這符合動(dòng)物學(xué)習(xí)的自然環(huán)境。后來的一大類神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。 Ted Hoff Bernard Widrow 2022/6/23 40 啟蒙時(shí)期 ? Marvin Minsky， Frank Rosenblatt， Bernard Widrow等為代表人物 ， 代表作是單級(jí)感知器(Perceptron)。 ? 人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。 低潮時(shí)期 ? 1969年，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人之一明斯基（ Minsky）和佩珀特（ Papert）發(fā)表了 《感知器 》 一書，對(duì)感知器的能力表示了懷疑態(tài)度，使神經(jīng)網(wǎng)絡(luò)的研究受到了影響，神經(jīng)網(wǎng)絡(luò)的研究從此走向低谷。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難， Minsky斷言這種感知器無科學(xué)研究?jī)r(jià)值可言，包括多層的也沒有什么意義。速度比賦值快。 ? 四、奇數(shù)分頻電路 低潮時(shí)期 ? 這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。故在其后的十幾年內(nèi)，從事神經(jīng)網(wǎng)絡(luò)研究的人數(shù)及經(jīng)費(fèi)支持大大下降，神經(jīng)網(wǎng)絡(luò)研究處于低潮。 1972年 Kohenen提出自組織映射的理論模型，并稱神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。 2022/6/23 46 47 低潮時(shí)期 ? 1969年，美國(guó)學(xué)者格諾斯博格（ Grossberg）和卡普特爾（ Carperter）提出了自適應(yīng)共振理論（ ART）模型。如果我們認(rèn)識(shí)這個(gè)人，我們馬上就能知道認(rèn)識(shí)他！該怎么理解呢？其實(shí)，大腦已經(jīng)存在了這個(gè)人的面孔的印象，看到這個(gè)人，我們的大腦有個(gè)搜索對(duì)比的過程或者說是回憶的過程，如果能夠搜索到（回憶），那么恭喜你，你認(rèn)出這個(gè)人了 … 相反，如果這個(gè)人是陌生人，大腦慘了，搜索了半天，沒有搜到（回憶），罷工了，不認(rèn)識(shí)，還是陌生人，不要生氣，大腦沒有罷工，它已默默將這個(gè)人的面孔存儲(chǔ)起來了！如果你后續(xù)跟這個(gè)人還有更多聯(lián)系的話，比如再見面或者一起說話、交往，大腦對(duì)這個(gè)人的記憶會(huì)逐漸加強(qiáng)！實(shí)際生活中，我們會(huì)有對(duì)某個(gè)人好像在哪兒見過面的感覺，其實(shí)這種感覺正是大腦對(duì)這個(gè)人的記憶還不夠強(qiáng)烈所產(chǎn)生的！ 49 低潮時(shí)期 ? 1972年，芬蘭學(xué)者克豪南（ Kohonen）提出了自組織映射（ SOM）理論。處于不同區(qū)域的神經(jīng)元具有不同的功能，它們具有不同特征的輸入信息模式，對(duì)不同感官輸入模式的輸入信號(hào)具有敏感性，從而形成大腦中各種不同的感知路徑。 低潮時(shí)期 ? 自組織映射網(wǎng)絡(luò) (SelfOrganizing Feature Maps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。 低潮時(shí)期 ? 1979年，福島邦彥（ Fukushima）提出了認(rèn)知機(jī)（ Necognitron）理論。缺點(diǎn)是參數(shù)不易選擇。 低潮時(shí)期 ? 1977，神經(jīng)心理學(xué)家安德森（ Anderson）提出了 BSB(BrainStateinaBox)模型。 低潮時(shí)期 ? 1974，韋伯斯（ Werbos）提出了 BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。 復(fù)興時(shí)期 ? 1982年， J. Hopfield提出循環(huán)網(wǎng)絡(luò) ? 用 Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立 ANN穩(wěn)定性的判別依據(jù) ? 闡明了 ANN與動(dòng)力學(xué)的關(guān)系 ? 用非線性動(dòng)力學(xué)的方法來研究 ANN的特性 ? 指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 復(fù)興時(shí)期 ? 1984年對(duì) Hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。 復(fù)興時(shí)期 ? Hopfield模型的動(dòng)作原理是： 只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（ TSP）問題，引起世人震驚。 復(fù)興時(shí)期 ? 1985年， UCSD的 Sejnowsky、 Rumelhart、Hinton等人所在的并行分布處理（ PDP）小組的研究者在 Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的 Boltzmann機(jī)。 歷史總結(jié) ? 神經(jīng)網(wǎng)絡(luò)的研究已有 50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。 ? (2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法 ? (3)希望在理論上尋找新的突破 ， 建立新的專用 /通用模型和算法 。 新時(shí)期研究熱點(diǎn)問題 ? 理論方面 支持向量機(jī)和核方法 (SVM and Kernel Methods) 圖模型 (Graphical Models) 統(tǒng)計(jì)學(xué)習(xí)方法 (Statistical Learning Algorithm) 高斯過程（ Gaussian Process) 泛化問題和模型選擇 (Generalization and Model Selection) 貝葉斯學(xué)習(xí) (Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Networks)等 65 新時(shí)期研究熱點(diǎn)問題 66 ? 實(shí)際應(yīng)用 圖象處理 (Image Processing) 人臉識(shí)別 (Face Recognition) 語音信號(hào)處理 (Voice Processing) 時(shí)間序列分析 (Time Series Analysis) 機(jī)器人控制 (Robot Control)等 新時(shí)期研究熱點(diǎn)問題 國(guó)家自然科學(xué)基金資助 ? 2022年有 42項(xiàng)研究課題 ? 2022年有 40項(xiàng)研究課題 ? 2022年有 32項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 18項(xiàng)研究課題 ? 2022年有 20項(xiàng)研究課題 ? 1999年有 22項(xiàng)研究課題 67 神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來越多的國(guó)內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。 主要內(nèi)容 第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu) 生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存?chǔ)類型及映象。 主要內(nèi)容 第五章 BP神經(jīng)網(wǎng)絡(luò) BP（Ｅ rror Back propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析， BP訓(xùn)練算法中使用的 Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論； BP網(wǎng)絡(luò)中的幾個(gè)重要問題。 主要內(nèi)容 第七章 Boltzmann機(jī)網(wǎng)絡(luò) Boltzmann機(jī)將模擬退火算法引入 Hopfield網(wǎng)絡(luò)，可以利用模擬退火的優(yōu)點(diǎn)跳出局部最優(yōu)，而達(dá)到全局最優(yōu)化