【文章內(nèi)容簡介】 不同的分工 ,當(dāng)一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時 ,將會分為不同的反應(yīng)區(qū)域 ,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競爭型神經(jīng)網(wǎng)絡(luò)，采用無監(jiān)督學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛地應(yīng)用于樣本分類、排序和樣本檢測方面。 低潮時期 ? 1979年，福島邦彥（ Fukushima）提出了認(rèn)知機(jī)（ Necognitron）理論。 認(rèn)知機(jī) (Neocognitron)由 Fukushima于 1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過無導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點(diǎn)是參數(shù)不易選擇。主要用于字符識別。 低潮時期 ? 1977，神經(jīng)心理學(xué)家安德森（ Anderson）提出了 BSB(BrainStateinaBox)模型。 BSB模型是一種結(jié)點(diǎn)之間存在橫向連接和結(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類器，并可存儲任何模擬向量模式。 低潮時期 ? 1974，韋伯斯（ Werbos）提出了 BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。 復(fù)興時期 ? 1982年，美國加州工程學(xué)院物理學(xué)家 Hopfield在美國科學(xué)院院刊上發(fā)表論文，提出了一個用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑 —Hopfield模型 , 。 復(fù)興時期 ? 1982年， J. Hopfield提出循環(huán)網(wǎng)絡(luò) ? 用 Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立 ANN穩(wěn)定性的判別依據(jù) ? 闡明了 ANN與動力學(xué)的關(guān)系 ? 用非線性動力學(xué)的方法來研究 ANN的特性 ? 指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 復(fù)興時期 ? 1984年對 Hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。 1985年 Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決 TSP組合優(yōu)化問題。 復(fù)興時期 ? Hopfield模型的動作原理是： 只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會一直變化下去，直到預(yù)先定義的一個必定減小的能量函數(shù)達(dá)到極小值時，狀態(tài)才達(dá)到穩(wěn)定而不再變化。 58 復(fù)興時期 ? 1984年， Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個神經(jīng)元可以用運(yùn)算放大器來實(shí)現(xiàn)。他同時進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（ TSP）問題，引起世人震驚。這些成果使對神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個新的興盛時期。 復(fù)興時期 ? 1985年， UCSD的 Sejnowsky、 Rumelhart、Hinton等人所在的并行分布處理（ PDP）小組的研究者在 Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的 Boltzmann機(jī)。 復(fù)興時期 ? 1986年， Rumelhart和 McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（ BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。 歷史總結(jié) ? 神經(jīng)網(wǎng)絡(luò)的研究已有 50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。 2022/6/23 62 歷史總結(jié) ? 上世紀(jì) 40年代 ? 興奮與抑制型神經(jīng)元模型（ Mcculloch， Pitts） ? 神經(jīng)元連接強(qiáng)度的修改規(guī)則（ Hebb） ? 上世紀(jì) 50年代、 60年代 ? 感知機(jī)（ Rosenblatt）和自適應(yīng)性元件（ Widrow） ? 上世紀(jì) 70年代 ? Perceptron一書出版（ Minsky和 Papert）研究處于低潮 ? 上世紀(jì) 80年代后 ? Rumelhart， Mcclelland以及 Hopfield等取得突破性進(jìn)展 ? (1)開發(fā)現(xiàn)有模型的應(yīng)用 ， 并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對模型 、 算法加以改造 ， 以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度 。 ? (2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個有效方法 ? (3)希望在理論上尋找新的突破 ， 建立新的專用 /通用模型和算法 。 ? (4)進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究 ， 不斷地豐富對人腦的認(rèn)識 。 新時期研究熱點(diǎn)問題 ? 理論方面 支持向量機(jī)和核方法 (SVM and Kernel Methods) 圖模型 (Graphical Models) 統(tǒng)計(jì)學(xué)習(xí)方法 (Statistical Learning Algorithm) 高斯過程（ Gaussian Process) 泛化問題和模型選擇 (Generalization and Model Selection) 貝葉斯學(xué)習(xí) (Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Networks)等 65 新時期研究熱點(diǎn)問題 66 ? 實(shí)際應(yīng)用 圖象處理 (Image Processing) 人臉識別 (Face Recognition) 語音信號處理 (Voice Processing) 時間序列分析 (Time Series Analysis) 機(jī)器人控制 (Robot Control)等 新時期研究熱點(diǎn)問題 國家自然科學(xué)基金資助 ? 2022年有 42項(xiàng)研究課題 ? 2022年有 40項(xiàng)研究課題 ? 2022年有 32項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 18項(xiàng)研究課題 ? 2022年有 20項(xiàng)研究課題 ? 1999年有 22項(xiàng)研究課題 67 神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來越多的國內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個研究熱點(diǎn)和重點(diǎn)。 68 ? 1988年， 《 Neural Networks》 創(chuàng)刊 ? 1990年， 《 IEEE Transactions on Neural Networks》 創(chuàng)刊 國際學(xué)術(shù)期刊 《 IEEE Trans. on Neural Networks》 《 Neural Networks》 主要內(nèi)容 第一章：引論 智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史、及其應(yīng)用領(lǐng)域。 主要內(nèi)容 第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu) 生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存儲類型及映象? 主要內(nèi)容 第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網(wǎng)； Hebb學(xué)習(xí)律， Delta規(guī)則，感知器的訓(xùn)練算法 主要內(nèi)容 第四章 線性神經(jīng)網(wǎng)絡(luò)和 LMS算法 自適應(yīng)線性神經(jīng)元 ADALINE(Adaptive Linear Neuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表 ,其學(xué)習(xí)算法稱之為 LMS (least mean squares最小均方差 )算法或 WidrowHoff學(xué)習(xí)規(guī)則。 主要內(nèi)容 第五章 BP神經(jīng)網(wǎng)絡(luò) BP（Ｅ rror Back propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過程；隱藏層權(quán)調(diào)整方法的直觀分析， BP訓(xùn)練算法中使用的 Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論； BP網(wǎng)絡(luò)中的幾個重要問題。 主要內(nèi)容 第六章 Hopfield網(wǎng)絡(luò) 離散型 Hopfield網(wǎng)絡(luò)和連續(xù)性 Hopfield網(wǎng)絡(luò)， Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計(jì)算；用能量函數(shù)評價網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問題 (TSP問題 ) 。 主要內(nèi)容 第七章 Boltzmann機(jī)網(wǎng)絡(luò) Boltz