【文章內(nèi)容簡(jiǎn)介】 不同的分工 ,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí) ,將會(huì)分為不同的反應(yīng)區(qū)域 ,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能。它是一種競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)，采用無(wú)監(jiān)督學(xué)習(xí)算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，此網(wǎng)絡(luò)廣泛地應(yīng)用于樣本分類(lèi)、排序和樣本檢測(cè)方面。 低潮時(shí)期 ? 1979年，福島邦彥（ Fukushima）提出了認(rèn)知機(jī)（ Necognitron）理論。 認(rèn)知機(jī) (Neocognitron)由 Fukushima于 1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)絡(luò)，通過(guò)無(wú)導(dǎo)師學(xué)習(xí)，具有選擇性注意能力，對(duì)樣品的平穩(wěn)、旋轉(zhuǎn)不敏感。缺點(diǎn)是參數(shù)不易選擇。主要用于字符識(shí)別。 低潮時(shí)期 ? 1977，神經(jīng)心理學(xué)家安德森（ Anderson）提出了 BSB(BrainStateinaBox)模型。 BSB模型是一種結(jié)點(diǎn)之間存在橫向連接和結(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可用最自聯(lián)想離鄰近分類(lèi)器，并可存儲(chǔ)任何模擬向量模式。 低潮時(shí)期 ? 1974，韋伯斯（ Werbos）提出了 BP理論，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。 復(fù)興時(shí)期 ? 1982年，美國(guó)加州工程學(xué)院物理學(xué)家 Hopfield在美國(guó)科學(xué)院院刊上發(fā)表論文，提出了一個(gè)用于聯(lián)想記憶及優(yōu)化計(jì)算的新途徑 —Hopfield模型 , 。 復(fù)興時(shí)期 ? 1982年， J. Hopfield提出循環(huán)網(wǎng)絡(luò) ? 用 Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立 ANN穩(wěn)定性的判別依據(jù) ? 闡明了 ANN與動(dòng)力學(xué)的關(guān)系 ? 用非線性動(dòng)力學(xué)的方法來(lái)研究 ANN的特性 ? 指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 復(fù)興時(shí)期 ? 1984年對(duì) Hopfield模型進(jìn)行修改，提出了利用模擬電路的基礎(chǔ)元件構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)。 1985年 Hopfield和Tank提出用神經(jīng)網(wǎng)絡(luò)解決 TSP組合優(yōu)化問(wèn)題。 復(fù)興時(shí)期 ? Hopfield模型的動(dòng)作原理是： 只要由神經(jīng)元興奮的算法和神經(jīng)元之間結(jié)合強(qiáng)度所決定的神經(jīng)網(wǎng)絡(luò)的狀態(tài)在適當(dāng)給定的興奮模式下尚未達(dá)到穩(wěn)定，那么該狀態(tài)就會(huì)一直變化下去，直到預(yù)先定義的一個(gè)必定減小的能量函數(shù)達(dá)到極小值時(shí)，狀態(tài)才達(dá)到穩(wěn)定而不再變化。 58 復(fù)興時(shí)期 ? 1984年， Hopfield設(shè)計(jì)并研制了他提出的神經(jīng)網(wǎng)絡(luò)模型的電路，并指出網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元可以用運(yùn)算放大器來(lái)實(shí)現(xiàn)。他同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)應(yīng)用研究，成功解決了旅行商（ TSP）問(wèn)題，引起世人震驚。這些成果使對(duì)神經(jīng)網(wǎng)絡(luò)的研究重新進(jìn)入了一個(gè)新的興盛時(shí)期。 復(fù)興時(shí)期 ? 1985年， UCSD的 Sejnowsky、 Rumelhart、Hinton等人所在的并行分布處理（ PDP）小組的研究者在 Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的 Boltzmann機(jī)。 復(fù)興時(shí)期 ? 1986年， Rumelhart和 McClelland提出了多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法（ BP算法），較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。 歷史總結(jié) ? 神經(jīng)網(wǎng)絡(luò)的研究已有 50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領(lǐng)域得到了成功的應(yīng)用。 2022/6/23 62 歷史總結(jié) ? 上世紀(jì) 40年代 ? 興奮與抑制型神經(jīng)元模型（ Mcculloch， Pitts） ? 神經(jīng)元連接強(qiáng)度的修改規(guī)則（ Hebb） ? 上世紀(jì) 50年代、 60年代 ? 感知機(jī)（ Rosenblatt）和自適應(yīng)性元件（ Widrow） ? 上世紀(jì) 70年代 ? Perceptron一書(shū)出版（ Minsky和 Papert）研究處于低潮 ? 上世紀(jì) 80年代后 ? Rumelhart， Mcclelland以及 Hopfield等取得突破性進(jìn)展 ? (1)開(kāi)發(fā)現(xiàn)有模型的應(yīng)用 ， 并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型 、 算法加以改造 ， 以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度 。 ? (2)充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法 ? (3)希望在理論上尋找新的突破 ， 建立新的專(zhuān)用 /通用模型和算法 。 ? (4)進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究 ， 不斷地豐富對(duì)人腦的認(rèn)識(shí) 。 新時(shí)期研究熱點(diǎn)問(wèn)題 ? 理論方面 支持向量機(jī)和核方法 (SVM and Kernel Methods) 圖模型 (Graphical Models) 統(tǒng)計(jì)學(xué)習(xí)方法 (Statistical Learning Algorithm) 高斯過(guò)程（ Gaussian Process) 泛化問(wèn)題和模型選擇 (Generalization and Model Selection) 貝葉斯學(xué)習(xí) (Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Networks)等 65 新時(shí)期研究熱點(diǎn)問(wèn)題 66 ? 實(shí)際應(yīng)用 圖象處理 (Image Processing) 人臉識(shí)別 (Face Recognition) 語(yǔ)音信號(hào)處理 (Voice Processing) 時(shí)間序列分析 (Time Series Analysis) 機(jī)器人控制 (Robot Control)等 新時(shí)期研究熱點(diǎn)問(wèn)題 國(guó)家自然科學(xué)基金資助 ? 2022年有 42項(xiàng)研究課題 ? 2022年有 40項(xiàng)研究課題 ? 2022年有 32項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 26項(xiàng)研究課題 ? 2022年有 18項(xiàng)研究課題 ? 2022年有 20項(xiàng)研究課題 ? 1999年有 22項(xiàng)研究課題 67 神經(jīng)網(wǎng)絡(luò)研究的比重逐年增加，已經(jīng)引起越來(lái)越多的國(guó)內(nèi)學(xué)者的關(guān)注，并成為信息學(xué)科的一個(gè)研究熱點(diǎn)和重點(diǎn)。 68 ? 1988年， 《 Neural Networks》 創(chuàng)刊 ? 1990年， 《 IEEE Transactions on Neural Networks》 創(chuàng)刊 國(guó)際學(xué)術(shù)期刊 《 IEEE Trans. on Neural Networks》 《 Neural Networks》 主要內(nèi)容 第一章：引論 智能的概念、智能系統(tǒng)的特點(diǎn)及其描述基本模型，人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、發(fā)展歷史、及其應(yīng)用領(lǐng)域。 主要內(nèi)容 第二章 神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu) 生物神經(jīng)網(wǎng)絡(luò)模型，人工神經(jīng)元模型與典型的激勵(lì)函數(shù)；人工神經(jīng)網(wǎng)絡(luò)的基本拓?fù)涮匦?，存?chǔ)類(lèi)型及映象。 主要內(nèi)容 第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；單層網(wǎng)能解決線性可分問(wèn)題，而無(wú)法解決線形不可分問(wèn)題，要想解決這一問(wèn)題，必須引入多層網(wǎng)； Hebb學(xué)習(xí)律， Delta規(guī)則，感知器的訓(xùn)練算法 主要內(nèi)容 第四章 線性神經(jīng)網(wǎng)絡(luò)和 LMS算法 自適應(yīng)線性神經(jīng)元 ADALINE(Adaptive Linear Neuron),它是線性神經(jīng)網(wǎng)絡(luò)最早的典型代表 ,其學(xué)習(xí)算法稱(chēng)之為 LMS (least mean squares最小均方差 )算法或 WidrowHoff學(xué)習(xí)規(guī)則。 主要內(nèi)容 第五章 BP神經(jīng)網(wǎng)絡(luò) BP（Ｅ rror Back propagation）網(wǎng)絡(luò)的構(gòu)成及其訓(xùn)練過(guò)程；隱藏層權(quán)調(diào)整方法的直觀分析， BP訓(xùn)練算法中使用的 Delta規(guī)則（最速下降法）的理論推導(dǎo)；算法的收斂速度及其改進(jìn)討論； BP網(wǎng)絡(luò)中的幾個(gè)重要問(wèn)題。 主要內(nèi)容 第六章 Hopfield網(wǎng)絡(luò) 離散型 Hopfield網(wǎng)絡(luò)和連續(xù)性 Hopfield網(wǎng)絡(luò)， Hopfield網(wǎng)絡(luò)是以電路方式提出的反饋網(wǎng)絡(luò)；可用于聯(lián)想記憶和優(yōu)化計(jì)算；用能量函數(shù)評(píng)價(jià)網(wǎng)絡(luò)的穩(wěn)定性；可用于求解組合優(yōu)化問(wèn)題 (TSP問(wèn)題 ) 。 主要內(nèi)容 第七章 Boltzmann機(jī)網(wǎng)絡(luò) Boltz