【正文】 （ Fukushima）提出了認知機（ Necognitron）理論。 低潮時期 ? 1977，神經(jīng)心理學家安德森（ Anderson）提出了 BSB(BrainStateinaBox)模型。 復興時期 ? 1982年， J. Hopfield提出循環(huán)網(wǎng)絡 ? 用 Lyapunov函數(shù)作為網(wǎng)絡性能判定的能量函數(shù)，建立 ANN穩(wěn)定性的判別依據(jù) ? 闡明了 ANN與動力學的關系 ? 用非線性動力學的方法來研究 ANN的特性 ? 指出信息被存放在網(wǎng)絡中神經(jīng)元的聯(lián)接上 復興時期 ? 1984年對 Hopfield模型進行修改，提出了利用模擬電路的基礎元件構成了人工神經(jīng)網(wǎng)絡的硬件原理模型，為實現(xiàn)硬件奠定了基礎。他同時進行了神經(jīng)網(wǎng)絡應用研究，成功解決了旅行商（ TSP）問題，引起世人震驚。 歷史總結 ? 神經(jīng)網(wǎng)絡的研究已有 50多年的歷史，它的發(fā)展道路是曲折的，幾經(jīng)興衰，目前已在許多領域得到了成功的應用。 新時期研究熱點問題 ? 理論方面 支持向量機和核方法 (SVM and Kernel Methods) 圖模型 (Graphical Models) 統(tǒng)計學習方法 (Statistical Learning Algorithm) 高斯過程（ Gaussian Process) 泛化問題和模型選擇 (Generalization and Model Selection) 貝葉斯學習 (Bayesian Learning) 遞歸神經(jīng)網(wǎng)絡 (Recurrent Neural Networks)等 65 新時期研究熱點問題 66 ? 實際應用 圖象處理 (Image Processing) 人臉識別 (Face Recognition) 語音信號處理 (Voice Processing) 時間序列分析 (Time Series Analysis) 機器人控制 (Robot Control)等 新時期研究熱點問題 國家自然科學基金資助 ? 2022年有 42項研究課題 ? 2022年有 40項研究課題 ? 2022年有 32項研究課題 ? 2022年有 26項研究課題 ? 2022年有 26項研究課題 ? 2022年有 18項研究課題 ? 2022年有 20項研究課題 ? 1999年有 22項研究課題 67 神經(jīng)網(wǎng)絡研究的比重逐年增加，已經(jīng)引起越來越多的國內學者的關注，并成為信息學科的一個研究熱點和重點。 主要內容 第五章 BP神經(jīng)網(wǎng)絡 BP（Ｅ rror Back propagation）網(wǎng)絡的構成及其訓練過程；隱藏層權調整方法的直觀分析， BP訓練算法中使用的 Delta規(guī)則（最速下降法）的理論推導；算法的收斂速度及其改進討論； BP網(wǎng)絡中的幾個重要問題。 2022/6/23 78 主要內容 第八章 自適應共振理論 人腦的穩(wěn)定性與可塑性問題； ART模型的總體結構與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實現(xiàn)；訓練討論。 ? 不同的人工神經(jīng)網(wǎng)絡模型，有不同的學習 /訓練算法 2022/6/23 81 基本特征的自動提取 ? 由于其運算的不精確性，表現(xiàn)成“去噪音、容殘缺”的能力，利用這種不精確性，比較自然地實現(xiàn)模式的自動分類。這種分布式存儲使得神經(jīng)網(wǎng)絡能存儲較多的復雜模式和恢復記憶的信息。 輸入樣本 神經(jīng)網(wǎng)絡 輸出樣本 自動提取 非線性映射規(guī)則87 神經(jīng)網(wǎng)絡的基本功能 ? 非線性映射 88 神經(jīng)網(wǎng)絡的基本功能 ? 分類與辨識 對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內的樣本屬于一類。神經(jīng)網(wǎng)絡在這兩個方面都有許多成功的應用，例如對圖象、語音的處理以及手寫字的識別等。 ? 化學工程 神經(jīng)網(wǎng)絡在制藥、生物化學、化學工程領域取得了不少成果。 ? 生物活性研究 用神經(jīng)網(wǎng)絡對生物學檢測數(shù)據(jù)進行分析，可提取致癌物的分子結構特征，建立分子結構和致癌活性之間的定量關系，并對分子致癌活性進行預報。 ANN應用領域 — 經(jīng)濟學領域 ? 自動控制是上世紀中形成和發(fā)展起來的一門新興學科，它是一門涉及到諸如數(shù)學、計算機、信息、電工、電子等眾多領域的交叉學科。 97 人工神經(jīng)網(wǎng)絡與自動控制 ? 神經(jīng)網(wǎng)絡的應用已經(jīng)滲透到自動化控制領域的各個方面，包括系統(tǒng)辨識、系統(tǒng)控制、優(yōu)化算法以及控制系統(tǒng)的故障診斷與容錯控制等。 (3)神經(jīng)網(wǎng)絡作為實際系統(tǒng)的辨識模型，實際上也是系統(tǒng)的一個物理實現(xiàn)，可應用于在線控制。 人工神經(jīng)網(wǎng)絡與自動控制 《 機器學習 》 T. M. Mitchell 駕駛汽車的人工神經(jīng)網(wǎng)絡 人臉識別的人工神經(jīng)網(wǎng)絡 手寫數(shù)字識別的人工神經(jīng)網(wǎng)絡 ? 神經(jīng)網(wǎng)絡的收斂性和穩(wěn)定性問題 ? 在逼近非線性函數(shù)問題上，神經(jīng)網(wǎng)絡的現(xiàn)有理論只解決了存在性問題 ? 神經(jīng)網(wǎng)絡的學習速度一般比較慢，為滿足實時控制的需要，必須予以解決 ? 對于控制器和辨識器，如何選擇合適的神經(jīng)網(wǎng)絡模型與確定的結構，尚無理論指導 難點問題 105 參考書目 參考書目 107 參考書目 ? Simon Haykin著 , 葉世偉 , 史忠植譯 . 神經(jīng)網(wǎng)絡原理 . 機械工業(yè)出版社 , 2022 ? Gee F. Luger著 ,史忠植等譯 . 人工智能 ——復雜問題求解的結構和策略 . 機械工業(yè)出版社 , 中信出版社 ? 蔣宗禮 . 人工神經(jīng)網(wǎng)絡導論 . 高等教育出版社， 2022 ? 胡守仁，余少博，戴葵 . 神經(jīng)網(wǎng)絡導論 . 國防科技大學出版社， 1993 ? 韓力群 . 人工神經(jīng)網(wǎng)絡理論、設計及應用 . 化學工業(yè)出版社， 2022 ? 王旭，王宏，王文輝 . 人工神經(jīng)元網(wǎng)絡原理與應用 . 東北大學出版社，2022 ? 徐麗娜 . 神經(jīng)網(wǎng)絡控制 . 哈爾濱工業(yè)大學出版社， 1999 ? 閻平凡，張長水 . 人工神經(jīng)網(wǎng)絡與模擬進化計算 . 清華大學出版社， 著名學者 108 Prof. Michael I. Jordan 美國加州大學伯克利分校 獲加州大學博士學位 研究方向 : 圖模型、變分方法、機器學習等。 著名學者 109 Prof. Bernhard Scholkopf 德國 Max Planck生物控制論研究院 1997年獲柏林科技大學博士學位 研究方向 : 機器學習、感知器、支持向量機和核方法。他發(fā)表文章的引用率已經(jīng)進入計算機科學的前 1%，另外他也是著名國際期刊 Journal of Machine Learning Research編委會成員和發(fā)起人之一。他共獲得超過 6百萬美元的資助，發(fā)表 174篇雜志論文，285篇會議論文， 12本專著。 著名學者 114 Prof. Lei Xu (徐雷 ) 香港中文大學 研究方向 : 模式識別、神經(jīng)網(wǎng)絡、 統(tǒng)計學習等 現(xiàn)任香港中文大學講座教授、 IEEE Fellow、國際模式識別學會 Fellow、歐洲科學院院士。 著名學者 115 劉德榮 教授 伊利諾大學芝加哥分校 1994年獲美國圣母大學博士學位 研究方向 : 非線性動態(tài)系統(tǒng)、 遞歸神經(jīng)網(wǎng)絡等。 著名學者 116 Prof. Jun Wang (王鈞 ) 香港中文大學 1991年 凱斯西儲大學 博士 研究方向：遞歸神經(jīng)網(wǎng)絡和工程應用 現(xiàn)任香港中文大學自動化與計算機輔助工程系計算智能實驗室