【正文】 當前狀態(tài)結合起來產(chǎn)生激活值的激活規(guī)則 （ Fi） ； ? 7） 通過經(jīng)驗修改聯(lián)接強度的 學習規(guī)則 ； ? 8） 系統(tǒng)運行的環(huán)境 （ 樣本 集合 ） 。 2022/2/2 39 人工神經(jīng)網(wǎng)絡的概念 ? （ 1） Hecht—Nielsen（ 1988年）（續(xù)） ? 處理單元的輸出信號可以是任何需要的數(shù)學模型，每個處理單元中進行的操作必須是完全局部的。這些處理單元（ PE—Processing Element）具有局部內(nèi)存，并可以完成局部操作。 2022/2/2 33 人工神經(jīng)網(wǎng)絡的提出 ? 聯(lián)接主義觀點 ? 核心：智能的本質(zhì)是聯(lián)接機制。 ? 研究人工智能的目的 ? 增加人類探索世界，推動社會前進的能力 ? 進一步認識自己 ? 三大學術流派 ? 符號主義（或叫做符號 /邏輯主義）學派 ? 聯(lián)接主義（或者叫做 PDP）學派 ? 進化主義（或者叫做行動 /響應）學派 2022/2/2 30 人工神經(jīng)網(wǎng)絡的提出 ? 物理符號系統(tǒng) ? 人腦的反映 形式化 現(xiàn)實 信息 數(shù)據(jù) 物理系統(tǒng) 物理符號系統(tǒng) 表現(xiàn)智能 2022/2/2 31 人工神經(jīng)網(wǎng)絡的提出 ? Newell和 Simon假說 ：一個物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個物理符號系統(tǒng) ? 概念：物理符號系統(tǒng)需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現(xiàn)，以構成更高級別的系統(tǒng) 2022/2/2 32 人工神經(jīng)網(wǎng)絡的提出 ? 困難： ? 抽象 ——舍棄一些特性 ， 同時保留一些特性 ? 形式化處理 ——用物理符號及相應規(guī)則表達物理系統(tǒng)的存在和運行 。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎。 2022/2/2 27 人工神經(jīng)網(wǎng)絡的提出 ? 聯(lián)想、推理、判斷、決策語言 的能力 ? 這是智能的高級形式的又一方面。 ? 理解知識 ， 運用知識 和經(jīng)驗分析、解決問題的能力 ? 這一能力可以算作是智能的高級形式 。 ? 人類個體的智能是一種綜合能力。 2022/2/2 25 人工神經(jīng)網(wǎng)絡的提出 ? 智能與人工智能 ? 一 、 智能的含義 ? 智能是個體有目的的行為，合理的思維，以及有效的、適應環(huán)境的綜合能力 。 2022/2/2 15 第 1章 引言 ? 主要內(nèi)容 ： ? 智能與人工智能； ? ANN的特點； ? 歷史回顧與展望 ? 重點： ? 智能的本質(zhì)； ? ANN是一個非線性大規(guī)模并行處理系統(tǒng) ? 難點： 對智能的刻畫 2022/2/2 16 第 1章 引言 人工神經(jīng)網(wǎng)絡的提出 人工神經(jīng)網(wǎng)絡的特點 歷史回顧 2022/2/2 17 第 1章 引言 ? 人類對人工智能的研究可以分成兩種方式對應著 兩種不同的技術 ： ? 傳統(tǒng)的人工智能技術 ——心理的角度模擬 ? 基于人工神經(jīng)網(wǎng)絡的技術 ——生理的角度模擬 2022/2/2 18 學習駕駛汽車的人工神經(jīng)網(wǎng)絡 摘自 《 機器學習 》 ， T. M. Mitchell 2022/2/2 19 人臉識別 2022/2/2 20 手寫數(shù)字識別 2022/2/2 21 21世紀 : 智能科學 ( Nature 409, 2022 ) 2022/2/2 22 典型的 “智力生成過程” 感覺器官 神經(jīng)系統(tǒng) 認知 效應器官 外部世界 決策 神經(jīng)系統(tǒng) 思維器官 2022/2/2 23 人類智力的信息本質(zhì) 信息獲取 信息傳遞 信息認知 信息執(zhí)行 外部世界 信息再生 信息傳遞 認識論信息 知識 智能策略 狹義智能 本體論信息 認識論信息 智能策略 智能行為 2022/2/2 24 人工神經(jīng)網(wǎng)絡的提出 ? 人工神經(jīng)網(wǎng)絡（ Artificial Neural Networks，簡記作 ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。 ? 實驗：實現(xiàn)一個 Hopfield網(wǎng)。 2022/2/2 13 主要內(nèi)容 第七章 循環(huán) 網(wǎng)絡 ? 循環(huán)網(wǎng)絡的組織 ， 穩(wěn)定性分析；相聯(lián)存儲；統(tǒng)計 Hopfield網(wǎng)與 Boltzmann機； Hopfield網(wǎng)用于解決 TSP問題 。 2022/2/2 12 主要內(nèi)容 第六章 統(tǒng)計方法 ? 統(tǒng)計方法是為了解決局部極小點問題而引入的 ， 統(tǒng)計網(wǎng)絡的基本訓練算法 ， 模擬退火算法與收斂分析 ， Cauchy訓練 ， 人工熱處理與臨界溫度在訓練中的使用 ， BP算法與 Cauchy訓練相結合 。 2022/2/2 11 主要內(nèi)容 第五章 對傳網(wǎng) ? 生物神經(jīng)系統(tǒng)與異構網(wǎng)的引入；對傳網(wǎng)的網(wǎng)絡結構， Kohonen層與 Grossberg層的正常運行，對傳網(wǎng)的輸入向量的預處理，Kohonen層的訓練算法及其權矩陣的初始化方法； Grossberg層的訓練；完整的對傳網(wǎng)。 2022/2/2 10 主要內(nèi)容 第四章 向后傳播 ?BP（ Backpropagation）網(wǎng)絡的構成及其訓練過程；隱藏層權調(diào)整方法的直觀分析， BP訓練算法中使用的 Delta規(guī)則（最速下降法）的理論推導；算法的收斂速度及其改進討論；BP網(wǎng)絡中的幾個重要問題。 2022/2/2 9 主要內(nèi)容 第三章 感知器 感知器與人工神經(jīng)網(wǎng)絡的早期發(fā)展；單層網(wǎng)能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網(wǎng)； Hebb學習律， Delta規(guī)則，感知器的訓練算法。 2022/2/2 8 主要內(nèi)容 第二章 人工神經(jīng)網(wǎng)絡基礎 本章在介紹了基本神經(jīng)元后 ， 將概要介紹人工神經(jīng)網(wǎng)絡的一般特性 。 ? 查閱適當?shù)膮⒖嘉墨I，將所學的知識與自己未來研究課題（包括研究生論文階段的研究課題）相結合起來，達到既豐富學習內(nèi)容，又有一定的研究和應用的目的。 2022/2/2 5 課程目的和基本要求 ? 了解人工神經(jīng)網(wǎng)絡的有關研究思想，從中學習開拓者們的部分問題求解方法。2022/2/2 1 人工神經(jīng)網(wǎng)絡 Artificial Neural Networks 2022/2/2 2 教材 書名： 《 人工神經(jīng)網(wǎng)絡導論 》 出版社：高等教育出版社 出版日期： 2022年 8月 定價： 作者： 蔣宗禮 2022/2/2 3 主要參考書目 Philip D. Wasserman， Neural Computing: Theory and Practice， Van Nostrand Reinhold， 1989 胡守仁 、 余少波 、 戴葵 ， 神經(jīng)網(wǎng)絡導論 ， 國防科技大學出版社 ， . 楊行峻 、 鄭君里 ， 人工神經(jīng)網(wǎng)絡 ， 高等教育出版社 ， . 聞新、周露、王丹力、熊曉英， MATLAB神經(jīng)網(wǎng)絡應用設計，科學出版社， . 王偉，人工神經(jīng)網(wǎng)絡原理，北京航天航空大學出版社， . 王洪元、史國棟，人工神經(jīng)網(wǎng)絡技術及其應用，中國石化出版社， . 2022/2/2 4 課程目的和基本要求 ? 作為人工神經(jīng)網(wǎng)絡的入門課程，用于將學生引入人工神經(jīng)網(wǎng)絡及其應用的研究領域。 ? 介紹人工神經(jīng)網(wǎng)絡及其基本網(wǎng)絡模型，使學生 ? 了解智能系統(tǒng)描述的基本模型 ? 掌握人工神經(jīng)網(wǎng)絡的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡模型的結構、特點、典型訓練算法、運行方式、典型問題 ? 掌握軟件實現(xiàn)方法。 ? 通過實驗進一步體會有關模型的用法和性能，獲取一些初步的經(jīng)驗。 2022/2/2 6 主要內(nèi)容 ? 智能及其實現(xiàn) ? ANN基礎 ? Perceptron ? BP ? CPN ? 統(tǒng)計方法 ? Hopfield網(wǎng)與 BAM ? ART 2022/2/2 7 主要內(nèi)容 第一章：引論 智能的概念、智能系統(tǒng)的特點及其描述基本模型，物理符號系統(tǒng)與連接主義的觀點及其比較；人工神經(jīng)網(wǎng)絡的特點、發(fā)展歷史。 主要包括 ， 生物神經(jīng)網(wǎng)絡模型 ， 人工神經(jīng)元模型與典型的激勵函數(shù)；人工神經(jīng)網(wǎng)絡的基本拓撲特性 ， 存儲類型 （ CAM── LTM ，AM── STM） 及映象 ， Supervised訓練與Unsupervised訓練 。 ? 實驗：實現(xiàn)一個感知器。 ?實驗：實現(xiàn) BP算法。 ? 實驗：實現(xiàn)基本的對傳網(wǎng)。 ? 實驗：實現(xiàn)模擬退火算法。 ? BAM(Bidirectional Associative Memory)用于實現(xiàn)雙聯(lián)存儲；基本雙聯(lián)存儲網(wǎng)絡的結構及訓練；其他的幾種相聯(lián)存儲網(wǎng)絡 。 2022/2/2 14 主要內(nèi)容 第八章 自適應共振理論 ? 人腦的穩(wěn)定性與可塑性問題； ART模型的總體結構與分塊描述；比較層與識別層之間的兩個聯(lián)接矩陣的初始化，識別過程與比較過程，查找的實現(xiàn)；訓練討論。簡單地講，它是一個 數(shù)學模型 ，可以用 電子線路 來實現(xiàn)，也可以用 計算機程序 來模擬，是人工智能研究的一種方法。 ? 智能是個體認識客觀事物和運用知識解決問題的能力 。 2022/2/2 26 人工神經(jīng)網(wǎng)絡的提出 ? 智能可以包含 8個方面 ? 感知與認識 客觀事物、客觀世界和自我的能力 ? 感知是智能的基礎 ——最基本的能力 ? 通過 學習 取得經(jīng)驗與積累知識的能力 ? 這是人類在世界中能夠不斷發(fā)展的最基本能力。 是人類對世界進行適當?shù)母脑?， 推動社會不斷發(fā)展的基本能力 。 ? 預測和認識 ? “主動”和“被動”之分。 ? 運用進行抽象、概括的能力 ? 上述這 5種能力，被認為是人類智能最為 基本的能力 2022/2/2 28 人工神經(jīng)網(wǎng)絡的提出 ? 作為 5種能力綜合表現(xiàn)形式的 3種能力 ? 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 ? 實時、迅速、合理地應付復雜環(huán)境的能力 ? 預測、洞察事物發(fā)展、變化的能力 2022/2/2 29 人工神經(jīng)網(wǎng)絡的提出 ? 二、人工智能 ? 人工智能：研究如何使類似計算機這樣的設備去模擬人類的這些能力。 ? 局限： ? 對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。 ? 神經(jīng)網(wǎng)絡是一個由大量簡單的處理單元組成的高度復雜的大規(guī)模非線性自適應系統(tǒng) ? ANN力求從四個方面去模擬人腦的智能行為 ? 物理結構 ? 計算模擬 ? 存儲與操作 ? 訓練 2022/2/2 34 人工神經(jīng)網(wǎng)絡的提出 ? 兩種模型的比較 心理過程 邏輯思維 高級形式 （ 思維的表象 ） 生理過程 形象思維 低級形式 （ 思維的根本 ） 仿生 人工神經(jīng)網(wǎng)絡 2022/2/2 35 人工神經(jīng)網(wǎng)絡的提出 ? 物理符號系統(tǒng)和人工神經(jīng)網(wǎng)絡系統(tǒng)的差別 項目 物理符號系統(tǒng) 人工神經(jīng)網(wǎng)絡 處理方式 邏輯運算 模擬運算 執(zhí)行方式 串行 并行 動作 離散 連續(xù) 存儲 局部集中 全局分布 2022/2/2 36 人工神經(jīng)網(wǎng)絡的提出 ? 兩種人工智能技術的比較 項目 傳統(tǒng)的 AI技術 ANN技術 基本實現(xiàn)方式 串行處理；由程序?qū)崿F(xiàn)控制 并行處理；對樣本數(shù)據(jù)進行多目標學習；通過人工神經(jīng)元之間的相互作用實現(xiàn)控制 基本開發(fā)方法 設計規(guī)則 、 框架 、 程序；用樣本數(shù)據(jù)進行調(diào)試（ 由人根據(jù)已知的環(huán)境去構造一個模型 ） 定義人工神經(jīng)網(wǎng)絡的結構原型，通過樣本數(shù)據(jù)，依據(jù)基本的學習算法完成學習 ——自動從樣本數(shù)據(jù)中抽取內(nèi)涵（自動適應應用環(huán)境） 適應領域 精確計算：符號處理 ，數(shù)值計算 非精確計算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理 模擬對象 左腦 （ 邏輯思維 ） 右腦 （ 形象思維 ） 2022/2/2 37 人工神經(jīng)網(wǎng)絡的特點 ?信息的分布表示 ?運算的全局并行和局部操作 ?處理的非線性 2022/2/2 38 人工神經(jīng)網(wǎng)絡的概念 ?定義 ?(1) Hecht—Nielsen（ 1988年 ） 人工神經(jīng)網(wǎng)絡是一個并行、分布處理結構，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。每個處理單元有一個單一的輸出聯(lián)接，