【正文】 武漢科技大學 1 張 凱 副教授 武漢科技大學 計算機學院 人工神經(jīng)網(wǎng)絡(luò) (Artifical Neural Network) 2 第一章 神經(jīng)網(wǎng)絡(luò)概述 1. 人工智能與神經(jīng)網(wǎng)絡(luò) 2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念 3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史 4. 人工神經(jīng)網(wǎng)絡(luò)的應用領(lǐng)域 人工智能 ? 人工智能（ Artificial Intelligence，簡記為 AI）最初在 1956年被引入。它研究怎樣讓計算機模仿人腦從事推理、設(shè)計、思考、學習等思維活動，以解決和處理較復雜的問題。 智能的概念 ? 智能是個體有目的的行為，合理的思維，以及有效的適應環(huán)境的綜合能力。智能是個體認識客觀事物和運用知識解決問題的能力。 ? 人類個體的智能是一種綜合能力。 ? 研究人工智能的目的 模擬人的智能，將人類從復雜的腦力勞動中解脫出來 4 感覺器官 神經(jīng)系統(tǒng) 認知 效應器官 外部世界 決策 神經(jīng)系統(tǒng) 思維器官 典型的 “智力生成過程” 信息獲取 信息傳遞 信息認知 信息執(zhí)行 外部世界 信息再生 信息傳遞 認識論信息 知識 智能策略 狹義智能 本體論信息 認識論信息 智能策略 智能行為 人類智力的信息本質(zhì) 人工智能 7 、客觀世界和自我的能力 ，運用知識和經(jīng)驗分析、解決問題的能力 、推理、判斷、決策的能力 、概括的能力 、發(fā)明、創(chuàng)造、創(chuàng)新的能力 、迅速、合理地應付復雜環(huán)境的能力 、洞察事物發(fā)展變化的能力 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 智能可以包含 8個方面 ? 感知與認識客觀事物、客觀世界和自我的能力 ? 感知是智能的基礎(chǔ) ——最基本的能力 ? 通過學習取得經(jīng)驗與積累知識的能力 ? 這是人類在世界中能夠不斷發(fā)展的最基本能力。 ? 理解知識，運用知識和經(jīng)驗分析、解決問題的能力 ? 這一能力可以算作是智能的高級形式。是人類對世界進行適當?shù)母脑?，推動社會不斷發(fā)展的基本能力。 2022/6/23 9 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 聯(lián)想、推理、判斷、決策語言的能力 ? 這是智能的高級形式的又一方面。 ? 預測和認識 ? “主動”和“被動”之分。聯(lián)想、推理、判斷、決策的能力是“主動”的基礎(chǔ)。 ? 運用進行抽象、概括的能力 ? 上述這 5種能力，被認為是人類智能最為基本的能力 2022/6/23 10 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 作為 5種能力綜合表現(xiàn)形式的 3種能力 ? 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 ? 實時、迅速、合理地應付復雜環(huán)境的能力 ? 預測、洞察事物發(fā)展、變化的能力 人工神經(jīng)網(wǎng)絡(luò)從以下四個方面去模擬人的智能行為 1. 物理結(jié)構(gòu)： 人工神經(jīng)元將模擬生物神經(jīng)元的功能 2. 計算模擬 ： 人腦的神經(jīng)元有局部計算和存儲的功能，通過連接構(gòu)成一個系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M行大規(guī)模并行處理 ： 人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強度來實現(xiàn)記憶存儲功能，同時為概括、類比、推廣提供有力的支持 4. 訓練： 同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓練、學習過程，自動從實踐中獲得相關(guān)知識 人工智能 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 2022/6/23 17 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 定義 (1) Hecht—Nielsen（ 1988年） 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 人工神經(jīng)網(wǎng)絡(luò)是一個并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號通道互連而成。這些處理單元（ PE—Processing Element）具有局部內(nèi)存，并可以完成局部操作。 ? 每個處理單元有一個單一的輸出聯(lián)接，這個輸出可以根據(jù)需要被分枝成希望個數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號，即相應處理單元的信號，信號的大小不因分支的多少而變化。 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 處理單元的輸出信號可以是任何需要的數(shù)學模型，每個處理單元中進行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內(nèi)存中的值。 2022/6/23 20 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 強調(diào)： ? ① 并行、分布處理結(jié)構(gòu)； ? ② 一個處理單元的輸出可以被任意分枝，且 大小不變； ? ③ 輸出信號可以是任意的數(shù)學模型； ? ④ 處理單元完全的局部操作 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 定義 (2) Rumellhart， McClelland， Hinton 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 1） 一組處理單元（ PE或 AN）； ? 2） 處理單元的激活狀態(tài)（ ai）； ? 3） 每個處理單元的輸出函數(shù)（ fi）； ? 4） 處理單元之間的聯(lián)接模式； ? 5） 傳遞規(guī)則（ ∑wijoi）； ? 6） 把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激 活值的激活規(guī)則（ Fi）； ? 7） 通過經(jīng)驗修改聯(lián)接強度的學習規(guī)則； ? 8） 系統(tǒng)運行的環(huán)境（樣本集合）。 2022/6/23 23 人工神經(jīng)網(wǎng)絡(luò)的概念 ? Simpson（ 1987年） ? 人工神經(jīng)網(wǎng)絡(luò)是一個非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 什么是神經(jīng)網(wǎng)絡(luò) ? 由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應來處理信息的。 ? 一種由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及其各單元的處理方式 ? 是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng) 24 ? 神經(jīng)網(wǎng)絡(luò)的計算能力有以下優(yōu)點： ? (1)大規(guī)模并行分布式結(jié)構(gòu) ? (2)神經(jīng)網(wǎng)絡(luò)學習能力以及由此而來的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對不在訓練（學習）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出 25 神經(jīng)網(wǎng)絡(luò)的優(yōu)點 ? 非線性 人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的 ? 輸入輸出映射 每個樣本由一個惟一的輸入信號和相應期望響應組成。從一個訓練集中隨機選取一個樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應和由輸入信號以適當?shù)慕y(tǒng)計準則產(chǎn)生的實際響應之間的偏差。 神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力 ? 適應性 神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應外界變化的能力。 ? VLSI(超大規(guī)模集成 )實現(xiàn) 神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于 VLSI技術(shù)實現(xiàn)。 ? 神經(jīng)生物類比 神經(jīng)網(wǎng)絡(luò)是由對人腦的類比引發(fā)的，可以用神經(jīng)生物學來作為解決復雜問題的新思路。 神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力 神經(jīng)網(wǎng)絡(luò)的分類 ? 從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò) (Feedforward Neural Network) 反饋神經(jīng)網(wǎng)絡(luò) (Feedback Neural Network) ? 從學習方式分類 有教師學習 無教師學習 28 有教師學習 ? 事先有一批正確的輸入輸出數(shù)據(jù)對，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實際響應輸出與正確（期望的）輸出相比較得到誤差。 ? 根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應的方向不斷變化下去。 ? 直到實際響應的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學習方法通稱為 誤差修正算法 。典型的有誤差反向傳播 (Back Propagation, 簡寫為 BP)算法。 29 無教師學習 ? 自組