【正文】 武漢科技大學(xué) 1 張 凱 副教授 武漢科技大學(xué) 計(jì)算機(jī)學(xué)院 人工神經(jīng)網(wǎng)絡(luò) (Artifical Neural Network) 2 第一章 神經(jīng)網(wǎng)絡(luò)概述 1. 人工智能與神經(jīng)網(wǎng)絡(luò) 2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念 3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史 4. 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 人工智能 ? 人工智能（ Artificial Intelligence，簡(jiǎn)記為 AI）最初在 1956年被引入。它研究怎樣讓計(jì)算機(jī)模仿人腦從事推理、設(shè)計(jì)、思考、學(xué)習(xí)等思維活動(dòng)，以解決和處理較復(fù)雜的問題。 智能的概念 ? 智能是個(gè)體有目的的行為，合理的思維，以及有效的適應(yīng)環(huán)境的綜合能力。智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問題的能力。 ? 人類個(gè)體的智能是一種綜合能力。 ? 研究人工智能的目的 模擬人的智能，將人類從復(fù)雜的腦力勞動(dòng)中解脫出來 4 感覺器官 神經(jīng)系統(tǒng) 認(rèn)知 效應(yīng)器官 外部世界 決策 神經(jīng)系統(tǒng) 思維器官 典型的 “智力生成過程” 信息獲取 信息傳遞 信息認(rèn)知 信息執(zhí)行 外部世界 信息再生 信息傳遞 認(rèn)識(shí)論信息 知識(shí) 智能策略 狹義智能 本體論信息 認(rèn)識(shí)論信息 智能策略 智能行為 人類智力的信息本質(zhì) 人工智能 7 、客觀世界和自我的能力 ，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力 、推理、判斷、決策的能力 、概括的能力 、發(fā)明、創(chuàng)造、創(chuàng)新的能力 、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 、洞察事物發(fā)展變化的能力 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 智能可以包含 8個(gè)方面 ? 感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力 ? 感知是智能的基礎(chǔ) ——最基本的能力 ? 通過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力 ? 這是人類在世界中能夠不斷發(fā)展的最基本能力。 ? 理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問題的能力 ? 這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行適當(dāng)?shù)母脑?，推?dòng)社會(huì)不斷發(fā)展的基本能力。 2022/6/23 9 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 聯(lián)想、推理、判斷、決策語言的能力 ? 這是智能的高級(jí)形式的又一方面。 ? 預(yù)測(cè)和認(rèn)識(shí) ? “主動(dòng)”和“被動(dòng)”之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)”的基礎(chǔ)。 ? 運(yùn)用進(jìn)行抽象、概括的能力 ? 上述這 5種能力，被認(rèn)為是人類智能最為基本的能力 2022/6/23 10 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 作為 5種能力綜合表現(xiàn)形式的 3種能力 ? 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 ? 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 ? 預(yù)測(cè)、洞察事物發(fā)展、變化的能力 人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為 1. 物理結(jié)構(gòu)： 人工神經(jīng)元將模擬生物神經(jīng)元的功能 2. 計(jì)算模擬 ： 人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過連接構(gòu)成一個(gè)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理 ： 人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過神經(jīng)元的連接強(qiáng)度來實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類比、推廣提供有力的支持 4. 訓(xùn)練： 同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí) 人工智能 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 2022/6/23 17 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 定義 (1) Hecht—Nielsen（ 1988年） 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。這些處理單元（ PE—Processing Element）具有局部?jī)?nèi)存，并可以完成局部操作。 ? 每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。 2022/6/23 20 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 強(qiáng)調(diào)： ? ① 并行、分布處理結(jié)構(gòu)； ? ② 一個(gè)處理單元的輸出可以被任意分枝，且 大小不變； ? ③ 輸出信號(hào)可以是任意的數(shù)學(xué)模型； ? ④ 處理單元完全的局部操作 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 定義 (2) Rumellhart， McClelland， Hinton 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 1） 一組處理單元（ PE或 AN）； ? 2） 處理單元的激活狀態(tài)（ ai）； ? 3） 每個(gè)處理單元的輸出函數(shù)（ fi）； ? 4） 處理單元之間的聯(lián)接模式； ? 5） 傳遞規(guī)則（ ∑wijoi）； ? 6） 把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激 活值的激活規(guī)則（ Fi）； ? 7） 通過經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則； ? 8） 系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。 2022/6/23 23 人工神經(jīng)網(wǎng)絡(luò)的概念 ? Simpson（ 1987年） ? 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 什么是神經(jīng)網(wǎng)絡(luò) ? 由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來處理信息的。 ? 一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及其各單元的處理方式 ? 是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng) 24 ? 神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)： ? (1)大規(guī)模并行分布式結(jié)構(gòu) ? (2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來的泛化能力。泛化是指神經(jīng)網(wǎng)絡(luò)對(duì)不在訓(xùn)練（學(xué)習(xí)）集中的數(shù)據(jù)可以產(chǎn)生合理的輸出 25 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) ? 非線性 人工神經(jīng)網(wǎng)絡(luò)可以是線性的也可以是非線性的，一個(gè)由非線性神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)自身是非線性的 ? 輸入輸出映射 每個(gè)樣本由一個(gè)惟一的輸入信號(hào)和相應(yīng)期望響應(yīng)組成。從一個(gè)訓(xùn)練集中隨機(jī)選取一個(gè)樣本給網(wǎng)絡(luò)，網(wǎng)絡(luò)就調(diào)整它的突觸權(quán)值（自由參數(shù)），以最小化期望響應(yīng)和由輸入信號(hào)以適當(dāng)?shù)慕y(tǒng)計(jì)準(zhǔn)則產(chǎn)生的實(shí)際響應(yīng)之間的偏差。 神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力 ? 適應(yīng)性 神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。 ? VLSI(超大規(guī)模集成 )實(shí)現(xiàn) 神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于 VLSI技術(shù)實(shí)現(xiàn)。 ? 神經(jīng)生物類比 神經(jīng)網(wǎng)絡(luò)是由對(duì)人腦的類比引發(fā)的，可以用神經(jīng)生物學(xué)來作為解決復(fù)雜問題的新思路。 神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力 神經(jīng)網(wǎng)絡(luò)的分類 ? 從結(jié)構(gòu)分類 前饋神經(jīng)網(wǎng)絡(luò) (Feedforward Neural Network) 反饋神經(jīng)網(wǎng)絡(luò) (Feedback Neural Network) ? 從學(xué)習(xí)方式分類 有教師學(xué)習(xí) 無教師學(xué)習(xí) 28 有教師學(xué)習(xí) ? 事先有一批正確的輸入輸出數(shù)據(jù)對(duì)，將輸入數(shù)據(jù)加載到網(wǎng)絡(luò)輸入端后，把網(wǎng)絡(luò)的實(shí)際響應(yīng)輸出與正確（期望的）輸出相比較得到誤差。 ? 根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。 ? 直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱為 誤差修正算法 。典型的有誤差反向傳播 (Back Propagation, 簡(jiǎn)寫為 BP)算法。 29 無教師學(xué)習(xí) ? 自組