【正文】 的分工 ,當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時(shí) ,將會(huì)分為不同的反應(yīng)區(qū)域 ,各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。 50 低潮時(shí)期 ? 腦科學(xué)的研究表明，人類(lèi)大腦皮層中的細(xì)胞群存在著廣泛地自組織現(xiàn)象。所有這些理論為神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展奠定了理論基礎(chǔ)。同時(shí)當(dāng)時(shí)的微電子技術(shù)也無(wú)法為神經(jīng)網(wǎng)絡(luò)的研究提供有效的技術(shù)保障。 2022/6/23 42 低潮時(shí)期 ? 匯編語(yǔ)言中 xor eax, eax ? 1 xor 1 = 0 因?yàn)?1和 1相同 0 xor 0 = 0 因?yàn)?0和 0相同 1 xor 0 = 1 因?yàn)?1和 0不同 0 xor 1 = 1 因?yàn)?1和 0不同 ? 初始化清 0。許多部門(mén)都開(kāi)始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。 啟蒙時(shí)期 ? 1962年，韋德羅（ Widrow）和胡佛（ Hoff）提出了自適應(yīng)線性單元（ Adaline），這是一個(gè)連續(xù)取值的線性網(wǎng)絡(luò)。 啟蒙時(shí)期 ? Rosenblatt提出的感知器模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐。根據(jù)這一假說(shuō)提出了改變神經(jīng)元連接強(qiáng)度的 Hebb規(guī)則。 ? 它開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究 ， 為各種神經(jīng)元模型及網(wǎng)絡(luò)模型的研究打下了基礎(chǔ) 。 人工神經(jīng)網(wǎng)絡(luò)的研究歷史 ? 1890年，美國(guó)心理學(xué)家 William James發(fā)表了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專(zhuān)著 《心理學(xué)原理 》 (Principles of Psychology)，對(duì)相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本原理做了開(kāi)創(chuàng)性研究。如自組織映射 (Self Organization Mapping, 簡(jiǎn)寫(xiě)為 SOM)算法。 ? 直到實(shí)際響應(yīng)的輸出與期望的輸出之差在允許范圍之內(nèi)，這種學(xué)習(xí)方法通稱(chēng)為 誤差修正算法 。 ? VLSI(超大規(guī)模集成 )實(shí)現(xiàn) 神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性使它具有快速處理某些任務(wù)的潛在能力，適用于 VLSI技術(shù)實(shí)現(xiàn)。 ? 一種由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及其各單元的處理方式 ? 是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng) 24 ? 神經(jīng)網(wǎng)絡(luò)的計(jì)算能力有以下優(yōu)點(diǎn)： ? (1)大規(guī)模并行分布式結(jié)構(gòu) ? (2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力以及由此而來(lái)的泛化能力。也就是說(shuō)，它必須僅僅依賴(lài)于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。人工神經(jīng)網(wǎng)絡(luò)中也有大量有局部處理能力的神經(jīng)元，也能夠?qū)⑿畔⑦M(jìn)行大規(guī)模并行處理 ： 人腦和人工神經(jīng)網(wǎng)絡(luò)都是通過(guò)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)記憶存儲(chǔ)功能，同時(shí)為概括、類(lèi)比、推廣提供有力的支持 4. 訓(xùn)練： 同人腦一樣，人工神經(jīng)網(wǎng)絡(luò)將根據(jù)自己的結(jié)構(gòu)特性，使用不同的訓(xùn)練、學(xué)習(xí)過(guò)程，自動(dòng)從實(shí)踐中獲得相關(guān)知識(shí) 人工智能 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 生物神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 人工神經(jīng)元及其網(wǎng)絡(luò) 2022/6/23 17 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 定義 (1) Hecht—Nielsen（ 1988年） 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱(chēng)為聯(lián)接的無(wú)向訊號(hào)通道互連而成。 2022/6/23 9 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 聯(lián)想、推理、判斷、決策語(yǔ)言的能力 ? 這是智能的高級(jí)形式的又一方面。 ? 人類(lèi)個(gè)體的智能是一種綜合能力。武漢科技大學(xué) 1 張 凱 副教授 武漢科技大學(xué) 計(jì)算機(jī)學(xué)院 人工神經(jīng)網(wǎng)絡(luò) (Artifical Neural Network) 2 第一章 神經(jīng)網(wǎng)絡(luò)概述 1. 人工智能與神經(jīng)網(wǎng)絡(luò) 2. 人工神經(jīng)網(wǎng)絡(luò)的基本概念 3. 人工神經(jīng)網(wǎng)絡(luò)研究的歷史 4. 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 人工智能 ? 人工智能（ Artificial Intelligence，簡(jiǎn)記為 AI）最初在 1956年被引入。智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。是人類(lèi)對(duì)世界進(jìn)行適當(dāng)?shù)母脑欤苿?dòng)社會(huì)不斷發(fā)展的基本能力。 ? 運(yùn)用進(jìn)行抽象、概括的能力 ? 上述這 5種能力，被認(rèn)為是人類(lèi)智能最為基本的能力 2022/6/23 10 人工神經(jīng)網(wǎng)絡(luò)的提出 ? 作為 5種能力綜合表現(xiàn)形式的 3種能力 ? 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力 ? 實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力 ? 預(yù)測(cè)、洞察事物發(fā)展、變化的能力 人工神經(jīng)網(wǎng)絡(luò)從以下四個(gè)方面去模擬人的智能行為 1. 物理結(jié)構(gòu)： 人工神經(jīng)元將模擬生物神經(jīng)元的功能 2. 計(jì)算模擬 ： 人腦的神經(jīng)元有局部計(jì)算和存儲(chǔ)的功能，通過(guò)連接構(gòu)成一個(gè)系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)的概念 ? 處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。 什么是神經(jīng)網(wǎng)絡(luò) ? 由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。 神經(jīng)網(wǎng)絡(luò)的性質(zhì)和能力 ? 適應(yīng)性 神經(jīng)網(wǎng)絡(luò)具有調(diào)整自身突觸權(quán)值以適應(yīng)外界變化的能力。 ? 根據(jù)誤差的情況修正各連接權(quán)，使網(wǎng)絡(luò)朝著正確響應(yīng)的方向不斷變化下去。當(dāng)曾經(jīng)學(xué)習(xí)過(guò)的或相似的刺激加入后，輸出端便按權(quán)矩陣產(chǎn)生相應(yīng)的輸出。 ? 神經(jīng)網(wǎng)絡(luò)發(fā)展的四個(gè)時(shí)期 ? 啟蒙時(shí)期（ 1890～ 1969） ? 低潮時(shí)期（ 1969～ 1982） ? 復(fù)興時(shí)期（ 1982～ 1986） ? 高潮時(shí)期（ 1987～ ） 31 從 19世紀(jì)末開(kāi)始神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史，可以看出它與神經(jīng)生理學(xué)、數(shù)學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)以及人工智能學(xué)之間的聯(lián)系。 啟蒙時(shí)期 ? 這種單個(gè)神經(jīng)元模型功能較弱 ， 但連接而成的網(wǎng)絡(luò)可以實(shí)現(xiàn)邏輯運(yùn)算 ， 包括三種基本運(yùn)算：邏輯乘法(又稱(chēng) “與 ”運(yùn)算 )、 邏輯加法 (又稱(chēng) “或 ”運(yùn)算 )和邏輯否定 (又稱(chēng) “非 ”運(yùn)算 )。他認(rèn)為學(xué)習(xí)過(guò)程是在突觸上發(fā)生的，突觸的聯(lián)系強(qiáng)度隨其前后神經(jīng)元的活動(dòng)而變化。 2022/6/23 36 啟蒙時(shí)期 ? 1957年，羅森布蘭特 (Rosenblatt)提出了感知器(Perception)的概念，試圖模擬人腦的感知學(xué)習(xí)能力。后來(lái)的一大類(lèi)神經(jīng)網(wǎng)絡(luò)模型都是感知器模型的變形。 ? 人們樂(lè)觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。這時(shí)應(yīng)采用含有隱單元的多層神經(jīng)網(wǎng)絡(luò)，但引入隱單元后找到一個(gè)有效的學(xué)習(xí)算法非常困難， Minsky斷言這種感知器無(wú)科學(xué)研究?jī)r(jià)值可言，包括多層的也沒(méi)有什么意義。 ? 四、奇數(shù)分頻電路 低潮時(shí)期 ? 這個(gè)結(jié)論對(duì)當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)研究無(wú)疑是一個(gè)沉重的打擊，客觀上對(duì)神經(jīng)網(wǎng)絡(luò)的研究起了一定的消極作用。 1972年 Kohenen提出自組織映射的理論模型，并稱(chēng)神經(jīng)網(wǎng)絡(luò)為聯(lián)想存貯器。如果我們認(rèn)識(shí)這個(gè)人，我們馬上就能知道認(rèn)識(shí)他！該怎么理解呢？其實(shí)，大腦已經(jīng)存在了這個(gè)人的面孔的印象，看到這個(gè)人，我們的大腦有個(gè)搜索對(duì)比的過(guò)程或者說(shuō)是回憶的過(guò)程，如果能夠搜索到（回憶），那么恭喜你，你認(rèn)出這個(gè)人了 … 相反，如果這個(gè)人是陌生人，大腦慘了，搜索了半天，沒(méi)有搜到（回憶），罷工了，不認(rèn)識(shí)，還是陌生人，不要生氣，大腦沒(méi)有罷工，它已默默將這個(gè)人的面孔存儲(chǔ)起來(lái)了！如果你后續(xù)跟這個(gè)人還有更多聯(lián)系的話，比如再見(jiàn)面或者一起說(shuō)話、交往，大腦對(duì)這個(gè)人的記憶會(huì)逐漸加強(qiáng)！實(shí)際生活中，我們會(huì)有對(duì)某個(gè)人好像在哪兒見(jiàn)過(guò)面的感覺(jué)，其實(shí)這種感覺(jué)正是大腦對(duì)這個(gè)人的記憶還不夠強(qiáng)烈所產(chǎn)生的！ 49 低潮時(shí)期 ? 1972年，芬蘭學(xué)者克豪南（ Kohonen）提出了自組織映射（ SOM）理論。 低潮時(shí)期 ? 自組織映射網(wǎng)絡(luò) (SelfOrganizing Feature Maps，SOM)就是根據(jù)這種理論而提出的，現(xiàn)在已成為應(yīng)用最為廣泛的自組織神經(jīng)網(wǎng)絡(luò)方法。 低潮時(shí)期 ? 1979年，福島邦彥