【正文】 饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò) ? 反饋型局部聯(lián)接網(wǎng)絡(luò)：特例，每個(gè)神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡(luò)。 基本原理 －網(wǎng)絡(luò)分類 ?分類 ?前饋型； ?反饋型； ?自組織競(jìng)爭(zhēng)； ?隨機(jī)網(wǎng)絡(luò) ?其它 基本原理 －基本屬性 ? 基本屬性： ? 非線性： 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性。 ? 非局域性： 一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛聯(lián)接而成。一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過(guò)單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子。 基本原理 － 基本屬性 ? 非定常性： 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息有各種各樣，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過(guò)程描寫(xiě)動(dòng)力系統(tǒng)的演化過(guò)程。 ? 非凸性： 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。 基本原理 －優(yōu)缺點(diǎn) ? 評(píng)價(jià) ? 優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力 ? 缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問(wèn)題沒(méi)有根本解決，慢；目前沒(méi)有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。 前饋型神經(jīng)網(wǎng) ? 概述 ?最初稱之為感知器 。 應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型 ， 最要原因是有 BP學(xué)習(xí)方法 。 ?前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。 前饋型神經(jīng)網(wǎng) ? 單層感知器 w 1 θ Y x 1 x n w n Σ 前饋型神經(jīng)網(wǎng) ? 基本原理，結(jié)構(gòu)簡(jiǎn)單。很少在實(shí)際應(yīng)用中出現(xiàn)。采用階躍函數(shù)作為傳遞函數(shù)。從２維空間可以很顯然的看出其分類功能，但 Minsky等揭示的致命弱點(diǎn)也一目了然。關(guān)鍵是學(xué)習(xí)算法及網(wǎng)絡(luò)設(shè)計(jì)方法： ? 輸出 yi等于 ： )( jjiji xwfy ??? ? (1) ??????0101)(?jjj uuuf　　　　　　　　　　　　其中 前饋型神經(jīng)網(wǎng) －單層感知器 ? 分類方法： ? 如果輸入 x有 k個(gè)樣本 ， xp, p=1, 2, … , k, x?Rn ? 當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能 +1或 1。 ? 把樣本 xp看作為在 n維狀態(tài)空間中的一個(gè)矢量，那么 k個(gè)樣本為輸入空間的 k個(gè)矢量。而方程（ 1）就是把這個(gè) n為空間分為 SA、 SB兩個(gè)子空間，其分界線為 n1維的超平面。即用一個(gè)單輸出的感知器通過(guò)調(diào)整參數(shù)及來(lái)達(dá)到 k個(gè)樣本的正確劃分。 ? 如： ........… . 前饋型神經(jīng)網(wǎng) －單層感知器 ........… . ),2,1,...2,1(其中, kllBlASxSx BBAA ??????則存在一組權(quán)值 wij使得公式 (1)滿足 : 1,。1, ????? ySxySx BBAA則稱樣本集為線性可分的，否則為線性不可分的 。 前饋型神經(jīng)網(wǎng) －單層感知器 ?例子： 2維空間 Txxx ),( 21? T ),(21? )( 2211 ???? xwxwfy希望找到一根直線，把 A, B兩類樣本分開(kāi)，其分界線為 : 21212 wxwwx ???? 解有無(wú)數(shù)個(gè)。 單層感只能解決線性可分類的樣本的分類問(wèn)題。如樣本不能用一個(gè)超平面分開(kāi)，就會(huì)產(chǎn)生當(dāng)年 Minsky等提出的不可分問(wèn)題。 + + + + + + + + X1 X2 二維輸入感知器及其在狀態(tài)空間中的劃分 前饋型神經(jīng)網(wǎng) ? 多層感知器 ? 多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為 BP網(wǎng)絡(luò)。 )()(. . .)(12011012101iniijjjnjikkvknkvkllxwfxxwfxxwfyv???????????前饋型神經(jīng)網(wǎng) ? 多 層感知器 ? 采用 BP算法學(xué)習(xí)時(shí)要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如 sigmoid函數(shù)。因此，網(wǎng)絡(luò)可以用一個(gè)連續(xù)的超曲面（而不僅僅是一個(gè)超平面）來(lái)完成劃分輸入樣本空間的功能。 ? 先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算。 210)(21111? ?????PPmlPlPl ytE No No Y e s Y e s 給定輸入向量和目標(biāo)輸出 初始化 求隱層、輸出層各單元輸出 求目標(biāo)值與實(shí)際輸出的偏差 e e 滿足要求？ 全部 ei滿足？ 計(jì)算隱層單元誤差 求誤差梯度 權(quán)值學(xué)習(xí) E N D 前饋型神經(jīng)網(wǎng) ? 多層感知器 ? n層網(wǎng)絡(luò)可以以 n1個(gè)超曲面構(gòu)成一個(gè)符合曲面，彌補(bǔ)了單層感知器的缺陷?；?BP算法，依據(jù)大量樣本通過(guò)逐步調(diào)整神經(jīng)元之間的聯(lián)接權(quán)重來(lái)構(gòu)造網(wǎng)絡(luò)。理論上，多層前饋網(wǎng)絡(luò)在不考慮結(jié)果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。 前饋型神經(jīng)網(wǎng) ? 特點(diǎn)： 用非線性連續(xù)可微的函數(shù)來(lái)分類，結(jié)果是一種模糊概念。當(dāng)輸出 f(u)0時(shí)，其輸出不一定為１，而是一個(gè) (有時(shí)只是 0)的值，表示所得到的概率為多少。 ? 應(yīng)用： 各行各業(yè)。是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 概述 ? 在實(shí)際的神經(jīng)網(wǎng)絡(luò)中 ， 存在一種側(cè)抑制的現(xiàn)象 。 即一個(gè)細(xì)胞興奮后 ， 通過(guò)它的分支會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制 。這種側(cè)抑制在脊髓和海馬中存在 ， 在人眼的視網(wǎng)膜中也存在 。 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 概述 ? 這種抑制使神經(jīng)細(xì)胞之間出現(xiàn)競(jìng)爭(zhēng) ， 一個(gè)興奮最強(qiáng)的神經(jīng)細(xì)胞對(duì)周圍神經(jīng)細(xì)胞的抑制也強(qiáng) 。 雖然一開(kāi)始各個(gè)神經(jīng)細(xì)胞都處于興奮狀態(tài) ， 但最后是那個(gè)輸出最大的神經(jīng)細(xì)胞 “ 贏 ” ， 而其周圍的神經(jīng)細(xì)胞 “ 輸 ” 了 。 ? 勝者為王 。 小貓 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 概述 ? 自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)是在 “ 無(wú)師自通 ”的現(xiàn)象的基礎(chǔ)上生成的。 ? 人類等生物的生長(zhǎng)過(guò)程。 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 結(jié)構(gòu)： 層內(nèi)細(xì)胞之間互聯(lián)，在各個(gè)神經(jīng)細(xì)胞中加入自反饋，相互作用，輸出 y為 ： ))(,( ygxwfy ?系統(tǒng)穩(wěn)定時(shí) “ 勝者為王 ” 。此時(shí)贏者的權(quán)向量與輸入向量的歐氏距離最小。此距離為 ： ),c o s (|||| wxxwxw T ?自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ? 自組織映射模型 ? 自組織映射模型是由 Kohonen提出來(lái)的 。 模型是以實(shí)際神經(jīng)細(xì)胞中的一種特征敏感的細(xì)胞為模型的 。 各個(gè)細(xì)胞分別對(duì)各種輸入敏感 ， 可以代表各種輸入 ， 反映各種輸入樣本的特征 。 如果在二維空間上描述這些細(xì)胞 ， 則 ， 功能相近的細(xì)胞聚在一起 ， 靠得比較近 。 功能不同的離得比較遠(yuǎn) 。 ? 網(wǎng)絡(luò)形成過(guò)程： 開(kāi)始是無(wú)序的 ， 當(dāng)輸入樣本出現(xiàn)后各個(gè)細(xì)胞反映不同 ， 強(qiáng)者依照 “ 勝者為王 ” 的原則 ， 加強(qiáng)自己的同時(shí)對(duì)周圍細(xì)胞進(jìn)行壓抑 。 使其對(duì)該種樣本更加敏感 ， 也同時(shí)對(duì)其他種類的樣本更加不敏感 。 此過(guò)程的反復(fù)過(guò)程中 ， 各種不同輸入樣本將會(huì)分別映射到不同的細(xì)胞上 。 Kohonen網(wǎng)絡(luò)的結(jié)構(gòu) x2 x1 輸入層 輸出層 Nc(t)的形狀和變化情況 Nc(t0) Nc(t1) Nc(t2) Nc(t0) Nc(t1) Nc(t2) 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ?特點(diǎn)： ?網(wǎng)絡(luò)中的權(quán)值是輸入樣本的記憶。如果輸出神經(jīng)元 j與輸入 n個(gè)神經(jīng)元之間的聯(lián)接用wj表示，對(duì)應(yīng)其一類樣本 x輸入，使 yj達(dá)到匹配最大。那么 wj通過(guò)學(xué)習(xí)后十分靠近x，因此，以后當(dāng) x再次輸入時(shí)， yj這個(gè)神經(jīng)元必定會(huì)興奮， yj是 x的代表。 .......… . 自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò) ........… . ? 網(wǎng)絡(luò)學(xué)習(xí)時(shí)對(duì)權(quán)的調(diào)整不只是對(duì)興奮的那個(gè)細(xì)胞所對(duì)應(yīng)的權(quán)進(jìn)行，而對(duì)其周圍 Nc區(qū)域內(nèi)的神經(jīng)元同時(shí)進(jìn)行調(diào)整。因此，對(duì)于在 Nc內(nèi)的神經(jīng)元可以代表不只是一個(gè)樣本 x，而是與 x比較相近的樣本都可以在 Nc內(nèi)得到反映。因此，這種網(wǎng)絡(luò)對(duì)于樣本的畸變和噪聲的容差大。（調(diào)整區(qū)域函數(shù)有。） 各種函數(shù) ? 網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果是：比較相近的輸入樣本在輸出平面上映射的位置也比較接近。具有自然聚類的效果。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? 該門(mén)科學(xué)起源于心理學(xué)、生理學(xué)、生物學(xué)、醫(yī)學(xué)等科學(xué)，研究發(fā)展過(guò)程中又涉及到數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域。然而，它的應(yīng)用幾乎遍及自然科學(xué)的各個(gè)領(lǐng)域。其中最多的是模式識(shí)別、通訊、控制、信號(hào)處理等方面。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 ? 根據(jù)應(yīng)用背景選擇網(wǎng)絡(luò)結(jié)構(gòu) ? 排除各種干擾（預(yù)處理） ? 根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)準(zhǔn)備輸入樣本 ? 選擇訓(xùn)練樣本 ? 訓(xùn)練網(wǎng)絡(luò) 前饋網(wǎng)絡(luò)字符識(shí)別器的網(wǎng)絡(luò)結(jié)構(gòu)模型 多分類器合成系統(tǒng)結(jié)構(gòu)圖 Input Output C4 C3 C2 C1 單神經(jīng)網(wǎng)絡(luò)反饋系統(tǒng)模型圖 I n p u t O u tp u t F e e d b a c k 多神經(jīng)網(wǎng)絡(luò)反饋系統(tǒng)模型圖 F e e db a c k I n p u t O u tp u t 用于大字符集識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖 Integration MLP work Generalized MLP work classifier Output 1 Output 2 Output N Input feature Vector X1 Input feature Vector X2 Input feature Vector XL Teachers Supervised learning 1 Supervised learning 2 與人工智能原理的結(jié)合 ? 針對(duì)神經(jīng)網(wǎng)絡(luò)目前存在的問(wèn)題：網(wǎng)絡(luò)結(jié)構(gòu)大不宜實(shí)現(xiàn)；學(xué)習(xí)時(shí)間長(zhǎng)效率低等。有人提出如下方案： ? 利用不完善的領(lǐng)域理論和帶有噪聲的數(shù)據(jù)進(jìn)行解釋學(xué)習(xí)，產(chǎn)生一種近似正確的解釋結(jié)構(gòu)（規(guī)則樹(shù)）。利用該規(guī)則樹(shù)構(gòu)造初始神經(jīng)網(wǎng)絡(luò)，而后進(jìn)行 BP算法的訓(xùn)練，達(dá)到減少訓(xùn)練時(shí)間的目的。 ......… . 與人工智能原理的結(jié)合 ......… . ? 用符號(hào)和聯(lián)接學(xué)習(xí)相結(jié)合的方法來(lái)修正非確定性推理規(guī)則集的參數(shù)和結(jié)構(gòu)學(xué)習(xí)系統(tǒng)，首先，將初始規(guī)則集映射成相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)，有規(guī)則的置信度決定聯(lián)接的權(quán)值。系統(tǒng)不采用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的輸入和輸出函數(shù)，而是根據(jù)置信度 CF的特點(diǎn)，按照置信度規(guī)則的求和方法，對(duì)于輸入激勵(lì) x和 y，相應(yīng)的輸出函數(shù)為 x+yxy。在網(wǎng)絡(luò)的初始結(jié)構(gòu)確定以后利用修改后適于置信度輸出的函數(shù)的誤差反傳算法， CFBP算法進(jìn)行訓(xùn)練。 第六章 機(jī)器學(xué)習(xí) The End. 搜索方法的優(yōu)缺點(diǎn) ? 數(shù)據(jù)驅(qū)動(dòng) 優(yōu)點(diǎn)：逐步接受示教例子，逐步學(xué)習(xí)，容易修改規(guī)則集合。 缺點(diǎn)：容易由于個(gè)別錯(cuò)誤例子推出錯(cuò)誤假設(shè) ? 模型驅(qū)動(dòng) 優(yōu)點(diǎn)：抗干擾性強(qiáng)，用整個(gè)例子集對(duì)假設(shè)進(jìn)行統(tǒng)計(jì)。有錯(cuò)誤數(shù)據(jù)也不會(huì)放棄假設(shè)。 缺點(diǎn)：不能逐步學(xué)習(xí)，有問(wèn)題時(shí)只能重新搜索。