【正文】 饋型全互聯(lián)網(wǎng)絡：所有計算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡 ? 反饋型局部聯(lián)接網(wǎng)絡：特例，每個神經(jīng)元的輸出只與其周圍的神經(jīng)元相連，形成反饋網(wǎng)絡。 基本原理 －網(wǎng)絡分類 ?分類 ?前饋型； ?反饋型； ?自組織競爭； ?隨機網(wǎng)絡 ?其它 基本原理 －基本屬性 ? 基本屬性： ? 非線性： 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學上表現(xiàn)為一種非線性。 ? 非局域性： 一個神經(jīng)網(wǎng)絡通常由多個神經(jīng)元廣泛聯(lián)接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互聯(lián)接所決定。通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子。 基本原理 － 基本屬性 ? 非定常性： 人工神經(jīng)網(wǎng)絡具有自適應、自組織、自學習能力。神經(jīng)網(wǎng)絡不但處理的信息有各種各樣，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。 ? 非凸性： 一個系統(tǒng)的演化方向，在一定條件下，將取決于某個特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。 基本原理 －優(yōu)缺點 ? 評價 ? 優(yōu)點： 并行性；分布存儲；容錯性；學習能力 ? 缺點： 不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設計方法，經(jīng)驗參數(shù)太多。 前饋型神經(jīng)網(wǎng) ? 概述 ?最初稱之為感知器 。 應用最廣泛的一種人工神經(jīng)網(wǎng)絡模型 ， 最要原因是有 BP學習方法 。 ?前饋網(wǎng)絡結構是分層的，信息只能從下一層單元傳遞到相應的上一層單元。上層單元與下層所有單元相聯(lián)接。轉移函數(shù)可以是線性閾值的。 前饋型神經(jīng)網(wǎng) ? 單層感知器 w 1 θ Y x 1 x n w n Σ 前饋型神經(jīng)網(wǎng) ? 基本原理，結構簡單。很少在實際應用中出現(xiàn)。采用階躍函數(shù)作為傳遞函數(shù)。從２維空間可以很顯然的看出其分類功能，但 Minsky等揭示的致命弱點也一目了然。關鍵是學習算法及網(wǎng)絡設計方法： ? 輸出 yi等于 ： )( jjiji xwfy ??? ? (1) ??????0101)(?jjj uuuf　　　　　　　　　　　　其中 前饋型神經(jīng)網(wǎng) －單層感知器 ? 分類方法： ? 如果輸入 x有 k個樣本 ， xp, p=1, 2, … , k, x?Rn ? 當將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能 +1或 1。 ? 把樣本 xp看作為在 n維狀態(tài)空間中的一個矢量，那么 k個樣本為輸入空間的 k個矢量。而方程（ 1）就是把這個 n為空間分為 SA、 SB兩個子空間，其分界線為 n1維的超平面。即用一個單輸出的感知器通過調(diào)整參數(shù)及來達到 k個樣本的正確劃分。 ? 如： ........… . 前饋型神經(jīng)網(wǎng) －單層感知器 ........… . ),2,1,...2,1(其中, kllBlASxSx BBAA ??????則存在一組權值 wij使得公式 (1)滿足 : 1,。1, ????? ySxySx BBAA則稱樣本集為線性可分的，否則為線性不可分的 。 前饋型神經(jīng)網(wǎng) －單層感知器 ?例子： 2維空間 Txxx ),( 21? T ),(21? )( 2211 ???? xwxwfy希望找到一根直線，把 A, B兩類樣本分開，其分界線為 : 21212 wxwwx ???? 解有無數(shù)個。 單層感只能解決線性可分類的樣本的分類問題。如樣本不能用一個超平面分開，就會產(chǎn)生當年 Minsky等提出的不可分問題。 + + + + + + + + X1 X2 二維輸入感知器及其在狀態(tài)空間中的劃分 前饋型神經(jīng)網(wǎng) ? 多層感知器 ? 多層感知器的輸入輸出關系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為 BP網(wǎng)絡。 )()(. . .)(12011012101iniijjjnjikkvknkvkllxwfxxwfxxwfyv???????????前饋型神經(jīng)網(wǎng) ? 多 層感知器 ? 采用 BP算法學習時要求傳遞函數(shù)為有界連續(xù)可微函數(shù)如 sigmoid函數(shù)。因此，網(wǎng)絡可以用一個連續(xù)的超曲面（而不僅僅是一個超平面）來完成劃分輸入樣本空間的功能。 ? 先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算。 210)(21111? ?????PPmlPlPl ytE No No Y e s Y e s 給定輸入向量和目標輸出 初始化 求隱層、輸出層各單元輸出 求目標值與實際輸出的偏差 e e 滿足要求？ 全部 ei滿足？ 計算隱層單元誤差 求誤差梯度 權值學習 E N D 前饋型神經(jīng)網(wǎng) ? 多層感知器 ? n層網(wǎng)絡可以以 n1個超曲面構成一個符合曲面，彌補了單層感知器的缺陷?；?BP算法，依據(jù)大量樣本通過逐步調(diào)整神經(jīng)元之間的聯(lián)接權重來構造網(wǎng)絡。理論上，多層前饋網(wǎng)絡在不考慮結果規(guī)模的前提下，可以模擬任意的輸出函數(shù)。 前饋型神經(jīng)網(wǎng) ? 特點： 用非線性連續(xù)可微的函數(shù)來分類，結果是一種模糊概念。當輸出 f(u)0時，其輸出不一定為１，而是一個 (有時只是 0)的值，表示所得到的概率為多少。 ? 應用： 各行各業(yè)。是應用最廣泛的神經(jīng)網(wǎng)絡模型之一。 自組織競爭人工神經(jīng)網(wǎng)絡 ? 概述 ? 在實際的神經(jīng)網(wǎng)絡中 ， 存在一種側抑制的現(xiàn)象 。 即一個細胞興奮后 ， 通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制 。這種側抑制在脊髓和海馬中存在 ， 在人眼的視網(wǎng)膜中也存在 。 自組織競爭人工神經(jīng)網(wǎng)絡 ? 概述 ? 這種抑制使神經(jīng)細胞之間出現(xiàn)競爭 ， 一個興奮最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制也強 。 雖然一開始各個神經(jīng)細胞都處于興奮狀態(tài) ， 但最后是那個輸出最大的神經(jīng)細胞 “ 贏 ” ， 而其周圍的神經(jīng)細胞 “ 輸 ” 了 。 ? 勝者為王 。 小貓 自組織競爭人工神經(jīng)網(wǎng)絡 ? 概述 ? 自組織競爭神經(jīng)網(wǎng)絡是在 “ 無師自通 ”的現(xiàn)象的基礎上生成的。 ? 人類等生物的生長過程。 自組織競爭人工神經(jīng)網(wǎng)絡 ? 結構： 層內(nèi)細胞之間互聯(lián)，在各個神經(jīng)細胞中加入自反饋，相互作用，輸出 y為 ： ))(,( ygxwfy ?系統(tǒng)穩(wěn)定時 “ 勝者為王 ” 。此時贏者的權向量與輸入向量的歐氏距離最小。此距離為 ： ),c o s (|||| wxxwxw T ?自組織競爭人工神經(jīng)網(wǎng)絡 ? 自組織映射模型 ? 自組織映射模型是由 Kohonen提出來的 。 模型是以實際神經(jīng)細胞中的一種特征敏感的細胞為模型的 。 各個細胞分別對各種輸入敏感 ， 可以代表各種輸入 ， 反映各種輸入樣本的特征 。 如果在二維空間上描述這些細胞 ， 則 ， 功能相近的細胞聚在一起 ， 靠得比較近 。 功能不同的離得比較遠 。 ? 網(wǎng)絡形成過程： 開始是無序的 ， 當輸入樣本出現(xiàn)后各個細胞反映不同 ， 強者依照 “ 勝者為王 ” 的原則 ， 加強自己的同時對周圍細胞進行壓抑 。 使其對該種樣本更加敏感 ， 也同時對其他種類的樣本更加不敏感 。 此過程的反復過程中 ， 各種不同輸入樣本將會分別映射到不同的細胞上 。 Kohonen網(wǎng)絡的結構 x2 x1 輸入層 輸出層 Nc(t)的形狀和變化情況 Nc(t0) Nc(t1) Nc(t2) Nc(t0) Nc(t1) Nc(t2) 自組織競爭人工神經(jīng)網(wǎng)絡 ?特點： ?網(wǎng)絡中的權值是輸入樣本的記憶。如果輸出神經(jīng)元 j與輸入 n個神經(jīng)元之間的聯(lián)接用wj表示，對應其一類樣本 x輸入，使 yj達到匹配最大。那么 wj通過學習后十分靠近x，因此，以后當 x再次輸入時， yj這個神經(jīng)元必定會興奮， yj是 x的代表。 .......… . 自組織競爭人工神經(jīng)網(wǎng)絡 ........… . ? 網(wǎng)絡學習時對權的調(diào)整不只是對興奮的那個細胞所對應的權進行，而對其周圍 Nc區(qū)域內(nèi)的神經(jīng)元同時進行調(diào)整。因此，對于在 Nc內(nèi)的神經(jīng)元可以代表不只是一個樣本 x，而是與 x比較相近的樣本都可以在 Nc內(nèi)得到反映。因此，這種網(wǎng)絡對于樣本的畸變和噪聲的容差大。（調(diào)整區(qū)域函數(shù)有。） 各種函數(shù) ? 網(wǎng)絡學習的結果是：比較相近的輸入樣本在輸出平面上映射的位置也比較接近。具有自然聚類的效果。 神經(jīng)網(wǎng)絡的應用 ? 該門科學起源于心理學、生理學、生物學、醫(yī)學等科學，研究發(fā)展過程中又涉及到數(shù)學、物理學、計算機科學等領域。然而，它的應用幾乎遍及自然科學的各個領域。其中最多的是模式識別、通訊、控制、信號處理等方面。 神經(jīng)網(wǎng)絡的應用 ? 根據(jù)應用背景選擇網(wǎng)絡結構 ? 排除各種干擾（預處理） ? 根據(jù)網(wǎng)絡結構特點準備輸入樣本 ? 選擇訓練樣本 ? 訓練網(wǎng)絡 前饋網(wǎng)絡字符識別器的網(wǎng)絡結構模型 多分類器合成系統(tǒng)結構圖 Input Output C4 C3 C2 C1 單神經(jīng)網(wǎng)絡反饋系統(tǒng)模型圖 I n p u t O u tp u t F e e d b a c k 多神經(jīng)網(wǎng)絡反饋系統(tǒng)模型圖 F e e db a c k I n p u t O u tp u t 用于大字符集識別的神經(jīng)網(wǎng)絡結構圖 Integration MLP work Generalized MLP work classifier Output 1 Output 2 Output N Input feature Vector X1 Input feature Vector X2 Input feature Vector XL Teachers Supervised learning 1 Supervised learning 2 與人工智能原理的結合 ? 針對神經(jīng)網(wǎng)絡目前存在的問題：網(wǎng)絡結構大不宜實現(xiàn)；學習時間長效率低等。有人提出如下方案： ? 利用不完善的領域理論和帶有噪聲的數(shù)據(jù)進行解釋學習，產(chǎn)生一種近似正確的解釋結構（規(guī)則樹）。利用該規(guī)則樹構造初始神經(jīng)網(wǎng)絡，而后進行 BP算法的訓練，達到減少訓練時間的目的。 ......… . 與人工智能原理的結合 ......… . ? 用符號和聯(lián)接學習相結合的方法來修正非確定性推理規(guī)則集的參數(shù)和結構學習系統(tǒng)，首先，將初始規(guī)則集映射成相應的網(wǎng)絡結構，有規(guī)則的置信度決定聯(lián)接的權值。系統(tǒng)不采用傳統(tǒng)神經(jīng)網(wǎng)絡的輸入和輸出函數(shù)，而是根據(jù)置信度 CF的特點，按照置信度規(guī)則的求和方法，對于輸入激勵 x和 y，相應的輸出函數(shù)為 x+yxy。在網(wǎng)絡的初始結構確定以后利用修改后適于置信度輸出的函數(shù)的誤差反傳算法， CFBP算法進行訓練。 第六章 機器學習 The End. 搜索方法的優(yōu)缺點 ? 數(shù)據(jù)驅動 優(yōu)點：逐步接受示教例子，逐步學習，容易修改規(guī)則集合。 缺點：容易由于個別錯誤例子推出錯誤假設 ? 模型驅動 優(yōu)點：抗干擾性強，用整個例子集對假設進行統(tǒng)計。有錯誤數(shù)據(jù)也不會放棄假設。 缺點：不能逐步學習，有問題時只能重新搜索。