【文章內容簡介】 不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設計方法， 經驗參數太多 。 第三十三頁，共八十七頁。 神經網絡學習 ? 學習 (亦稱訓練 )是神經網絡的最重要特征之一 。 神經網絡能夠通過學習 ,改變其內部狀態(tài) ,使輸入 — 輸出呈現出某種規(guī)律性 。 ? 網絡學習一般是利用一組稱為樣本的數據 ,作為網絡的輸入 (和輸出 ),網絡按照一定的訓練規(guī)那么 (又稱學習規(guī)那么或學習算法 )自動調節(jié)神經元之間的連接強度或拓撲結構 ,當網絡的實際輸出滿足期望的要求 ,或者趨于穩(wěn)定時 ,那么認為學習成功 。 34/65 第三十四頁，共八十七頁。 神經網絡學習 權值修正學派認為：神經網絡的學習過程就是不斷調整網絡的連接權值，以獲得期望的輸出的過程。所以，學習規(guī)那么就是權值修正規(guī)那么。 從不同角度考慮，神經網絡的學習方法有不同的分類。表 列出了常見的幾種分類情況。 35/65 第三十五頁，共八十七頁。 神經網絡學習 36/65 表 1 神經網絡學習方法的常見分類 第三十六頁，共八十七頁。 37/65 ANN 人工神經網絡 ? 概述 ? 根本原理 ? 前向型神經網絡 ? BP神經網絡 ? 自組織競爭神經網絡 ? 神經網絡的應用 ? 與人工智能原理的結合 第三十七頁，共八十七頁。 38/65 前向型神經網絡 ? 概述 ? 最初稱之為感知器 。 應用最廣泛的一種人工神經網絡模型 ， 最要原因是有 BP學習方法 。 ? 前向網絡結構是分層的，信息只能從下一層單元傳遞到相應的上一層單元。上層單元與下層所有單元相聯(lián)接 ? 特性函數可以是線性閾值的。 第三十八頁，共八十七頁。 39/65 前向型神經網絡 ? 單層感知器 w 1 θ Y x 1 x n w n Σ 第三十九頁，共八十七頁。 40/65 前向型神經網絡 ? 根本原理和結構極其簡單 ? 在實際應用中很少出現 ? 采用階躍函數作為特性函數 ? ２ 維空間可以明顯表現其分類功能，但Minsky等揭示的致命弱點也一目了然。 ? 關鍵是學習算法及網絡設計方法 ? 輸出 yi等于： )( jjiji xwfy ??? ? (1) ??? ? ?? 01 01)( ?j jj uuuf 　　　　　　　　　　　　其中 第四十頁，共八十七頁。 41/65 前向型神經網絡 －單層感知器 ? 分類方法： ? 如果輸入 x有 k個樣本， xp, p=1, 2, …, k, x Rn ? 當將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能 +1或 1。 ? 把樣本 xp看作為在 n維狀態(tài)空間中的一個矢量，那么 k個樣本為輸入空間的 k個矢量 ? 前向神經網絡就是將 n維空間分為 SA、 SB兩個子空間，其分界線為 n1維的超平面。即用一個單輸出的感知器通過調整參數及來到達 k個樣本的正確劃分。 第四十一頁，共八十七頁。 42/65 前向型神經網 －單層感知器 ),2,1,...2,1(其中, kllBlASxSx BBAA ??????那么存在一組權值 wij使得公式 (1)滿足 : 1,。1, ????? ySxySx BBAA稱樣本集為線性可分的，否那么為線性不可分的。 第四十二頁，共八十七頁。 43/65 前向型神經網 －單層感知器 ? 如： 2維空間 Txxx ),( 21? T ),(21? )( 2211 ???? xwxwfy希望找到一根直線，把 A, B兩類樣本分開，其分界線為 : 21212 wxwwx ???? 解有無數個。 單層感知器只能解決 線性可分類 的樣本的分類問題。 如樣本不能用一個超平面分開，就會產生當年 Minsky等提出的不可分問題 如：異或問題。 第四十三頁，共八十七頁。 44/65 + + + + + + + + X1 X2 二維輸入感知器及其在狀態(tài)空間中的劃分 第四十四頁，共八十七頁。 45/65 前向型神經網絡 －多層感知器 ? 多層感知器 ? 多層感知器的輸入輸出關系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為 BP網絡。 )()(. . .)(12011012101iniijjjnjikkvknkvkllxwfxxwfxxwfyv???????????第四十五頁，共八十七頁。 46/65 前向型神經網絡 －多層感知器 ? 多層感知器 ? 采用 BP算法學習時要求傳遞函數為有界連續(xù)可微函數如 sigmoid函數。因此，網絡可以用一個連續(xù)的超曲面〔而不僅僅是一個超平面〕來完成劃分輸入樣本空間的功能。 ? 先求誤差，用梯度下降的方法求誤差的傳遞。從后往前算。 210)(21111? ?????PPmlPlPl ytE第四十六頁，共八十七頁。 47/65 No No Y e s Y e s 給定輸入向量和目標輸出 初始化 求隱層、輸出層各單元輸出 求目標值與實際輸出的偏差 e e 滿足要求？ 全部 ei滿足？ 計算隱層單元誤差 求誤差梯度 權值學習 E N D 第四十七頁，共八十七頁。 48/65 前向型神經網絡 －多層感知器 ? 多層感知器 ? n層網絡可以以 n1個超曲面構成一個符合曲面，彌補單層感知器的缺陷。 ? 基于 BP算法，依據大量樣本通過逐步調整神經元之間的聯(lián)接權重來構造網絡。 ? 理論上，多層前饋網絡在不考慮結果規(guī)模的前提下，可以模擬任意的輸出函數。 第四十八頁，共八十七頁。 49/65 前向型神經網絡 －多層感知器 ? 特點： ? 用非線性連續(xù)可微函數分類，結果為一種模糊概念。 ? 當輸出 f(u)0時，其輸出不一定為 １ ，而是一個(有時只是 0)的值，表示所得到的概率為多少。 ? 應用最廣泛的神經網絡模型之一。 第四十九頁，共八十七頁。 5