【正文】 第四章 神經網絡基本理論 Beijing University of Posts and Telemunications. 2 人工神經元模型 人工神經元是對人或其它生物的神經元細胞的若干基本特性的抽象和模擬。 ?生物神經元模型 生物神經元主要由細胞體、樹突和軸突組成，樹突和軸突負責傳入和傳出信息，興奮性的沖動沿樹突抵達細胞體，在細胞膜上累積形成興奮性電位；相反，抑制性沖動到達細胞膜則形成抑制性電位。兩種電位進行累加，若代數和超過某個閾值，神經元將產生沖動。 Beijing University of Posts and Telemunications. 3 人工神經元模型 ?人工神經元模型 模仿生物神經元產生沖動的過程，可以建立一個典型的人工神經元數學模型 [x1,…, xn]T為輸入向量， y為輸出， f()為激發(fā)函數， θ為閾值。 Wi為神經元與其它神經元的連接強度，也稱權值。 Beijing University of Posts and Telemunications. 4 人工神經元模型 常用的激發(fā)函數 f 的種類 ： 1）閾值型函數 ??????0x00x1f(x )???????0x10x1f ( x )Beijing University of Posts and Telemunications. 5 人工神經元模型 2）飽和型函數 ?????????????????k1x1k1xk1kxk1x1f ( x)3）雙曲函數 a r c t a n ( x )f ( x ) ?Beijing University of Posts and Telemunications. 6 人工神經元模型 4） S型函數 0β,β x )e x p (1 1f ( x ) ????5）高斯函數 )bxe x p (f ( x ) 22??Beijing University of Posts and Telemunications. 7 神經網絡的定義和特點 神經網絡系統(tǒng)是由大量的神經元，通過廣泛地互相連接而形成的復雜網絡系統(tǒng)。 ? 定義 ? 特點 （ 1） 非線性映射逼近能力。 任意的連續(xù)非線性函數映射關系可由多層神經網絡以任意精度加以逼近。 （ 2） 自適應性和自組織性 。 神經元之間的連接具有多樣性，各神經元之間的連接強度具有可塑性，網絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。 （ 3） 并行處理性。 網絡的各單元可以同時進行類似的處理過程，整個網絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。 （ 4） 分布存儲和容錯性。 信息在神經網絡內的存儲按內容分布于許多神經元中，而且每個神經元存儲多種信息的部分內容。網絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網絡具有容錯性和聯(lián)想記憶功能。 （ 5） 便于集成實現(xiàn)和計算模擬。 神經網絡在結構上是相同神經元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。 Beijing University of Posts and Telemunications. 8 感知器模型 感知器 (Perceptron)是由美國學者 1957年提出的，它是一個具有單層計算單元的神經網絡，并由線性閾值元件組成。 ? 激發(fā)函數為閾值型函數，當其輸入的加權和大于或等于閾值時，輸出為 1，否則為 0或 1。 ?它的權系 W可變，這樣它就可以學習。 ?感知器的結構 Beijing University of Posts and Telemunications. 9 感知器的學習算法 ? 感知器的學習是有導師學習 。 ? 感知器的訓練算法的基本原理來源于著名的Hebb學習律。 ? 基本思想：逐步地將樣本集中的樣本輸入到網絡中 ,根據輸出結果和理想輸出之間的差別來調整網絡中的權矩陣。 Beijing University of Posts and Telemunications. 10 離散單輸出感知器訓練算法 ? 二值網絡：自變量及其函數的值 、 向量分量的值只取 0和 1 ? 權向量： W=(w1， w2， … ， wn) ? 輸入向量： X=(x1， x2， … ， xn) ? 訓練樣本集： ? {(X， Y)|Y為輸入向量 X對應的輸出 } Beijing University of Posts and Telemunications. 11 離散單輸出感知器訓練算法 1. 初始化權向量 W； 2. 重復下列過程 ， 直到訓練完成： 對每個樣本 （ X， Y） ， 重復如下過程： 輸入 X； 計算 o=F（ XW） ； 如果輸出不正確 ， 則 當 o=0時 ， 取 W=W+X， 當 o=1時 ， 取 W=WX Beijing University of Posts and Telemunications. 12 離散多輸出感知器訓練算法 ?樣本集： {(X,Y)|Y為輸入向量 X對應的輸出 } ?輸入向量： X=(x1,x2,… ,xn) ?理想輸出向量： Y=(y1,y2,… ,ym) ?激活函數： F ?權矩陣 W=(wij) ?實際輸出向量： O=(o1,o2,… ,om) o1 多輸出感知器 x1 x2 o2 om xn … … … … 輸入層 輸出層 Beijing University of Posts and Telemunications. 13 離散多輸出感知器訓練算法 W； ， 直到訓練完成： 對每個樣本 （ X， Y） ， 重復如下過程： 輸入 X； 計算 O=F（ XW） ； for j=1 to m do 執(zhí)行如下操作： if oj ≠ yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wijxi Beijing University of Posts and Telemunications. 14 離散多輸出感知器訓練算法 ?算法思想 ：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經元的處理 。 ?第 1步， 權矩陣的初始化 ：一系列小偽隨機數。 Beijing University of Posts and Telemunications. 15 離散多輸出感知器訓練算法 ?第 2步 ， 循環(huán)控制 。 ?方法 1：循環(huán)次數控制法 ：對樣本集執(zhí)行規(guī)定次數的迭代 ?改進 ——分階段迭代控制：設定一個基本的迭代次數 N， 每當訓練完成 N次迭代后 ， 就給出一個中間結果 Beijing University of Posts and Te