【正文】 函數： ??????0,00,1iii uuv如果把閾值 θi看作為一個特殊的權值，則可改寫為 : 其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數表達神經元的非線性變換能力 ， 常采用 s型函數 : 該函數的圖像如下圖所示 )(0jnjjii vwfv ???iui euf ???11)( MP模型在發(fā)表時并沒有給出一個學習算法來調整神經元之間的連接權 。 但是 ， 我們可以根據需要 ， 采用一些常見的算法來調整神經元連接權 ， 以達到學習目的 。 下面介紹的 Hebb學習規(guī)則就是一個常見學習算法 。 Hebb學習規(guī)則 神經網絡具有學習功能 。對于人工神經網絡而言 ， 這種學習歸結為神經元連接權的變化 。 調整 wij的原則為：若第 i和第 j個神經元同時處于興奮狀態(tài) ， 則它們之間的連接應當加強 ， 即： Δwij＝ αuivj 這一規(guī)則與 “ 條件反射 ” 學說一致 ， 并已得到神經細胞學說的證實 。 α是表示學習速率的比例常數 。 2 感知器模型 感知器是一種早期的神經網絡模型 ， 由美國學者 1957年提出 .感知器中第一次引入了學習的概念 ， 使人腦所具備的學習功能在基于符號處理的數學到了一定程度的模擬 ， 所以引起了廣泛的關注 。 1 簡單感知器 簡單感知器模型實際上仍然是 MP模型的結構 ， 但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力 ， 達到所謂學習的目的 。 其結構如下圖所示 感知器處理單元對 n個輸入進行加權和操作v即： 其中 ， Wi為第 i個輸入到處理單元的連接權值 θ為閾值 。 f取階躍函數 . )(0??? ??iniii xwfv 感知器在形式上與 MP模型差不多，它們之間的區(qū)別在于神經元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。 利用簡單感知器可以實現(xiàn)邏輯代數中的一些運算。 Y=f(w1x1+w2x2θ) (1)“與 ” 運算。當取 w1＝ w2＝ 1， θ＝ ，上式完成邏輯“與”的運算。 (2)“或 ” 運算， 當取 wl＝ w2＝ 1， θ ＝ ，上式完成邏輯 “ 或 ” 的運算。 (3)“非 ” 運算， 當取 wl=1， w2＝ 0， θ ＝ 1時．完成邏輯“非”的運算。 與許多代數方程一樣 ， 上式中不等式具有一定的幾何意義 。 對于一個兩輸入的簡單感知器 ， 每個輸入取值為 0和 1， 如上面結出的邏輯運算 ， 所有輸入樣本有四個 ， 記為 (x1， x2)： (0， 0)， (0， 1)， (1，0)， (1， 1)， 構成了樣本輸入空間 。 例如 ，在二維平面上 ， 對于 “ 或 ” 運算 ， 各個樣本的分布如下圖所示 。 直線 1*x1+1*x20． 5＝ 0 將二維平面分為兩部分 ， 上部為激發(fā)區(qū) (y，=1， 用 ★ 表示 )， 下部為抑制區(qū) (y＝ 0， 用☆ 表示 )。 簡單感知器引入的學習算法稱之為誤差學習算法 。 該算法是神經網絡學習中的一個重要算法 ， 并已被廣泛應用 。 現(xiàn)介紹如下： 誤差型學習規(guī)則： (1)選擇一組初始權值 wi(0)。 (2)計算某一輸入模式對應的實際輸出與期 望輸出的誤差 δ (3)如果 δ小于給定值，結束，否則繼續(xù)。 (4)更新權值 (閾值可視為輸入恒為 1的一個權值 )： Δwi（ t+1） ＝ wi（ t+1） wi（ t） ＝ η[d—y(t)]xi。 式中 η為在區(qū)間 (0， 1)上的一個常數，稱為學習步長，它的取值與訓練速度和 w收斂的穩(wěn)定性有關； d、 y為神經元的期望輸出和實際輸出； xi為神經元的第 i個輸入。 (5)返回 (2)，重復，直到對所有訓練樣本模式，網絡輸出均能滿足要求。 對于學習步長 V的取值一般是在 (0， 1)上的一個常數，但是為了改進收斂速度，也可以采用變步長的方法，這里介紹一個算法如下式： 式中， α為一個正的常量．這里取值為 。所以，對應于輸入 (0， 0)，修正權值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x0 ＝ (1—0)(—1)＝ —， W0(1)=+ Δw0（ 1） == 依次進行。 ))()()((21 21??? ??? ??iii ttxtw同樣的方法，對其他輸入樣本都進行學習。整個學習過程就是某一超平面在樣本空間中幾何位置調整的過程 。 初值 w1(7)＝ —0． 225． w2(7)＝ —0． 0875， θ(7)＝ —0． 1875。這樣的一組網絡參數滿足計算要求。 感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學習才能達到收效。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經元 (隱層神經元 )，就可構成多層前向網絡，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調節(jié)一層的連接權。這是因為按感知器的概念，無法給出一個有效的多層感知器學習算法。 上述三層感知器中，有兩層連接權，輸入層與隱層單元間的權值是隨機設置的固定值，不被調節(jié)；輸出層與隱層間的連接權是可調節(jié)的。 對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決 實際上 ， 該三層感知器的輸入層和隱層的連接 ， 就是在模式空間中用兩個超平面去劃分樣本 ， 即用兩條直線： x1+x2= x1十 x 2＝ 。 可以證明，只要隱層和隱層單元數足夠多，多層感知器網絡可實現(xiàn)任何模式分類。但是，多層網絡的權值如何確定，即網絡如何進行學習，在感知器上沒有得到解決：當年 Minsky等人就是因為對于非線性空間的多層感知器學習算法未能得到解決，使其對神經網絡的研究作出悲觀的結論。 感知器收斂定理 對于一個 N個輸入的感知器，如果樣本輸入函數是線性可分的，那么對任意給定的一個輸入樣本 x，要么屬于某一區(qū)域 F+，要么不屬于這一區(qū)域，記為 F—。 F+， F—兩類樣本構成了整個線性可分樣本空間。 [定理 ] 如果樣本輸入函數是線性可分的，那么下面的感知器學習算法經過有限次迭代后，可收斂到正確的權值或權向量。 假設樣本空間 F是單位長度樣本輸入向量的集合，若存在一個單位權向量 w*。和一個較小的正數 δ＞ 0，使得 w*x= δ對所有的樣本輸入 x都成立，則權向量 w按下述學習過程僅需有限步就可收斂。 因此，感知器學習迭代次數是一有限數，經過有限次迭代，學習算法可收斂到正確的權向量 w*。對于上述證明，要說明的是：正數 δ越小，迭代次數越多：其次，若樣本輸入函數不是線性可分的，則學習過程將出現(xiàn)振蕩，得不到正確的結果。 [定理 ] 假定隱含層單元可以根據需要自由設置，那么用雙隱層的感知器可以實現(xiàn)任意的二值邏輯函數 (證明略 )。 下圖給出了感知器的層數與模式劃分區(qū)域的關系。