【正文】 躍函數(shù)： ??????0,00,1iii uuv如果把閾值 θi看作為一個特殊的權值，則可改寫為 : 其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數(shù)表達神經(jīng)元的非線性變換能力 ， 常采用 s型函數(shù) : 該函數(shù)的圖像如下圖所示 )(0jnjjii vwfv ???iui euf ???11)( MP模型在發(fā)表時并沒有給出一個學習算法來調(diào)整神經(jīng)元之間的連接權 。 但是 ， 我們可以根據(jù)需要 ， 采用一些常見的算法來調(diào)整神經(jīng)元連接權 ， 以達到學習目的 。 下面介紹的 Hebb學習規(guī)則就是一個常見學習算法 。 Hebb學習規(guī)則 神經(jīng)網(wǎng)絡具有學習功能 。對于人工神經(jīng)網(wǎng)絡而言 ， 這種學習歸結(jié)為神經(jīng)元連接權的變化 。 調(diào)整 wij的原則為：若第 i和第 j個神經(jīng)元同時處于興奮狀態(tài) ， 則它們之間的連接應當加強 ， 即： Δwij＝ αuivj 這一規(guī)則與 “ 條件反射 ” 學說一致 ， 并已得到神經(jīng)細胞學說的證實 。 α是表示學習速率的比例常數(shù) 。 2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡模型 ， 由美國學者 1957年提出 .感知器中第一次引入了學習的概念 ， 使人腦所具備的學習功能在基于符號處理的數(shù)學到了一定程度的模擬 ， 所以引起了廣泛的關注 。 1 簡單感知器 簡單感知器模型實際上仍然是 MP模型的結(jié)構 ， 但是它通過采用監(jiān)督學習來逐步增強模式劃分的能力 ， 達到所謂學習的目的 。 其結(jié)構如下圖所示 感知器處理單元對 n個輸入進行加權和操作v即： 其中 ， Wi為第 i個輸入到處理單元的連接權值 θ為閾值 。 f取階躍函數(shù) . )(0??? ??iniii xwfv 感知器在形式上與 MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權的變化。感知器的連接權定義為可變的，這樣感知器就被賦予了學習的特性。 利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運算。 Y=f(w1x1+w2x2θ) (1)“與 ” 運算。當取 w1＝ w2＝ 1， θ＝ ，上式完成邏輯“與”的運算。 (2)“或 ” 運算， 當取 wl＝ w2＝ 1， θ ＝ ，上式完成邏輯 “ 或 ” 的運算。 (3)“非 ” 運算， 當取 wl=1， w2＝ 0， θ ＝ 1時．完成邏輯“非”的運算。 與許多代數(shù)方程一樣 ， 上式中不等式具有一定的幾何意義 。 對于一個兩輸入的簡單感知器 ， 每個輸入取值為 0和 1， 如上面結(jié)出的邏輯運算 ， 所有輸入樣本有四個 ， 記為 (x1， x2)： (0， 0)， (0， 1)， (1，0)， (1， 1)， 構成了樣本輸入空間 。 例如 ，在二維平面上 ， 對于 “ 或 ” 運算 ， 各個樣本的分布如下圖所示 。 直線 1*x1+1*x20． 5＝ 0 將二維平面分為兩部分 ， 上部為激發(fā)區(qū) (y，=1， 用 ★ 表示 )， 下部為抑制區(qū) (y＝ 0， 用☆ 表示 )。 簡單感知器引入的學習算法稱之為誤差學習算法 。 該算法是神經(jīng)網(wǎng)絡學習中的一個重要算法 ， 并已被廣泛應用 。 現(xiàn)介紹如下： 誤差型學習規(guī)則： (1)選擇一組初始權值 wi(0)。 (2)計算某一輸入模式對應的實際輸出與期 望輸出的誤差 δ (3)如果 δ小于給定值，結(jié)束，否則繼續(xù)。 (4)更新權值 (閾值可視為輸入恒為 1的一個權值 )： Δwi（ t+1） ＝ wi（ t+1） wi（ t） ＝ η[d—y(t)]xi。 式中 η為在區(qū)間 (0， 1)上的一個常數(shù)，稱為學習步長，它的取值與訓練速度和 w收斂的穩(wěn)定性有關； d、 y為神經(jīng)元的期望輸出和實際輸出； xi為神經(jīng)元的第 i個輸入。 (5)返回 (2)，重復，直到對所有訓練樣本模式，網(wǎng)絡輸出均能滿足要求。 對于學習步長 V的取值一般是在 (0， 1)上的一個常數(shù)，但是為了改進收斂速度，也可以采用變步長的方法，這里介紹一個算法如下式： 式中， α為一個正的常量．這里取值為 。所以，對應于輸入 (0， 0)，修正權值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x0 ＝ (1—0)(—1)＝ —， W0(1)=+ Δw0（ 1） == 依次進行。 ))()()((21 21??? ??? ??iii ttxtw同樣的方法，對其他輸入樣本都進行學習。整個學習過程就是某一超平面在樣本空間中幾何位置調(diào)整的過程 。 初值 w1(7)＝ —0． 225． w2(7)＝ —0． 0875， θ(7)＝ —0． 1875。這樣的一組網(wǎng)絡參數(shù)滿足計算要求。 感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學習才能達到收效。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層神經(jīng)元 )，就可構成多層前向網(wǎng)絡，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權。這是因為按感知器的概念，無法給出一個有效的多層感知器學習算法。 上述三層感知器中，有兩層連接權，輸入層與隱層單元間的權值是隨機設置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權是可調(diào)節(jié)的。 對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決 實際上 ， 該三層感知器的輸入層和隱層的連接 ， 就是在模式空間中用兩個超平面去劃分樣本 ， 即用兩條直線： x1+x2= x1十 x 2＝ 。 可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡可實現(xiàn)任何模式分類。但是，多層網(wǎng)絡的權值如何確定，即網(wǎng)絡如何進行學習，在感知器上沒有得到解決：當年 Minsky等人就是因為對于非線性空間的多層感知器學習算法未能得到解決，使其對神經(jīng)網(wǎng)絡的研究作出悲觀的結(jié)論。 感知器收斂定理 對于一個 N個輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個輸入樣本 x，要么屬于某一區(qū)域 F+，要么不屬于這一區(qū)域，記為 F—。 F+， F—兩類樣本構成了整個線性可分樣本空間。 [定理 ] 如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學習算法經(jīng)過有限次迭代后，可收斂到正確的權值或權向量。 假設樣本空間 F是單位長度樣本輸入向量的集合，若存在一個單位權向量 w*。和一個較小的正數(shù) δ＞ 0，使得 w*x= δ對所有的樣本輸入 x都成立，則權向量 w按下述學習過程僅需有限步就可收斂。 因此，感知器學習迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學習算法可收斂到正確的權向量 w*。對于上述證明，要說明的是：正數(shù) δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學習過程將出現(xiàn)振蕩，得不到正確的結(jié)果。 [定理 ] 假定隱含層單元可以根據(jù)需要自由設置，那么用雙隱層的感知器可以實現(xiàn)任意的二值邏輯函數(shù) (證明略 )。 下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關系。