【正文】 躍函數(shù)： ??????0,00,1iii uuv如果把閾值 θi看作為一個特殊的權(quán)值，則可改寫為 : 其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力 ， 常采用 s型函數(shù) : 該函數(shù)的圖像如下圖所示 )(0jnjjii vwfv ???iui euf ???11)( MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán) 。 但是 ， 我們可以根據(jù)需要 ， 采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán) ， 以達(dá)到學(xué)習(xí)目的 。 下面介紹的 Hebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法 。 Hebb學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能 。對于人工神經(jīng)網(wǎng)絡(luò)而言 ， 這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化 。 調(diào)整 wij的原則為：若第 i和第 j個神經(jīng)元同時處于興奮狀態(tài) ， 則它們之間的連接應(yīng)當(dāng)加強(qiáng) ， 即： Δwij＝ αuivj 這一規(guī)則與 “ 條件反射 ” 學(xué)說一致 ， 并已得到神經(jīng)細(xì)胞學(xué)說的證實 。 α是表示學(xué)習(xí)速率的比例常數(shù) 。 2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型 ， 由美國學(xué)者 1957年提出 .感知器中第一次引入了學(xué)習(xí)的概念 ， 使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬 ， 所以引起了廣泛的關(guān)注 。 1 簡單感知器 簡單感知器模型實際上仍然是 MP模型的結(jié)構(gòu) ， 但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力 ， 達(dá)到所謂學(xué)習(xí)的目的 。 其結(jié)構(gòu)如下圖所示 感知器處理單元對 n個輸入進(jìn)行加權(quán)和操作v即： 其中 ， Wi為第 i個輸入到處理單元的連接權(quán)值 θ為閾值 。 f取階躍函數(shù) . )(0??? ??iniii xwfv 感知器在形式上與 MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。 利用簡單感知器可以實現(xiàn)邏輯代數(shù)中的一些運(yùn)算。 Y=f(w1x1+w2x2θ) (1)“與 ” 運(yùn)算。當(dāng)取 w1＝ w2＝ 1， θ＝ ，上式完成邏輯“與”的運(yùn)算。 (2)“或 ” 運(yùn)算， 當(dāng)取 wl＝ w2＝ 1， θ ＝ ，上式完成邏輯 “ 或 ” 的運(yùn)算。 (3)“非 ” 運(yùn)算， 當(dāng)取 wl=1， w2＝ 0， θ ＝ 1時．完成邏輯“非”的運(yùn)算。 與許多代數(shù)方程一樣 ， 上式中不等式具有一定的幾何意義 。 對于一個兩輸入的簡單感知器 ， 每個輸入取值為 0和 1， 如上面結(jié)出的邏輯運(yùn)算 ， 所有輸入樣本有四個 ， 記為 (x1， x2)： (0， 0)， (0， 1)， (1，0)， (1， 1)， 構(gòu)成了樣本輸入空間 。 例如 ，在二維平面上 ， 對于 “ 或 ” 運(yùn)算 ， 各個樣本的分布如下圖所示 。 直線 1*x1+1*x20． 5＝ 0 將二維平面分為兩部分 ， 上部為激發(fā)區(qū) (y，=1， 用 ★ 表示 )， 下部為抑制區(qū) (y＝ 0， 用☆ 表示 )。 簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法 。 該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個重要算法 ， 并已被廣泛應(yīng)用 。 現(xiàn)介紹如下： 誤差型學(xué)習(xí)規(guī)則： (1)選擇一組初始權(quán)值 wi(0)。 (2)計算某一輸入模式對應(yīng)的實際輸出與期 望輸出的誤差 δ (3)如果 δ小于給定值，結(jié)束，否則繼續(xù)。 (4)更新權(quán)值 (閾值可視為輸入恒為 1的一個權(quán)值 )： Δwi（ t+1） ＝ wi（ t+1） wi（ t） ＝ η[d—y(t)]xi。 式中 η為在區(qū)間 (0， 1)上的一個常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和 w收斂的穩(wěn)定性有關(guān)； d、 y為神經(jīng)元的期望輸出和實際輸出； xi為神經(jīng)元的第 i個輸入。 (5)返回 (2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。 對于學(xué)習(xí)步長 V的取值一般是在 (0， 1)上的一個常數(shù)，但是為了改進(jìn)收斂速度，也可以采用變步長的方法，這里介紹一個算法如下式： 式中， α為一個正的常量．這里取值為 。所以，對應(yīng)于輸入 (0， 0)，修正權(quán)值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x0 ＝ (1—0)(—1)＝ —， W0(1)=+ Δw0（ 1） == 依次進(jìn)行。 ))()()((21 21??? ??? ??iii ttxtw同樣的方法，對其他輸入樣本都進(jìn)行學(xué)習(xí)。整個學(xué)習(xí)過程就是某一超平面在樣本空間中幾何位置調(diào)整的過程 。 初值 w1(7)＝ —0． 225． w2(7)＝ —0． 0875， θ(7)＝ —0． 1875。這樣的一組網(wǎng)絡(luò)參數(shù)滿足計算要求。 感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學(xué)習(xí)才能達(dá)到收效。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層神經(jīng)元 )，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因為按感知器的概念，無法給出一個有效的多層感知器學(xué)習(xí)算法。 上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。 對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決 實際上 ， 該三層感知器的輸入層和隱層的連接 ， 就是在模式空間中用兩個超平面去劃分樣本 ， 即用兩條直線： x1+x2= x1十 x 2＝ 。 可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實現(xiàn)任何模式分類。但是，多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進(jìn)行學(xué)習(xí)，在感知器上沒有得到解決：當(dāng)年 Minsky等人就是因為對于非線性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論。 感知器收斂定理 對于一個 N個輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個輸入樣本 x，要么屬于某一區(qū)域 F+，要么不屬于這一區(qū)域，記為 F—。 F+， F—兩類樣本構(gòu)成了整個線性可分樣本空間。 [定理 ] 如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。 假設(shè)樣本空間 F是單位長度樣本輸入向量的集合，若存在一個單位權(quán)向量 w*。和一個較小的正數(shù) δ＞ 0，使得 w*x= δ對所有的樣本輸入 x都成立，則權(quán)向量 w按下述學(xué)習(xí)過程僅需有限步就可收斂。 因此，感知器學(xué)習(xí)迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學(xué)習(xí)算法可收斂到正確的權(quán)向量 w*。對于上述證明，要說明的是：正數(shù) δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學(xué)習(xí)過程將出現(xiàn)振蕩，得不到正確的結(jié)果。 [定理 ] 假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實現(xiàn)任意的二值邏輯函數(shù) (證明略 )。 下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。