【正文】 vj—— 代表神經(jīng)元 j的輸出，即是神經(jīng)元 i的一個輸入； θi—— 代表神經(jīng)元 i的閾值。 函數(shù) f表達(dá)了神經(jīng)元的輸入輸出特性。在 MP模型中， f定義為階躍函數(shù)： 如果把閾值 θi看作為一個特殊的權(quán)值，則可改寫為 :其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力，常采用 s型函數(shù) :該函數(shù)的圖像如下圖所示 MP模型在發(fā)表時并沒有給出一個學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán)。但是，我們可以根據(jù)需要，采用一些常見的算法來調(diào)整神經(jīng)元連接權(quán)，以達(dá)到學(xué)習(xí)目的。下面介紹的 Hebb學(xué)習(xí)規(guī)則就是一個常見學(xué)習(xí)算法。 Hebb學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。對于人工神經(jīng)網(wǎng)絡(luò)而言，這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化。調(diào)整 wij的原則為：若第 i和第 j個神經(jīng)元同時處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即： Δwij＝ αuivj 這一規(guī)則與 “條件反射 ”學(xué)說一致，并已得到神經(jīng)細(xì)胞學(xué)說的證實(shí)。 α是表示學(xué)習(xí)速率的比例常數(shù)。 2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型，由美國學(xué)者 1957年提出 .感知器中第一次引入了學(xué)習(xí)的概念，使人腦所具備的學(xué)習(xí)功能在基于符號處理的數(shù)學(xué)到了一定程度的模擬，所以引起了廣泛的關(guān)注。1 簡單感知器2 簡單感知器模型實(shí)際上仍然是 MP模型的結(jié)構(gòu)，但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力，達(dá)到所謂學(xué)習(xí)的目的。2. n個輸入進(jìn)行加權(quán)和操作 v即：， Wi為第 i個輸入到處理單元的連接權(quán)值 θ為閾值。 f取階躍函數(shù) . 感知器在形式上與 MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。 利用簡單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。 Y=f(w1x1+w2x2θ)(1)“與 ”運(yùn)算。當(dāng)取 w1＝ w2＝ 1， θ＝ ，上式完成邏輯 “與 ”的運(yùn)算。 (2)“或 ”運(yùn)算， 當(dāng)取 wl＝ w2＝ 1， θ ＝ ，上式完成邏輯 “或 ”的運(yùn)算。(3)“非 ”運(yùn)算，當(dāng)取 wl=1， w2＝ 0， θ ＝ 1時．完成邏輯 “非 ”的運(yùn)算。 與許多代數(shù)方程一樣，上式中不等式具有一定的幾何意義。對于一個兩輸入的簡單感知器，每個輸入取值為 0和 1，如上面結(jié)出的邏輯運(yùn)算，所有輸入樣本有四個，記為 (x1， x2)： (0， 0)， (0， 1)， (1，0)， (1， 1)，構(gòu)成了樣本輸入空間。例如，在二維平面上，對于 “或 ”運(yùn)算，各個樣本的分布如下圖所示。直線 1*x1+1*x20． 5＝ 0將二維平面分為兩部分，上部為激發(fā)區(qū) (y， =1，用 ★ 表示 )，下部為抑制區(qū) (y＝ 0，用 ☆ 表示 )。 簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個重要算法，并已被廣泛應(yīng)用。現(xiàn)介紹如下： 誤差型學(xué)習(xí)規(guī)則： (1)選擇一組初始權(quán)值 wi(0)。 (2)計算某一輸入模式對應(yīng)的實(shí)際輸出與期望輸出的誤差 δ(3)如果 δ小于給定值，結(jié)束，否則繼續(xù)。 (4)更新權(quán)值 (閾值可視為輸入恒為 1的一個權(quán)值 )： Δwi（ t+1） ＝ wi（ t+1） wi（ t） ＝ η[d—y(t)]x i。 式中 η為在區(qū)間 (0， 1)上的一個常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和 w收斂的穩(wěn)定性有關(guān)； d、 y為神經(jīng)元的期望輸出和實(shí)際輸出； xi為神經(jīng)元的第 i個輸入。 (5)返回 (2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。 對于學(xué)習(xí)步長 V的取值一般是在 (0， 1)上的一個常數(shù)，但是為了改進(jìn)收斂速度，也可以采用變步長的方法，這里介紹一個算法如下式：式中， α為一個正的常量．這里取值為 。所以，對應(yīng)于輸入 (0， 0)，修正權(quán)值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x 0 ＝ (1—0)(—1) ＝ — ， W0(1)=+ Δw0（ 1） ==依次進(jìn)行。同樣的方法，對其他輸入樣本都進(jìn)行學(xué)習(xí)。整個學(xué)習(xí)過程就是某一超平面在樣本空間中幾何位置調(diào)整的過程 。初值w1(7)＝ —0 ． 225． w2(7)＝ —0 ． 0875， θ(7)＝ —0 ． 1875。這樣的一組網(wǎng)絡(luò)參數(shù)滿足計算要求。 感知器對線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長的離線學(xué)習(xí)才能達(dá)到收效。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層神經(jīng)元 )，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因?yàn)榘锤兄鞯母拍?，無法給出一個有效的多層感知器學(xué)習(xí)算法。上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。對于上面述及的異或問題，用一個簡單的三層感知器就可得到解決 實(shí)際上，該三層感知器的輸入層和隱層的連接，就是在模式空間中用兩個超平面去劃分樣本，即用兩條直線： x1+x2= x1十 x 2＝ 。 可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實(shí)現(xiàn)任何模式分類。但是，多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進(jìn)行學(xué)習(xí)，在感知器上沒有得到解決：當(dāng)年 Minsky等人就是因?yàn)閷τ诜蔷€性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論。 感知器收斂定理 對于一個 N個輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對任意給定的一個輸入樣本 x，要么屬于某一區(qū)域 F+，要么不屬于這一區(qū)域，記為 F— 。 F+， F— 兩類樣本構(gòu)成了整個線性可分樣本空間。 [定理 ] 如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。 假設(shè)樣本空間 F是單位長度樣本輸入向量的集合，若存在一個單位權(quán)向量 w*。和一個較小的正數(shù) δ＞ 0，使得 w*x= δ對所有的樣本輸入 x都成立，則權(quán)向量 w按下述學(xué)習(xí)過程僅需有限步就可收斂。 因此，感知器學(xué)習(xí)迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學(xué)習(xí)算法可收斂到正確的權(quán)向量 w*。對于上述證明，要說明的是：正數(shù) δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學(xué)習(xí)過程將出現(xiàn)振蕩，得不到正確的結(jié)果。 [定理 ] 假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實(shí)現(xiàn)任意的二值邏輯函數(shù) (證明略 )。下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。演講完畢，謝謝觀看！