【文章內(nèi)容簡介】 xW1) W2=x(W1W2) ? 這表明兩層線性網(wǎng)絡等效于單層網(wǎng)絡，只是后者的加權矩陣為兩個加權矩陣的乘積。 人工神經(jīng)網(wǎng)絡的拓撲結構 ? 多層網(wǎng)絡 – 多層網(wǎng)絡中，接收輸入信號的層稱為 輸入層 。 ? 它不計入網(wǎng)絡層數(shù) ， 因為它只起著輸入信號緩沖器的作用，沒有處理功能。 – 產(chǎn)生輸出信號的層稱為 輸出層 。 – 除此之外的中間層稱為 隱藏層 （或隱蔽層），它不直接與外部環(huán)境打交道。 ? 隱藏層的層數(shù)可從零到若干層 。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 人工神經(jīng)網(wǎng)絡的 最主要特征之一 是它可以學習。任何一個人工神經(jīng)網(wǎng)絡模型要實現(xiàn)某種功能的操作，就 必須對它進行訓練 ，讓它學會要做的事情，并 把這些知識記憶（存儲）在網(wǎng)絡的加權中。 ? 學習或訓練的實質 就是加權矩陣隨外部激勵（環(huán)境）做自適應的變化 。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 因為學習和訓練的實質是變動加權值，因此很多文獻中學習和訓練的概念是混用的。嚴格來說，兩者是有區(qū)別的， 訓練通常是指調整網(wǎng)絡加權的操作動作和過程 ， 這個過程對網(wǎng)絡來講就是學習。 – 比如舉辦一個訓練班對學生進行某種技能的訓練，對學生來講，它是在該班內(nèi)學習。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 人工神經(jīng)網(wǎng)絡被訓練后，它每加入一組輸入就會產(chǎn)生一組要求的輸出。 – 一組輸入（或輸出）就是所謂的向量或圖形。 ? 訓練就是相繼加入輸入向量，并按預定規(guī)則調整網(wǎng)絡加權。 ? 在進行訓練后，網(wǎng)絡的各加權都收斂到一個確定值，以便每個輸入向量都會產(chǎn)生一個要求的輸出向量。 ? 調整加權所遵循的預定規(guī)則就是 訓練算法 。 – 有指導的訓練 – 無指導的訓練 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 有指導的訓練 – 對有指導的訓練算法，不但需要訓練用的輸入向量，同時還要求與之對應的表示所需要輸出的目標向量。 – 輸入向量 與 對應的目標向量 一起稱作一個 訓練對 。通常訓練一個網(wǎng)絡需要很多訓練對，這些訓練對組成 訓練組 。 – 當加上一個輸入向量時，要計算網(wǎng)絡的實際輸出，并同相應的目標向量做比較，根據(jù)比較結果的誤差，按規(guī)定的算法改變加權。 – 把訓練組中的每個向量對相繼加入，對每個向量都計算誤差并調節(jié)加權， 直到訓練組中的誤差都達到可接受的最低值為止。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 無指導的訓練 – 無指導的訓練不要求有目標向量，網(wǎng)絡通過自身的 “ 經(jīng)歷 ” 來學會某種功能。 ? 人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認為無指導的訓練是在生物上更有道理的訓練算法。 ? 1984年， Kohonen等人提出了無指導的訓練算法。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法 – 目前應用的訓練算法很多，其中有 很大部分是早期的 Hebb算法的變形。 – 人們?nèi)栽谝陨飳W習訓練的模式作為目標，繼續(xù)探索新的算法。 – 可以相信，真正的生物學習訓練過程肯定比目前常用的訓練算法復雜得多。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之一 — Hebb算法 – Hebb算法是由 Donald Hebb提出的一種最早的訓練算法。 ? Hebb認為，如果源和目的神經(jīng)元都被激活（或抑制），它們之間的突觸的強度就會增強。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之一 — Hebb算法 – 人工神經(jīng)網(wǎng)絡中 Hebb算法的簡單描述 ： ? 如果一個處理單元從另一個處理單元接收激勵信號，而且兩者處于相同的激勵電平（數(shù)學上具有相同的符號），那么處理單元之間的加權就應當增強 。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之一 — Hebb算法 – 人工神經(jīng)網(wǎng)絡中 Hebb算法的簡單描述： ? 按數(shù)學表示，就是兩結點的連接權將按兩結點的激勵電平的乘積來改變 其中 ， Wij(n)是第 (n+1)次調節(jié)前從結點 i到結點 j的連接權值 ； Wij(n+1)是第 (n+1)次調節(jié)后從結點 i到結點 j的連接權值 ； η為訓練速率系數(shù) ； yi為結點 i的輸出 ， 并輸入到結點 j； yj為結點 j的輸出 。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之二 — σ 訓練算法 – 這種算法的基本思路是： 按差值（ σ 值）最小準則連續(xù)地修正各連接權的強度。 – 所謂 差值最小 ，就是 指處理單元所要求的輸出與當前實際輸出間的差值，靠調節(jié)各加權以達到最小。 – 該算法也稱為 WiddrowHoff訓練算法或最小均方（ LMS）算法。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之三 — 梯度下降算法 – 這是將數(shù)學上的優(yōu)化方法用于使要求的輸出與實際輸出之差最小。 – 在該方法中，加權的修正量正比于誤差對加權的一階導數(shù)，數(shù)學表示如下 ： 其中， E是描述誤差的誤差函數(shù) ， Wij(n)是結點 i到結點 j的連接權 ， η 為訓練速率系數(shù) 。 ? σ訓練算法是梯度下降算法的一個特例。 ? 該算法收斂到穩(wěn)定點較慢，但它是一種比較有效和普遍應用的訓練算法。 人工神經(jīng)網(wǎng)絡的訓練（學習） ? 訓練算法之四 — 隨機訓練算法 – 該算法 利用了隨機過程 ，用 概率和能量關系 來調節(jié)連接權 。 – 基本思路： 在訓練過程中， 隨機改變一個權值 ， 確定權值改變后產(chǎn)生的最終能量 ，并 按如下準則來確定 是否保留此加權的變化 。 ? 若改變加權后， 人工神經(jīng)網(wǎng)絡的 能量降低了 ，則 保留這一改變 。 ? 若改變加權后 ，能量 沒有降低 ，則 根據(jù)一個 預選的概率分布來保留這一改變。（ 這一步的目的是為了保證人工神經(jīng)網(wǎng)絡能夠獲得全局能量最小點，而不是局部能量最小點。） ? 否則，拒絕這一改變，使權值恢復到原來的值。 – 典型的隨機訓練算法： 模擬退火算法 小結 ? 人工神經(jīng)網(wǎng)絡的原型 —大腦 – 神經(jīng)元的結構 – 神經(jīng)元間的連接（突觸） – 生物神經(jīng)網(wǎng)絡的構成 ? 人工神經(jīng)網(wǎng)絡模型 – 基本單元是人工神經(jīng)元（即處理單元和結點）， 它是生物神經(jīng)元的簡單近似。 – 網(wǎng)絡模型是仿照生物神經(jīng)元的連接結構，將結點組合連接為層并將幾個層組合在一起連接而構成的。 ? 網(wǎng)絡 可分為 單層網(wǎng)絡 和 多層網(wǎng)絡 。 ? 連接 可分為 層內(nèi)橫向連接 、 層間前饋連接 和 反饋連接 。 前饋神經(jīng)網(wǎng)絡 ? 神經(jīng)生理學和神經(jīng)解剖學的研究表明， 大腦中實際的神經(jīng)網(wǎng)絡一般具有層次結構，同時 結點間的連接很多屬于前饋連接 ， 同時這種前饋連接構成的網(wǎng)絡 （前饋網(wǎng)絡）學習過程比較容易 ，所以首先討論前饋網(wǎng)絡模型。 ? 1958年 心理學家 Frank Rosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡模型，將其稱為 感知器 (Perception)。 ? 感知器實例 – 簡單感知器 前饋神經(jīng)網(wǎng)絡 ? 感知器實例 – 兩層感知器 前饋神經(jīng)網(wǎng)絡 ? 在感知器模型中， 輸入向量 x=(x1, x2,…,xN)通過各輸入端點分配給下一層的各結點 ， 這下一層稱為中間層 ，它可以是一層 ， 也可以是多層 ， 最后通過輸出層結點得到輸出向量 y=(y1, y2,…, yn)。 ? 在這種前饋網(wǎng)絡模型中 ， 沒有層內(nèi)聯(lián)接 ，也 沒有隔層的前饋聯(lián)接 ， 每一個結點只能前饋聯(lián)接到其下一層的所有結點。 ? 由于在早期對于含有隱蔽層的多層感知器沒有可行的訓練算法，所以 初期研究的感知器是一層感知器 （或稱簡單感知器，通常簡稱為感知器）。 – 由于多層網(wǎng)絡具有較強的處理功能，因此人們一直致力于尋找多層網(wǎng)絡的訓練算法，直到 Rumelhart等人提出完整的誤差反傳訓練算法（ BP算法），解決了多層網(wǎng)絡的訓練問題。 前饋神經(jīng)網(wǎng)絡 o 1 ? o j ? o m W 1 ○ W j ○ W m ○ ○ ○ ○ ○ x 1 x 2 ? x i ? x n 前饋神經(jīng)網(wǎng)絡 凈輸入： ????niiijj mjxwne t1,...,2,1輸出： )()()( XW Tjn0iiijjjj s gnxws gnTne ts gno ???? ??oj x1 1 xn j=1,2,… ,m Tni ,. .. ,x,. .. x,xx )( 21?XTmi ,. .. , o,. .. o,oo )( 21?OTnjijjjj ,. .. ,w,. .. w,ww )( 21?W (1)設輸入向量 X=(x1 ,x2)T ??????????? 0Txwxw10Txwxw1oj2j21j1j2j21j1j輸出： 則由方程 w1jx1+w2jx2Tj=0 確定了二維平面上的一條分界線。 oj x1 1 x2 單計算節(jié)點感知器 x1 * * * * O * * O * * O O * O x2 * * O O O O (2)設輸入向量 X=(x1,x2,x3)T ?????????????0101332211332211jjjjjjjjj TxwxwxwTxwxwxwo輸出： 則由方程 w1jx1+w2jx2+w3j x3–Tj=0 確定了三維空間上的一個分界平面 。 x2 oj x1 x3 1 x1 * * * * O * * O * * O O * O x2 * * O O