【正文】 得到 輸出信號及目標信號曲線 所圖 321 所示 圖 321 輸出信號及目標信號曲線 最后 得到 測試網(wǎng)絡輸出結果 ，其識別情況 所圖 322 所示。輸出信號及目標信號 39。)。 ylabel(39。時間 39。)。 plot(Time,cat(2,a1{:}),Time,cat(2,Ts{:}),39。 %開始測試網(wǎng)絡性能 a1 = sim(,Ps)。 %訓練網(wǎng)絡 = 300。traingdx39。purelin39。tansig39。 % 第二層一個輸出神經(jīng)元 S1=8。將第一層設計 8 個遞歸神經(jīng)元，設置訓練時間步長為 800 時間單位，采用 traingdx 函數(shù)來學習速率，從而有： %開始生成網(wǎng)絡 R=1。 圖 320 輸入信號和目標信號的曲線 (2)網(wǎng)絡初始化，訓練仿真并測試網(wǎng)絡 ，得出識別結果。)。 hold on plot(x,p2,39。r39。 p2=sin(x)*2。 %繪制信號波形 p1 和 p2 x=1::40。 Ts=con2seq(t)。 t=[t1 t2 t1 t2]。 t2=ones(1,20)*2。 p2=sin(1:20)*2。 Time=1:80。首先我們定義兩個正弦波形函數(shù)，一個振幅為 1，另外一個為 2，將兩組波形組合一個序列，需要使用函數(shù) con2seq 來把它們從矩陣信號轉化成序 列信號 。 在 MATLAB 神經(jīng)網(wǎng)絡工具箱中， Elman 網(wǎng)絡的設計函數(shù)是 newelm， Hopfield 網(wǎng)絡的設計函數(shù)是 newhop。再有由于其輸入表示信號的空間信息，而反饋支路是一個延時單元，反映信號的時間信息，這樣 Elman網(wǎng)絡就可以在時間和空間進行模式識別。 Elman 網(wǎng)絡和 Hopfield 網(wǎng)絡是最具典型的反 饋型神經(jīng)網(wǎng)絡。 實驗具體代碼見附錄四 2。 a=sim(,p) 同時顯示標記輸入樣本向量 *與訓練后網(wǎng)絡競爭層權值 0 分布的情況 如圖 318 所示 ： 圖 318 輸入樣本向量 *與訓練后網(wǎng)絡競爭層權值 o 分布的情況 由此得到訓練后網(wǎng)絡競爭層的權值 和網(wǎng)絡測試結果為 ： TRAINR, Epoch 0/25 TRAINR, Epoch 25/25 TRAINR, Maximum epoch reached. w = a = (1,1) 1 (3)實驗分析與總結 自組織競爭神經(jīng)網(wǎng)絡對給定的輸入向量能夠進行正確分類，也能夠?qū)W習輸入向量的分布。 p = [ 。)。 ylabel(39。p(1)39。)。 title(39。)。 %得到訓練后的網(wǎng)絡權值，并在圖上繪出 w={1} plot(w(:,1),w(:,2),39。 =init()。 同時顯示輸入樣本向量與網(wǎng)絡初始化權值分布的情況 如圖 317 所示 ： 圖 317 輸入樣本向量與網(wǎng)絡初始化權值分布的情況 由此得到網(wǎng)絡初始化權值為： w = 接下來就是對網(wǎng)絡訓練，可以根據(jù)樣本向 量的分布情況調(diào)整網(wǎng)絡的權值，使用 train函數(shù)來對網(wǎng)絡訓練，這里我們設置最大訓練步數(shù) 25。)。 plot(P(1,:),P(2,:),39。)。 ylabel(39。p(1)39。)。 title(39。)。 plot(w(:,1),w(:,2),39。)。 plot(P(1,:),P(2,:),39。0 1],5,)。 (2)建立網(wǎng)絡，初始化并訓練網(wǎng) 絡 、最后進行網(wǎng)絡測試 首先使用 newc 建立自組織競爭神經(jīng)網(wǎng)絡，同時設置好網(wǎng)絡的神經(jīng)元數(shù)目以及學習速率 ，那么就可以對網(wǎng)絡初始化。)。 ylabel(39。p(1)39。)。 title(39。r*39。 % 每 一類的標準差 P = nngenc(X,clusters,points,dev)。 % 指定類別數(shù)目 points = 20。 0 1]。 在本問題中，我們不妨假定指定類中心范圍為 0～ 1，類別數(shù)目為 5，每一個類別有 20 個樣本點，每一類樣本的標準差為 。使用 nngenc 函數(shù)來產(chǎn)生一定類別的樣本向量。 自組織競爭神經(jīng)網(wǎng)絡 設計模式分類器 的應用 (1)問題描述 通過了解自組織競爭神經(jīng)網(wǎng)絡特征，可以清楚明白它適合在模式分類中應用．現(xiàn)在給網(wǎng)絡輸入一些類別的樣本向量，經(jīng)過訓練后，網(wǎng)絡調(diào)整權值。此外還有一種抑制的方法，即每個神經(jīng)元只抑制與自己鄰近的神經(jīng)元，而對遠離自己的神經(jīng)元則不抑制。 它的基本思想就是網(wǎng)絡競爭層各個神經(jīng)元競爭對輸入模式的響應機會，最后僅有一個神經(jīng)元成為競爭的獲勝者， 并對那些與獲勝神經(jīng)元有關的各個連接權值朝向更有利于競爭的方向調(diào)整，獲勝神經(jīng)元表示輸入模式的分類。輸入層和競爭層之間的神經(jīng)元實現(xiàn)雙向連接，同時競爭層各個神經(jīng)元之間還存在橫向連接。當引入自組織映射網(wǎng)絡進行嚴格的指定目標分類結果 時 ，網(wǎng)絡 則 可以完成對輸入向量模式的準確分類。 基于自組織競爭神經(jīng)網(wǎng)絡的模式識別 自組織競爭神經(jīng)網(wǎng)絡是一類無監(jiān)督競爭型學習的神經(jīng)網(wǎng)絡模型， 具有自組織能力的神經(jīng)網(wǎng)絡， 可以對樣本空間進行學習或仿真，并對自身的網(wǎng)絡結構進行適當?shù)卣{(diào)整修正。 tdata=etime(clock,js) y=sim(,p)。 js=clock。 ts=[1 1 2 2 1 1 1 2 1]。 p=[0 0 0 1 1 1 1 1 1。 建立網(wǎng)絡仿真訓練，對待測試樣本進行分類，得到識別結果。創(chuàng)建概率神經(jīng)網(wǎng)絡的函數(shù)為 newpnn。 (5)當均方 誤差未達到規(guī)定的誤差性能指標，且神經(jīng)元的數(shù)目未達到規(guī)定的上限時，重復以上步驟，直到網(wǎng)絡的均方誤差或神經(jīng)元數(shù)目達到目標值為止。 (2)找到誤差最大的一個輸入樣本。下面主要說明newrb 創(chuàng)建徑向基函數(shù)神經(jīng)網(wǎng)絡的過程。 輸出層， 即 線性網(wǎng)絡層， 對隱層神經(jīng)元輸出的信息進行線性加權后輸出，得到整個神經(jīng)網(wǎng)絡的輸出結果 ， 如圖 314 所示。 徑向基函數(shù)神經(jīng)網(wǎng)絡模型 簡述 徑向基函數(shù)神經(jīng)網(wǎng)絡是一種前饋反向傳播網(wǎng)絡， 輸入層由信號源結點構成，起到數(shù)據(jù)信息的傳遞作用。它對于每個訓練樣品，只要對少量的權值和閥值進行修正，這樣就提高了訓練速度。 實驗具體代碼見附錄四 1。 結果 得到含噪聲的輸入字母和網(wǎng)絡識別后的輸出字母圖，可以看出設計的網(wǎng) 絡能正確識別出相應的字母。 圖 33 識別結果錯誤率模擬曲線 由圖 33 曲線顯示，實線是經(jīng)過噪聲信號和非噪聲信號訓練后的網(wǎng)絡，具有很高的可靠性性能。 plotchar(alphabet(:,answer))。 answer=find(pet(A2)==1)。 A2=sim(,noisyJ)。 figure。)。 ylabel(39。噪聲指標 39。)。 title(39。39。 errors2(i)=errors2(i)+sum(sum(abs(AAnewT)))/2。 % 測試經(jīng)過誤差訓練的網(wǎng)絡 Anew=sim(new,P)。 % 測試未經(jīng)誤差訓練的網(wǎng)絡 AA=pet(A)。 for j=1:max_test P=alphabet+randn(35,26)*noiselevel(i)。 errors1(i)=0。 T=targets。 %測試網(wǎng)絡的容錯性 noise_range=0::。 為了測試設計的神經(jīng)網(wǎng)絡模式識別系統(tǒng)的可靠性，用數(shù)百個加入不同數(shù)量噪聲的字母表向量作為輸入，來觀察其輸出結果，并對系統(tǒng)性能做出合理地評估。 =。 =50。sse39。 T=targets。 end 最后為了保證網(wǎng)絡總是能夠正確的對理想輸入信號進行分類，需要再次對無噪聲信號進行訓練。 pause for pass=1:20 P=[alphabet,alphabet,... (alphabet+randn(R,Q)*),... (alphabet+randn(R,Q)*)]。 =300。 %網(wǎng)絡訓練參數(shù)設置 ,并對有誤差輸入向量進行訓練 new=。 結果訓練誤差變化情況如圖 32 所示，得到其曲線能在 比較快的時間內(nèi)達到網(wǎng)絡訓練指標性能。 =。 =20。sse39。 其中在 matlab 神經(jīng)網(wǎng)絡工具箱中有 prprob 函數(shù) 為 ： help prprob PRPROB Character recognition problem definition [ALHABET,TARGETS] = PRPROB() Returns: ALPHABET 35x26 matrix of 5x7 bit maps for each letter. TARGETS 26x26 target vectors. 接下來，為了使得產(chǎn)生的網(wǎng)絡對輸入向量有一定的容錯能力，可以通過使用理想的信號和帶有噪聲的信號對網(wǎng)絡進行訓練，這樣使用 20 組理想信號和帶有噪聲的信號對網(wǎng) 絡訓練，開始使用無噪聲的信號訓練，當訓練時間達到 5000 個時間單位或者網(wǎng)絡的平方和誤差小于 時停止網(wǎng)絡的訓練。 {2}={2}*。)。},39。 39。 = newff(minmax(P),[S1 S2],{39。 S1=10。 [R,Q]=size(alphabet)。那么設計好訓練網(wǎng)絡后，就是要使其輸出向量中正確的位置值為 1，其余為 0，但是有非線性因素和噪聲信號的干擾，網(wǎng)絡可能就不是那么精確輸出值為 1 或 0，這就需要在訓練之后，引入有噪聲的字母信號輸入網(wǎng)絡，就可以實現(xiàn)我們的目標值。 (2)設計 BP 網(wǎng)絡 ，初始化 并訓練網(wǎng)絡 建立一個有兩層結構的 logsig 網(wǎng)絡，它的輸出范圍在 0－ 1 間，同時需要 35 個輸入，在輸出層需要 26 個神經(jīng)元。向量代表某個字母，則對應位置的元素值為 1， 而其他位置對應的值為 0。目標向量也可以被定義成一個變量 targets(目標集 )。 神經(jīng)網(wǎng)絡 應用于字符識別 (1)問題描述 設計一個 BP 網(wǎng)絡并訓練它來識別字母表中的 26 個字母，最后結果是對應每個字母有一個 5 7 的布爾量網(wǎng)格，但是實際得到的字母網(wǎng)絡圖存在一些非線性因素或者噪聲干擾，因此設計出來的網(wǎng)絡不僅要 能夠?qū)硐氲妮斎胂蛄窟M行很好的分類，也要對誤差的輸入向量具有合理的準確度量。 執(zhí)行結果是創(chuàng)建一個 N 層的 BP 神經(jīng)網(wǎng)絡。前饋型神經(jīng)網(wǎng)絡的表現(xiàn)函數(shù)缺省為網(wǎng)絡輸出 a和期望輸出向量 T 的均方差 mse。 無論是函數(shù)逼近還是模式識別，都必須對神經(jīng)網(wǎng)絡訓練。要是在訓練過程中合理地修改學習速率，可能會避開一些缺陷，從而增加穩(wěn)定性，提高學習速度和精度。 其 訓練函數(shù) 調(diào)整參數(shù) ， 詳見附錄三 。 ① 有動量的梯度下降法 在神經(jīng)網(wǎng)絡工具箱中， traindm 函數(shù)采用了有動量的梯度下降法。 所謂啟發(fā)式算法就是對于表現(xiàn)函數(shù)梯度加以分析，從而改進算法，其中包括：有動量的梯度下降法 (traingdm)、有自適應 lr 的下降法 (traingda)、有動量和自適應 lr 的梯度下降法 (traingdx)和 彈性梯度下降法 法 (trainrp)等。針對 BP 算法這些缺點，出現(xiàn)了許多改進算法。通過權值的不斷修正使網(wǎng)絡的實際輸出更接近期望輸出。 (2)誤差信號反向傳播：指的是網(wǎng)絡的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層向前傳播。在信號的向前傳遞過程中的權值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。 輸入向量 神經(jīng)元 圖 31 BP 神經(jīng)網(wǎng)絡簡單模型 1()n iiia f w p ????? 學習算法 BP 神經(jīng)網(wǎng)絡學習算法解決了多層感知器的學習問題，促進了神經(jīng)網(wǎng)絡的發(fā)展。一個典型的 BP 神經(jīng)網(wǎng)絡如圖 31 所示，有一個隱層，隱層神經(jīng)元數(shù)目為 S,隱層采用 S 型神經(jīng)元函數(shù) logsig( )，具有 R 個輸入。 神經(jīng)網(wǎng)絡模型 簡述 前饋型神經(jīng)網(wǎng)絡通常含有一個或多個隱層，隱層中的神經(jīng)元基本均采用 S 型傳遞函數(shù)，輸出層的神經(jīng)元采用線性傳遞函數(shù)。在眾多人工神經(jīng)網(wǎng)絡模型中，大部分采用 BP 網(wǎng)絡或是它的變化形式，可以說 BP 神經(jīng)網(wǎng)絡是前饋型網(wǎng)絡的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡最精華的部分。 目前，最著名的多層神經(jīng)網(wǎng)絡學習算法應該是 BP 算法。人工神經(jīng)網(wǎng)絡也存在自身固有的弱點，如網(wǎng)絡需要更多的訓練數(shù)據(jù)，無法獲取特征空間中的決策面，以及在非并行處理系統(tǒng)中的模擬運行速度慢等缺點。 縱觀人工神經(jīng)網(wǎng)絡特點，神經(jīng)網(wǎng)絡處理模式識別問題上，相比其他傳統(tǒng)方法，具有以下優(yōu)點：首先對所處理的問題的了解要求不是很多；其次就是可以對特征空間進行更為復雜的劃分；再次它適用于高速并 行處理系統(tǒng)的實現(xiàn)。它不但可以能識別靜態(tài)信息，對實時處理復雜的動態(tài)信息也顯示強大的作用。 目前有很多神經(jīng)網(wǎng)絡模型可以善于模式識別。神經(jīng)