【文章內(nèi)容簡(jiǎn)介】 [3], p(4)=[4] p(1)=[4], p(2)=[3],p(3)=[2], p(4)=[1] 11 輸入 P 應(yīng)該是一個(gè)細(xì)胞數(shù)組，每一個(gè)數(shù)組元素都包含了兩個(gè)同時(shí)發(fā)生的序列的元素。 P = {[1 4] [2 3] [3 2] [4 1]}。 現(xiàn)在我們就可以模擬這個(gè)網(wǎng)絡(luò)了： A = sim(,P)。 網(wǎng)絡(luò)輸出結(jié)果將是： A = {[ 1 4] [4 11] [7 8] [10 5]} 你可以看到，每個(gè)矩陣的第一列是由第一組輸入序列產(chǎn)生的輸出序 列，每個(gè)矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這兩組序列之間沒(méi)有關(guān)聯(lián)，好象他們是同時(shí)應(yīng)用在單個(gè)的并行網(wǎng)絡(luò)上的。 下面的圖表顯示了當(dāng)我們有 Q 個(gè) TS長(zhǎng)度的序列時(shí)，在函數(shù) sim 中輸入 P 的一般格式。它函蓋了單輸入向量的所有的情況。每一個(gè)細(xì)胞數(shù)組的元素都是一個(gè)同步向量矩陣，它對(duì)應(yīng)于每一個(gè)序列的同一時(shí)間點(diǎn)。如果有多輸入向量，那么在細(xì)胞數(shù)組中的矩陣?yán)锞陀卸嘈小? 這一節(jié)我們我們把同步和異步輸入應(yīng)用到了動(dòng)態(tài)網(wǎng)絡(luò)中。在以前的章節(jié)中我們把同步輸入應(yīng)用到了靜態(tài)網(wǎng)絡(luò)中。我們也能把異步序列應(yīng)用到靜態(tài)網(wǎng)絡(luò)中。這不會(huì)改變網(wǎng)絡(luò)的輸出響應(yīng)，但是這會(huì)影響訓(xùn)練過(guò)的網(wǎng)絡(luò)的形式。在下一節(jié)你會(huì)更清楚的了解這一點(diǎn)。 5．訓(xùn)練方式 在這一節(jié)中，我們將描述兩種不同的訓(xùn)練方式。在增加方式中，每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。在批處理方式中，僅僅當(dāng)所有的輸入數(shù)據(jù)都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新。 增加方式（應(yīng)用與自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)） 雖然增加方式更普遍的應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)，比如自適應(yīng)濾波，但是在靜態(tài)和動(dòng)態(tài)網(wǎng)絡(luò)中都可以應(yīng)用它。 在這一節(jié)中我們將示范怎樣把增加方式應(yīng)用到這兩種網(wǎng)絡(luò)中去。 靜態(tài)網(wǎng)絡(luò)中的增加方式 繼續(xù)考慮前面用過(guò)的第一個(gè)靜態(tài)網(wǎng)絡(luò)的例子，我們用增加方式來(lái)訓(xùn)練它，這樣每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。在這個(gè)例子里我們用函數(shù) adapt，并給出輸入和目標(biāo)序列： 假定我們要訓(xùn)練網(wǎng)絡(luò)建立以下線(xiàn)性函數(shù)： t=2p1+p2 我們以前用的輸入是： 目標(biāo)輸出是： t1=[4],t2=[5] ,t3=[7] ,t4=[7] 我們首先用 0 初始化權(quán)重和偏置。為了顯示增加方式的效果，我們把學(xué)習(xí)速度也設(shè)為 0。 = newlin([1 1。1 1],1,0,0)。 {1,1} = [0 0]。 {1} = 0。 為了用增加方式，我們把輸入和目標(biāo)輸出表示為以下序列： 12 P = {[1。2] [2。1] [2。3] [3。1]}。 T = {4 5 7 7}。 前面的討論中，不論是作為一個(gè)同步向量矩陣輸入還是作為一個(gè)異步向量細(xì)胞數(shù)組輸入，模擬的輸出值是一樣的。而在訓(xùn)練網(wǎng)絡(luò)時(shí)，這是不對(duì)的。當(dāng)我們使用 adapt 函數(shù)時(shí)，如果輸入是異步向量細(xì)胞數(shù)組，那么權(quán)重將在每一組輸入提交的時(shí)候更新（就是增加方式），我們將在下一節(jié)看到，如果輸入是同步向量矩陣，那么權(quán)重將只在所有輸入提交的時(shí)候更新（就是批處理方式）。 我們現(xiàn)在開(kāi)始用增加方式訓(xùn)練網(wǎng)絡(luò)： [,a,e,pf] = adapt(,P,T)。 由于學(xué)習(xí)速度為 0，網(wǎng)絡(luò)輸出仍然為 0，并且權(quán)重沒(méi)有被更新。錯(cuò)誤和目標(biāo)輸出相等。 a = [0] [0] [0] [0] e = [4] [5] [7] [7] 如果我們?cè)O(shè)置學(xué)習(xí)速度為 ，我們就能夠看到當(dāng)每一組輸入提交時(shí)，網(wǎng)絡(luò)是怎么調(diào)整的了。 {1,1}.=。 {1,1}.=。 [,a,e,pf] = adapt(,P,T)。 a = [0] [2] [] [] e = [4] [3] [] [] 由于在第一個(gè)輸入數(shù)據(jù)提交前還沒(méi)有更新，第一個(gè)輸出和學(xué)習(xí)速率為 0時(shí)一樣。由于權(quán)重已更新，第二個(gè)輸出就不一樣了。每計(jì)算一次錯(cuò)誤，權(quán)重都不斷的修改。如果網(wǎng)絡(luò)可行并且學(xué)習(xí)速率設(shè)置得當(dāng)，錯(cuò)誤將不斷的趨向于 0。 動(dòng)態(tài)網(wǎng)絡(luò)中的增加方式 我們同樣也能用增加方式訓(xùn)練動(dòng)態(tài)網(wǎng)絡(luò)。實(shí)際上，這是最普遍的情況。讓我們用前面用過(guò)的那個(gè)有輸入延遲的線(xiàn)性網(wǎng)絡(luò)作為例子，我們將初始化權(quán)重為 0，并把學(xué)習(xí)速率設(shè)為 。 = newlin([1 1],1,[0 1],)。 {1,1} = [0 0]。 = 0。 為了用增加方式，我們把輸入和目標(biāo)輸出表示為細(xì)胞數(shù)組的元素： Pi = {1}。 P = {2 3 4}。 T = {3 5 7}。 這里我們嘗試訓(xùn)練網(wǎng)絡(luò)把當(dāng)前輸入和前一次輸入加起來(lái)作為當(dāng)前輸出。輸入序列和我們以前使用 sim的例子中用過(guò)的一樣，除了我們指定了輸入序列的第一組作為延遲的初始狀態(tài)?，F(xiàn)在我們可以用 adapt 來(lái)訓(xùn)練網(wǎng)絡(luò)了： [,a,e,pf] = adapt(,P,T,Pi)。 a = [0] [] [ ] e = [3] [] [] 由于權(quán)重沒(méi)有更新，第一個(gè)輸出是 0。每一個(gè)序列步進(jìn)，權(quán)重都改變一次。 批處理方式 在批處理方式中，僅僅當(dāng)所有的輸入數(shù)據(jù)都被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新，它也可以應(yīng)用于靜態(tài)和動(dòng)態(tài)網(wǎng)絡(luò)。我們將在這一節(jié)討論這兩種類(lèi)型。 靜態(tài)網(wǎng)絡(luò)中的批處理方式 批處理方式可以用 adapt 或 train 函數(shù)來(lái)實(shí)現(xiàn)，雖然由于由于采用了更高效的學(xué)習(xí)算法， train 通常 是最好的選擇。增加方式只能用 adapt 來(lái)實(shí)現(xiàn)， train 函數(shù)只能用于批處理方式。 讓我們用前面用過(guò)的靜態(tài)網(wǎng)絡(luò)的例子開(kāi)始，學(xué)習(xí)速率設(shè)置為 。 = newlin([1 1。1 1],1,0,)。 13 {1,1} = [0 0]。 {1} = 0。 用 adapt 函數(shù)實(shí)現(xiàn)靜態(tài)網(wǎng)絡(luò)的批處理方式，輸入向量必須用同步向量矩陣的方式放置： P = [1 2 2 3。 2 1 3 1]。 T = [4 5 7 7]。 當(dāng)我們調(diào)用 adapt 時(shí)將觸發(fā) adaptwb 函數(shù)，這是缺省的線(xiàn)性網(wǎng)絡(luò)調(diào)整函數(shù)。 learnwh是缺省的權(quán)重和偏置學(xué)習(xí)函數(shù)。因此， WidrowHoff 學(xué)習(xí)法將會(huì)被使用： [,a,e,pf] = adapt(,P,T)。 a = 0 0 0 0 e = 4 5 7 7 注意網(wǎng)絡(luò)的輸出全部為 0，因?yàn)樵谒幸?xùn)練的數(shù)據(jù)提交前權(quán)重沒(méi)有被更新，如果我們顯示權(quán)重，我們就會(huì)發(fā)現(xiàn)： {1,1} ans = {1} ans = 經(jīng)過(guò)了用 adapt 函數(shù)的批處理方式調(diào)整，這就和原來(lái)不一樣了。 現(xiàn)在用 train 函數(shù)來(lái)實(shí)現(xiàn)批處理方式。由于 WidrowHoff 規(guī)則能夠在增加方式和批處理方式中應(yīng)用，它可以通過(guò) adapt 和 train 觸發(fā)。我們有好幾種算法只能用于批處理方式（特別是 LevenbergMarquardt 算法），所以這些算法只能用 train 觸發(fā)。 網(wǎng)絡(luò)用相同的方法建立： = newlin([1 1。1 1],1,0,)。 {1,1} = [0 0]。 {1} = 0。 在這種情況下 輸入向量即能用同步向量矩陣表示也能用異步向量細(xì)胞數(shù)組表示。用 train 函數(shù)，任何異步向量細(xì)胞數(shù)組都會(huì)轉(zhuǎn)換成同步向量矩陣。這是因?yàn)榫W(wǎng)絡(luò)是靜態(tài)的，并且因?yàn)?train 總是在批處理方式中使用。因?yàn)?MATLAB 實(shí)現(xiàn)同步模式效率更高，所以只要可能總是采用同步模式處理。 P = [1 2 2 3。 2 1 3 1]。 T = [4 5 7 7]。 現(xiàn)在我們開(kāi)始訓(xùn)練網(wǎng)絡(luò)。由于我們只用了一次 adapt，我們這里訓(xùn)練它一次。缺省的線(xiàn)性網(wǎng)絡(luò)訓(xùn)練函數(shù)是 trainwb。 learnwh 是缺省的權(quán)重和偏置學(xué)習(xí)函數(shù)。因此，我們 應(yīng)該和前面缺省調(diào)整函數(shù)是 adaptwb 的例子得到同樣的結(jié)果。 {1,1}. = 。 {1}. = 。 = 1。 = train(,P,T)。 經(jīng)過(guò)一次訓(xùn)練后，我們顯示權(quán)重發(fā)現(xiàn)： {1,1} ans = {1} ans = 這和用 adapt 訓(xùn)練出來(lái)的結(jié)果是一樣的。在靜態(tài)網(wǎng)絡(luò)中， adapt 函數(shù)能夠根據(jù)輸入數(shù)據(jù)格式的不同應(yīng)用于增加方式和批處理方式。如果數(shù)據(jù)用同步向量矩陣方式輸入就用批處理方式訓(xùn)練；如果數(shù)據(jù)用異步方式輸入就用增加方式。但這對(duì)于 train 函數(shù)行不通，無(wú)論輸入格式如何，它總是采用批處理方式。 14 動(dòng)態(tài)網(wǎng)絡(luò)中的增加方式 訓(xùn)練靜態(tài)網(wǎng)絡(luò)相對(duì)要簡(jiǎn)單一些。如果我們用 train 訓(xùn)練網(wǎng)絡(luò)，即使輸入是異步向量