神經(jīng)網(wǎng)絡(luò)信號(hào)處理ppt課件-資料下載頁
2025-01-05 15:31本頁面
【正文】 。 后兩個(gè)優(yōu)點(diǎn)與單層反饋網(wǎng)絡(luò)相比尤為突出。 11m i n m i n, 1 , 2 , ..., ,NiiiNji i jiA y o r AYy B j m o r WY B?????? ? ???1 2 1 2 1 2[ ] , [ ] , [ ] , [ ]T T TN M N ji M NA A A A B B B B Y y y y W ? ?? ? ? ? ? ? ? ? ? ? ? ? ? 自組織神經(jīng)網(wǎng)絡(luò) 人們觀察不同的事物時(shí)，會(huì)從不同的角度出發(fā)，提取事物的不同特征。對(duì)于自組織網(wǎng)絡(luò)，針對(duì)的輸入數(shù)據(jù)不同，欲提取的特征就不同，學(xué)習(xí)算法也不同。通常有兩種無導(dǎo)師學(xué)習(xí)規(guī)則： Hebb規(guī)則和競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則。下面討論三種特征的自適應(yīng)提?。? （ 1）依競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則進(jìn)行聚類，提取各類的中心； （ 2）依競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則作特征映射，將輸入模式相似程度的大小映射成幾何位置的遠(yuǎn)近。 （ 3）依 Hebb規(guī)則進(jìn)行主元分析，提取信號(hào)的最大主元。 自組織聚類 聚類可理解為在無先驗(yàn)知識(shí)的情形下，把相似的對(duì)象歸為一類，并分開不相似的對(duì)象。聚類學(xué)習(xí)算法就是根據(jù)距離準(zhǔn)則，吧距離接近的樣本看作一類，并把該類的中心樣本存儲(chǔ)于網(wǎng)絡(luò)的鏈接權(quán)中，而網(wǎng)絡(luò)的輸出將是輸入模式與中心樣本的距離。 —— 競(jìng)爭(zhēng)學(xué)習(xí) 單層線性前向網(wǎng)絡(luò)的神經(jīng)元的變換函數(shù)是線性的： 所以，每個(gè)單元的輸入 輸出關(guān)系為 ? ?f u u?i ij iiy w x? ?設(shè)有 個(gè)輸入學(xué)習(xí)模式 L? ? ? ? ? ?12 Tl l llNX x x x??? ??L 1 , 2 , ,lL? L 個(gè)單元可以將輸入模式聚為 類，輸出模式為 M M? ?12 TMY y y y? L2. 反饋型聚類網(wǎng)絡(luò) —— 自適應(yīng)諧振學(xué)習(xí) 更合理的聚類應(yīng)該是在事先不知道類別數(shù)量的情形下，依競(jìng)爭(zhēng)的門限來學(xué)習(xí)。如果對(duì)一輸入樣本，網(wǎng)絡(luò)通過競(jìng)爭(zhēng)得知，該輸入模式與某一類聚點(diǎn)的距離最小，但其距離若超過一個(gè)預(yù)定門限值，扔不能將它歸為這一類，而應(yīng)另設(shè)一個(gè)新的類群?；谧赃m應(yīng)諧振理論的學(xué)習(xí)算法，就是這種既能識(shí)別舊對(duì)象同時(shí)又能識(shí)別新對(duì)象的方法。 自組織特征映射 自組織特征映射網(wǎng)絡(luò)是將特征相似的輸入模式聚集在一起，不相似的分得比較開。下面討論這種網(wǎng)絡(luò)的結(jié)構(gòu)和算法以及該網(wǎng)絡(luò)從輸入模式中提取的特征。 1. 網(wǎng)絡(luò)結(jié)構(gòu)及其算法 特征映射網(wǎng)絡(luò)與簡(jiǎn)單的聚類網(wǎng)絡(luò)一樣，是一個(gè)單層線性前向網(wǎng)絡(luò)，也是采用競(jìng)爭(zhēng)學(xué)習(xí)算法。在結(jié)構(gòu)上不同的只是網(wǎng)絡(luò)很在乎神經(jīng)元的幾何位置，一般排列成以為的直線或二維的平面。在競(jìng)爭(zhēng)學(xué)習(xí)算法上，主要的不同在于特征映射網(wǎng)絡(luò)不僅對(duì)獲勝元的連接權(quán)進(jìn)行修正，而且對(duì)獲勝元臨近單元的連接權(quán)也進(jìn)行修正。 自組織特征映射網(wǎng)絡(luò)在結(jié)構(gòu)上是一組自適應(yīng)線性組合器，而學(xué)習(xí)算法是直觀地確定的。實(shí)際上，它同樣可以采用自適應(yīng)濾波器的分析方法，根據(jù)最佳準(zhǔn)則給出一個(gè) 性能曲面函數(shù)，由性能曲面函數(shù)的負(fù)梯度方向推導(dǎo)出自適應(yīng)學(xué)習(xí)算法。 2. 網(wǎng)絡(luò)的有序特征映射能力 先考慮一維情形。設(shè)輸入是一維標(biāo)量，用 表示，神經(jīng)元排列成直線。用（ 0,1）之間均勻分布的隨機(jī)數(shù)來訓(xùn)練網(wǎng)絡(luò)。通過特征映射學(xué)習(xí)算法，經(jīng)過足夠多次迭代后，權(quán)系數(shù)就形成一個(gè)幅度遞增或遞減的有序序列，而且一旦成為有序序列后，就不再隨著迭代產(chǎn)生變化，即不可能從有序回到無序?？梢杂民R爾柯夫過程證明特征映射學(xué)習(xí)算法的排序能力。 二維陣列的自組織特征映射網(wǎng)絡(luò)同樣顯示出這種排序能力。 自組織主元分析 在神經(jīng)網(wǎng)絡(luò)中，主元分析學(xué)習(xí)算法就是指在無先驗(yàn)知識(shí)的情況下，從輸入的隨機(jī)信號(hào)中自適應(yīng)提取主元。 —— Hebb學(xué)習(xí) 首先考慮單個(gè)線性單元提取最大主元的學(xué)習(xí)算法。與聚類網(wǎng)絡(luò)一樣，它實(shí)際上是一個(gè)橫向自適應(yīng)濾波器，其輸入輸出關(guān)系為 ? ? ? ? ? ? ? ? ? ?1N Tiiiy t x t w t X t W t????直接用 Hebb學(xué)習(xí)規(guī)則，代入上式可得 ? ? ? ? ? ? ? ? ? ?1 TW k W k X k X k W k?? ? ?2. 提取多主元的反饋網(wǎng)絡(luò) —— 反 Hebb抑制學(xué)習(xí) 現(xiàn)在再來考慮用 M個(gè)線性單元提取前 M個(gè)主元的學(xué)習(xí)算法。如果每個(gè)單元都用 Hebb準(zhǔn)則學(xué)習(xí)，那么 M個(gè)單元都將獨(dú)立地提取出相同的最大主元 Q。有效地解決方法是從第二單元的連接權(quán)中去掉第一主元的相關(guān)性，作 GramSchmidt正交化的遞歸處理，這樣便得到廣義的 Hebb算法 : ? ? ? ? ? ? ? ? ? ?11jj i i j j jiW k X k W y k W y k y k???????? ? ? ?????????? 實(shí)現(xiàn)上式算法常用如下兩種方法。一種稱為退化法，是把上式圓括號(hào)內(nèi)的運(yùn)算看作為輸入矢量 的不斷退化，即 ? ? ? ? ? ?11jj i iiX k X k W y k???? ?另一實(shí)現(xiàn)算法的方法為負(fù)反饋法。圓括號(hào)內(nèi)的運(yùn)算表示前面單元的輸出值負(fù)反饋到后面單元的輸入端?？捎靡粋€(gè)下三角互連矩陣的單層反饋網(wǎng)絡(luò)實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)在信號(hào)處理中的應(yīng)用 如果把神經(jīng)網(wǎng)絡(luò)作為信號(hào)處理的一種新手段，應(yīng)用它的 動(dòng)機(jī)大致有以下幾點(diǎn)： (1)缺乏先驗(yàn)知識(shí)的盲處理。 (2)非線性自適應(yīng)處理。 (3)高速實(shí)時(shí)的并行處理。 下面給出應(yīng)用例子說明 RLS算法的實(shí)時(shí)實(shí)現(xiàn) RLS(遞歸最小二乘法 )自適應(yīng)算法收斂速度快，特別適 合于快速信道均衡、實(shí)時(shí)系統(tǒng)辨識(shí)等應(yīng)用，但算法的每次迭 代運(yùn)算量很大，使應(yīng)用受到很大限制?，F(xiàn)在考慮用復(fù)合反饋 型神經(jīng)網(wǎng)絡(luò)（見圖 ）來實(shí)時(shí)完成算法中的迭代運(yùn)算。 RLS算法的標(biāo)準(zhǔn)方程和最佳解為： RLS算法的迭代方程為： 上述算法中，矩陣的逆的計(jì)算最為復(fù)雜、費(fèi)時(shí)。 1( ) ( ) ( )( ) ( ) ( )R n W n P nW n R n P n???( 1 ) ( ) ( 1 ) ( 1 )( ) ( ) ( 1 ) ( 1 )TR n R n X n X nW n P n d n X n??? ? ? ? ?? ? ? ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1