【文章內(nèi)容簡(jiǎn)介】 ） 11 由此看出， J 是與濾波器的系數(shù) ( 0,1, 2,...)k k? ? 有關(guān)系的 函數(shù)。 獲得教小的 J 才能得到最佳濾波器的系數(shù)值 。定義代價(jià)函 數(shù) J 的梯度向量 ▽ J，對(duì)它求導(dǎo)，期中 K 元素為 k KJJ ????? k=0， 1， 2， ... (33) 為了得到最小的 J 值，令 0???kwJ，也就是 0KJ?? k=0， 1， 2... (34) 這就是滿足了最優(yōu)條件下的濾波器了。 將（ 32） 代 入（ 33），得到 ? ?2 () ()2 ( ) 2 ( ) ( )k K k kE e nJ e nJ E e n E x n k e n? ? ???? ??????? ? ? ? ? ? ???? ? ??? k=0， 1， 2， ... (35) 將（ 35）的最后結(jié)果帶入（ 34）中，得到維納濾波器最優(yōu)解的等效形式為 ? ?0( ) ( ) 0E x n k e n?? k=0， 1， 2， ... (36) 式中， 0()en是濾波器 最好的估計(jì)誤差值 。 根據(jù)式（ 36），可得結(jié)論：使均方誤差代價(jià)函數(shù) J 達(dá)到最小值 必須要滿足 其相應(yīng)的估計(jì)誤差 0()en與 估計(jì)期望響應(yīng)的每個(gè)輸入樣本值 x(nk)(k=0， 1， 2， ...)正交 。 這就是正交原理的線性 MMSE 估計(jì)。這是一個(gè)很重要的理論。 利用式（ 36），可以得到離散形式維納濾波器的另一個(gè) 充 分必要 條件。將式子（ 31）帶入到（ 36），得到 ? ? ? ?? ?0 0 0 ,0( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0iiE x n k e n E x n k d n y n E x n k d n x n i???????? ? ? ? ? ? ? ? ????????? ? k=0， 1， 2， ... (37) 式中， 0()yn是 最佳的輸出 濾波器， 0,i? 是最 佳 濾波器的第 i個(gè) 系數(shù)。 將式子（ 37）進(jìn) 行整理可得 ? ? ? ?0,0 ( ) ( ) ( ) ( )ii E x n k x n i E x n k d n??? ? ? ? ?? k=0， 1， 2， ... (38) 式中， ? ?( ) ( ) ( )E x n k x n i r i k? ? ? ? 是濾波器輸入 隨機(jī)過(guò)程中不同時(shí)刻輸入之間的自相關(guān)函數(shù) ； ? ?( ) ( ) ( )E x n k d n p k? ? ?是濾波器輸入信號(hào) x(nk)與期望響應(yīng) d(n)的互相關(guān) 。 12 于是，維納濾波器的另一 個(gè) 條件為 0,0 ( ) ( )ii r i k p k??? ? ? ?? k=0， 1， 2， ... （ 39） 這個(gè)方程稱為 WienerHoff 方程。 最小均方誤差 由濾波器估計(jì)誤差定義，可得到維納濾波器的估計(jì)誤差為 000( ) ( ) ( ) ( ) ( )e n d n y n d n d n?? ? ? ? （ 310） 式中。 0()dn? 理論中 最優(yōu)估值。于是 0( ) ( ) ( )d n d n e n??? （ 311） 令最小均方誤差為 2m in 0()J E e n??? ?? （ 312） 對(duì)于式子（ 311）兩邊取均方值，假定 d(n)和 0()dn? 為零均值，根據(jù)正交原理的推論可得 220 minddJ???? （ 313） 式中， 2d? 是期望響應(yīng) d(n)的方差； 20d? 是 其最優(yōu)估值 0()dn? 的方差。于是得到 22min 0ddJ ???? （ 314） 由此可以看出： d(n)的方差與 0()dn? 的差值就是等于維納濾波器所得最小均方誤差。 橫向?yàn)V波器 WienerHoff 方程 圖 32 橫向?yàn)V波 器 使用 最小均方誤差準(zhǔn)則（ MMSE）進(jìn)行優(yōu)化，導(dǎo)出橫向?yàn)V波器滿足 WienerHoff 方程 13 為 10,0 ( ) ( )Mii r i k p k??? ? ? ?? k=0， 1， 2， ... (315) 式中， 0,0 0,1 0, 1, ,.... M? ? ? ?就是要求的最佳權(quán)值 。 橫向?yàn)V波器的維納 霍夫方程可 用以下形式表示 。 將 橫向?yàn)V波器的抽頭輸入( ) , ( 1 ) , ..., ( 1 )x n x n x n M? ? ?的相關(guān)矩陣 定義 為 R，則 ( ) ( )TR E x n x n?????? (316) 式中， ? ?( ) ( ) , ( 1 ) , . . . , ( 1 ) Tx n x n x n x n M? ? ? ?是 抽頭 輸入向量。矩陣 R 一定是對(duì)稱矩陣?；ハ嚓P(guān)矢量 P 被定義為橫向?yàn)V波器的抽頭的輸入和所需的響應(yīng) ，則 ? ? ? ?( ) ( ) (0 ) , ( 1 ) , . . . , ( 1 )Tp E x n d n p p p M? ? ? ? （ 317） 這可以將橫向?yàn)V波器的 WienerHoff 方程表示為 0Rp?? （ 318） 式中， 0? =? ?0 , 0 0 ,1 0 , 1, , .. .. TM? ? ? ?這里是最佳的 橫向?yàn)V波器的抽頭權(quán) 重 向量。顯然，如果相關(guān)矩陣 R 是非奇異的，則可得橫向?yàn)V波器維納解為 10 Rp? ?? （ 319） LMS 算法 LMS 算法，采用最速下降算法，平均梯度的平方誤差從目前估計(jì)系數(shù)矢量迭代于下一時(shí)刻濾波器系數(shù)向量 ， 而 且如果收斂因子 μ 選擇 適合 [8]，抽頭權(quán) 值 向量 就會(huì)無(wú)限接近于 維納解 ， 但為了得到一個(gè)準(zhǔn)確的梯度向量必須知道的互相關(guān)矢量的抽頭輸入相關(guān)矩陣和抽頭輸入和預(yù)期的響應(yīng)值的關(guān)系 ， 所以 當(dāng) 是處于時(shí)變的環(huán)境條件下 梯度向量 ()Jn?? 的是 不可能通過(guò)測(cè)量得到 ， 只能通過(guò) 數(shù)據(jù)對(duì)梯度向量進(jìn)行 有意義的猜測(cè) 。 則 估計(jì)梯度向量的為： ( 1 ) ( ) ( )w n w n J n? ?? ? ? ? （ 320） 對(duì) 于 最小均方誤差準(zhǔn)則來(lái)說(shuō)，如果采用一般的梯度估計(jì)方法的自適應(yīng)算法 是需要一組數(shù)據(jù)中的平均值的兩個(gè)均方誤差的差 [9]作為梯度估計(jì) ， 而 LMS 算法 不需要這么做，而 是r(0) r(1) ... r(M1) r(1) r(0) ... r(M2) ... ... ... ... r(M1) r(M2) ... r(0) 14 直接 用一次 采樣數(shù)據(jù)的 2()en來(lái) 等效為 均方誤差 ()Jn， 然后 進(jìn)行梯度估計(jì)，這 種就 稱為瞬時(shí)梯度估計(jì)。所以在自適應(yīng)過(guò)程中的每次迭代，其梯度估計(jì)形式可以具體表現(xiàn)為此公式： 2 2()( ) ( ) ( ) ( ) ( ) ( ) 2 ( ) ( ) ( )( ) ( ) T T TenJ n d n w n x n x n w n d n x n w nw n w n? ?? ??? ? ? ? ? ??? 2 ( ) ( ) ( ) 2 ( ) ( ) 2 ( ) ( ) ( ) ( ) 2 ( ) ( )TTx n x n w n d n x n d n x n w n x n e n x n??? ? ? ? ? ??? （ 321） 將（ 321） 代 入（ 320） 中，可得 ： ( 1 ) ( ) ( ) ( ) 2 ( ) ( )w n w n J n w n e n x n???? ? ? ? ? ? （ 322） 式（ 322）就是 稱為 LMS 算法。在這里， μ 是一個(gè)重要的因素，用來(lái)控制自適應(yīng)收斂的穩(wěn)定性和收斂速 度 。 簡(jiǎn)化可得 ( ) 2 ( ) 2J n Rw n p? ? ? （ 323） LMS 算法的梯度估計(jì)指的就是 ()Jn? 中 R 和 p 作瞬時(shí)估計(jì)，即： ( ) ( ) ( )TR n x n x n? ? （ 324） ( ) ( ) ( )p n x n d n? ? （ 325） 相應(yīng)的梯度向量的瞬時(shí)估計(jì)為： ( ) 2 ( ) 2 2 ( ) ( ) ( ) 2 ( ) ( )TJ n R w n p x n x n w n x n d n? ? ?? ? ? ? ? （ 326） 所以，根據(jù) 式（ 326）的梯度估計(jì) 的 迭代公式為： ( 1 ) ( ) ( ) ( ) 2 ( )w n w n J n w n R w n p??? ? ???? ? ? ? ? ? ? ????? ( ) 2 ( ) ( ) ( ) ( ) ( )Tw n x n x n w n x n d n? ??? ? ??? ( ) 2 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 ( ) ( )TTw n x n d n x n w n x n w n w n e n x n????? ? ? ? ??? （ 327） 與（ 322）給出的迭代公式一致。 15 圖 33 LMS 算法向量信號(hào)流圖 圖 33 給出了 LMS 算法的向量信號(hào)流圖。 顯然 ，這是一個(gè) 本身就 有 性能 反 饋的閉環(huán)自適應(yīng)系統(tǒng) 。正確的調(diào)整濾波器來(lái)測(cè)量，你可以得到一個(gè)響應(yīng)信號(hào)非常接近預(yù)期的輸出 [10]；讓 輸出與期望響應(yīng) 相相減 得到 “誤差 ”信號(hào)， 通過(guò)降低誤差信號(hào)，就能得到最有權(quán)值 。從圖中 可以明顯的看出 ， LMS 算法 是 容易高效實(shí)現(xiàn)。 梯度向量的每個(gè)分量 是由一 個(gè)數(shù)據(jù)樣本得到， 沒(méi)有進(jìn)行平均 ， 所以 梯度估計(jì) 肯定含有噪聲的 。 但是 在自適應(yīng)過(guò)程中 ，隨著時(shí)間的推移，這個(gè)噪聲肯定會(huì)衰減的 。 表 31 LMS 算法流程 參數(shù)設(shè)置： M=濾波器的抽頭系數(shù) μ=收斂因子 已知數(shù)據(jù)： x(n)=抽頭輸入響應(yīng) d(n)=期望響應(yīng) 初始化： w(0)由先驗(yàn)知識(shí)確定；否則令 w(0)=0 迭代計(jì)算： 對(duì) n=0， 1， ...，計(jì)算 ( ) ( ) ( )Ty n w n x n? e(n)=d(n) y(n) ( 1 ) ( ) 2 ( ) ( )w n w n e n x n?? ? ? LMS 算法的收斂性 LMS 算法 最主要問(wèn)題就是 使 2[ ( )]Ee n 達(dá)到最小值 然后得到 最 優(yōu) 權(quán)向量的問(wèn)題。 一般情 16 況下 LMS 算法最后的抽頭權(quán)向量 不可能是精準(zhǔn)的出現(xiàn)在 0w ，而是 隨機(jī)的游走在 0w 附近 。下面 分析討論 LMS 算法抽頭權(quán)向量的期望值 如何 收斂