【文章內(nèi)容簡介】 ） 11 由此看出， J 是與濾波器的系數(shù) ( 0,1, 2,...)k k? ? 有關系的 函數(shù)。 獲得教小的 J 才能得到最佳濾波器的系數(shù)值 。定義代價函 數(shù) J 的梯度向量 ▽ J，對它求導，期中 K 元素為 k KJJ ????? k=0， 1， 2， ... (33) 為了得到最小的 J 值，令 0???kwJ，也就是 0KJ?? k=0， 1， 2... (34) 這就是滿足了最優(yōu)條件下的濾波器了。 將（ 32） 代 入（ 33），得到 ? ?2 () ()2 ( ) 2 ( ) ( )k K k kE e nJ e nJ E e n E x n k e n? ? ???? ??????? ? ? ? ? ? ???? ? ??? k=0， 1， 2， ... (35) 將（ 35）的最后結果帶入（ 34）中，得到維納濾波器最優(yōu)解的等效形式為 ? ?0( ) ( ) 0E x n k e n?? k=0， 1， 2， ... (36) 式中， 0()en是濾波器 最好的估計誤差值 。 根據(jù)式（ 36），可得結論：使均方誤差代價函數(shù) J 達到最小值 必須要滿足 其相應的估計誤差 0()en與 估計期望響應的每個輸入樣本值 x(nk)(k=0， 1， 2， ...)正交 。 這就是正交原理的線性 MMSE 估計。這是一個很重要的理論。 利用式（ 36），可以得到離散形式維納濾波器的另一個 充 分必要 條件。將式子（ 31）帶入到（ 36），得到 ? ? ? ?? ?0 0 0 ,0( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0iiE x n k e n E x n k d n y n E x n k d n x n i???????? ? ? ? ? ? ? ? ????????? ? k=0， 1， 2， ... (37) 式中， 0()yn是 最佳的輸出 濾波器， 0,i? 是最 佳 濾波器的第 i個 系數(shù)。 將式子（ 37）進 行整理可得 ? ? ? ?0,0 ( ) ( ) ( ) ( )ii E x n k x n i E x n k d n??? ? ? ? ?? k=0， 1， 2， ... (38) 式中， ? ?( ) ( ) ( )E x n k x n i r i k? ? ? ? 是濾波器輸入 隨機過程中不同時刻輸入之間的自相關函數(shù) ； ? ?( ) ( ) ( )E x n k d n p k? ? ?是濾波器輸入信號 x(nk)與期望響應 d(n)的互相關 。 12 于是，維納濾波器的另一 個 條件為 0,0 ( ) ( )ii r i k p k??? ? ? ?? k=0， 1， 2， ... （ 39） 這個方程稱為 WienerHoff 方程。 最小均方誤差 由濾波器估計誤差定義，可得到維納濾波器的估計誤差為 000( ) ( ) ( ) ( ) ( )e n d n y n d n d n?? ? ? ? （ 310） 式中。 0()dn? 理論中 最優(yōu)估值。于是 0( ) ( ) ( )d n d n e n??? （ 311） 令最小均方誤差為 2m in 0()J E e n??? ?? （ 312） 對于式子（ 311）兩邊取均方值，假定 d(n)和 0()dn? 為零均值，根據(jù)正交原理的推論可得 220 minddJ???? （ 313） 式中， 2d? 是期望響應 d(n)的方差； 20d? 是 其最優(yōu)估值 0()dn? 的方差。于是得到 22min 0ddJ ???? （ 314） 由此可以看出： d(n)的方差與 0()dn? 的差值就是等于維納濾波器所得最小均方誤差。 橫向濾波器 WienerHoff 方程 圖 32 橫向濾波 器 使用 最小均方誤差準則（ MMSE）進行優(yōu)化，導出橫向濾波器滿足 WienerHoff 方程 13 為 10,0 ( ) ( )Mii r i k p k??? ? ? ?? k=0， 1， 2， ... (315) 式中， 0,0 0,1 0, 1, ,.... M? ? ? ?就是要求的最佳權值 。 橫向濾波器的維納 霍夫方程可 用以下形式表示 。 將 橫向濾波器的抽頭輸入( ) , ( 1 ) , ..., ( 1 )x n x n x n M? ? ?的相關矩陣 定義 為 R，則 ( ) ( )TR E x n x n?????? (316) 式中， ? ?( ) ( ) , ( 1 ) , . . . , ( 1 ) Tx n x n x n x n M? ? ? ?是 抽頭 輸入向量。矩陣 R 一定是對稱矩陣?；ハ嚓P矢量 P 被定義為橫向濾波器的抽頭的輸入和所需的響應 ，則 ? ? ? ?( ) ( ) (0 ) , ( 1 ) , . . . , ( 1 )Tp E x n d n p p p M? ? ? ? （ 317） 這可以將橫向濾波器的 WienerHoff 方程表示為 0Rp?? （ 318） 式中， 0? =? ?0 , 0 0 ,1 0 , 1, , .. .. TM? ? ? ?這里是最佳的 橫向濾波器的抽頭權 重 向量。顯然，如果相關矩陣 R 是非奇異的，則可得橫向濾波器維納解為 10 Rp? ?? （ 319） LMS 算法 LMS 算法，采用最速下降算法，平均梯度的平方誤差從目前估計系數(shù)矢量迭代于下一時刻濾波器系數(shù)向量 ， 而 且如果收斂因子 μ 選擇 適合 [8]，抽頭權 值 向量 就會無限接近于 維納解 ， 但為了得到一個準確的梯度向量必須知道的互相關矢量的抽頭輸入相關矩陣和抽頭輸入和預期的響應值的關系 ， 所以 當 是處于時變的環(huán)境條件下 梯度向量 ()Jn?? 的是 不可能通過測量得到 ， 只能通過 數(shù)據(jù)對梯度向量進行 有意義的猜測 。 則 估計梯度向量的為： ( 1 ) ( ) ( )w n w n J n? ?? ? ? ? （ 320） 對 于 最小均方誤差準則來說，如果采用一般的梯度估計方法的自適應算法 是需要一組數(shù)據(jù)中的平均值的兩個均方誤差的差 [9]作為梯度估計 ， 而 LMS 算法 不需要這么做，而 是r(0) r(1) ... r(M1) r(1) r(0) ... r(M2) ... ... ... ... r(M1) r(M2) ... r(0) 14 直接 用一次 采樣數(shù)據(jù)的 2()en來 等效為 均方誤差 ()Jn， 然后 進行梯度估計，這 種就 稱為瞬時梯度估計。所以在自適應過程中的每次迭代，其梯度估計形式可以具體表現(xiàn)為此公式： 2 2()( ) ( ) ( ) ( ) ( ) ( ) 2 ( ) ( ) ( )( ) ( ) T T TenJ n d n w n x n x n w n d n x n w nw n w n? ?? ??? ? ? ? ? ??? 2 ( ) ( ) ( ) 2 ( ) ( ) 2 ( ) ( ) ( ) ( ) 2 ( ) ( )TTx n x n w n d n x n d n x n w n x n e n x n??? ? ? ? ? ??? （ 321） 將（ 321） 代 入（ 320） 中，可得 ： ( 1 ) ( ) ( ) ( ) 2 ( ) ( )w n w n J n w n e n x n???? ? ? ? ? ? （ 322） 式（ 322）就是 稱為 LMS 算法。在這里， μ 是一個重要的因素，用來控制自適應收斂的穩(wěn)定性和收斂速 度 。 簡化可得 ( ) 2 ( ) 2J n Rw n p? ? ? （ 323） LMS 算法的梯度估計指的就是 ()Jn? 中 R 和 p 作瞬時估計，即： ( ) ( ) ( )TR n x n x n? ? （ 324） ( ) ( ) ( )p n x n d n? ? （ 325） 相應的梯度向量的瞬時估計為： ( ) 2 ( ) 2 2 ( ) ( ) ( ) 2 ( ) ( )TJ n R w n p x n x n w n x n d n? ? ?? ? ? ? ? （ 326） 所以，根據(jù) 式（ 326）的梯度估計 的 迭代公式為： ( 1 ) ( ) ( ) ( ) 2 ( )w n w n J n w n R w n p??? ? ???? ? ? ? ? ? ? ????? ( ) 2 ( ) ( ) ( ) ( ) ( )Tw n x n x n w n x n d n? ??? ? ??? ( ) 2 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 ( ) ( )TTw n x n d n x n w n x n w n w n e n x n????? ? ? ? ??? （ 327） 與（ 322）給出的迭代公式一致。 15 圖 33 LMS 算法向量信號流圖 圖 33 給出了 LMS 算法的向量信號流圖。 顯然 ，這是一個 本身就 有 性能 反 饋的閉環(huán)自適應系統(tǒng) 。正確的調(diào)整濾波器來測量，你可以得到一個響應信號非常接近預期的輸出 [10]；讓 輸出與期望響應 相相減 得到 “誤差 ”信號， 通過降低誤差信號，就能得到最有權值 。從圖中 可以明顯的看出 ， LMS 算法 是 容易高效實現(xiàn)。 梯度向量的每個分量 是由一 個數(shù)據(jù)樣本得到， 沒有進行平均 ， 所以 梯度估計 肯定含有噪聲的 。 但是 在自適應過程中 ，隨著時間的推移，這個噪聲肯定會衰減的 。 表 31 LMS 算法流程 參數(shù)設置： M=濾波器的抽頭系數(shù) μ=收斂因子 已知數(shù)據(jù)： x(n)=抽頭輸入響應 d(n)=期望響應 初始化： w(0)由先驗知識確定；否則令 w(0)=0 迭代計算： 對 n=0， 1， ...，計算 ( ) ( ) ( )Ty n w n x n? e(n)=d(n) y(n) ( 1 ) ( ) 2 ( ) ( )w n w n e n x n?? ? ? LMS 算法的收斂性 LMS 算法 最主要問題就是 使 2[ ( )]Ee n 達到最小值 然后得到 最 優(yōu) 權向量的問題。 一般情 16 況下 LMS 算法最后的抽頭權向量 不可能是精準的出現(xiàn)在 0w ，而是 隨機的游走在 0w 附近 。下面 分析討論 LMS 算法抽頭權向量的期望值 如何 收斂