【文章內(nèi)容簡介】 x(n)的相關(guān)矩陣，而 P 為輸入信號(hào)矢量 x(n)與期望信號(hào)d(n)的互相關(guān)矩陣。根據(jù)自適應(yīng)濾波的正則方程的矩陣式，上式右邊第二項(xiàng)應(yīng)等于零。由此 13 可簡寫成 （ 213） 我們可以看出， LMS 算法與前述最陡下降算法有相同的精確數(shù)學(xué)表達(dá)式。因此，要使LMS 算法收斂于 均值，必須使步長參數(shù) μ滿足下列條件： （ 214） 這里 max? 是相關(guān)矩陣 R 的最大特征值。在此條件下，當(dāng)?shù)?jì)算次數(shù) n 接近于 ? 時(shí)，自適應(yīng)濾波系數(shù) w(n)近似等于最佳維納解 w0. 平均 MSE—— 學(xué)習(xí)曲線 如前節(jié)所述，最陡下降算法每次迭代都要精確計(jì)算梯度矢量，使自適應(yīng)橫向?yàn)V波器權(quán)矢量或?yàn)V波系數(shù)矢量 w(n)能達(dá)到最佳維納解 w0 ，這時(shí)濾波器均方誤差（ MSE）為最小，即式中， 2d? 是期望信號(hào) d(n)的方差。 （ 215） 學(xué)習(xí)曲線 定義為均方誤差隨迭代計(jì)算次數(shù) n 的變化關(guān)系，如式（ 216）所描述的包含指數(shù)項(xiàng)之和： （ 216） 圖 23 單條學(xué)習(xí)曲線 式中每個(gè)指數(shù)項(xiàng)對(duì)應(yīng)于算法的固有模式，模式的數(shù)目等于濾波器加權(quán)數(shù)。顯而易見，由于 上式中 11 ?? i?? ，故當(dāng) n→∞ ,最陡下降算法均方誤差ξ（∞） =λ LMS 算法用瞬時(shí)值估計(jì)梯度存在誤差的噪聲估計(jì)，結(jié)果使濾波器權(quán)矢量估值 )(nw? 只能近似于最佳維納解，這意味著濾波均方誤差 )(n? 隨著迭代次數(shù) n 的增加而出現(xiàn)小波動(dòng)地減少，最后， ξ （∞）不是等于 λ min而是稍大于其值，如圖 23 所示。如果步長參數(shù) μ 選用得越少，則這種噪化指數(shù)衰減曲線上的波動(dòng)幅度將減小，即學(xué)習(xí)曲線的平滑度越好 [6]。 但是，對(duì)于自適應(yīng)橫向?yàn)V波器總體來說，假設(shè)每個(gè)濾波器 LMS 算法用相同的步長 μ和同等的起始系數(shù)矢量 w(0)，并從同一統(tǒng)計(jì)群體隨機(jī)地選取各個(gè) 平穩(wěn)的各態(tài)歷經(jīng)的輸入信號(hào)，由PwTd ?? 2m in ??m ax20 ?? ??)]([)) ] (1([ nwERInwE ?? ???? ?)0()1()( 221 iniiMii vn ????? ??? ?? 14 此計(jì)算自適應(yīng)濾波器總體平均學(xué)習(xí)曲線。 濾波器的均方誤差 （ 217） 式中 0)()( wnwnw ??? ，稱為濾波系數(shù)的誤差矢量。為了求總體平均 RMS，對(duì)式（ 217）兩邊取數(shù)學(xué)期望值，有 )]()([)]([ m i n nwRnwEnE H ???? ?? 由矩陣?yán)?論中等式 )]}()[({][ TTTT aabbEtrabbaE ?? ，上式右邊第二項(xiàng)可以可寫成 )]([)]()([ nRKtrnwRnwE H ??? （ 218） 式中 K(n)= )]()([ nwnwE H?? ，稱之為濾波權(quán)系數(shù)誤差的相關(guān)矩陣，因此，平均 RMS 可以寫出 )]([)]([ m i n nRKtrnE ?? ?? （ 219） 式中， K（ n）可以遞歸地進(jìn)行計(jì)算。 下面我們推導(dǎo) 這個(gè)遞歸公式。首先把式（ 211）遞歸計(jì)算式寫成 )]()([)()]()([)1( m i n nenxnwnxnxInw H ?? ?????? 這里， 0m in )()()( wnxndne H?? 。將上式與其共軛轉(zhuǎn)置矩陣右乘，得到 )]()()[()()]()([)1()1( nxnxInwnwnxnxInwnw HHHH ?? ????????? )()()]()()[()()()( m i n2m i n2 nxnwnxnxInenxnxne HHH ???? ?? )]()()[()()(m i n nxnxInwnxne H?? ??? 對(duì)上式兩邊取數(shù)學(xué)期望，由于 )(min ne 與 x(n)不相關(guān)，且認(rèn)為 )(nw? 與 x(n)也不相關(guān)，又0][ )min( ?neE ，于是得到 )]()([)( nwnwEnK H??? 的遞歸計(jì)算公式： RnRKR t rRnKnRKnKn m i n22 )]([])()([)()1(K ???? ?????? (220) 利用酉矩陣相似性變換法，有 ??R H (221a) 這里， ? 是對(duì)角線矩陣所含的相關(guān)矩陣 R 的特征值，矩陣 Q 是由這些特征值相關(guān)聯(lián)的特征矢量所確定的酉矩陣。注意到矩陣 ? 是實(shí)值，并且令 )()( nXQnKQ H ? （ 221b） 注意，這里 X(n)是一個(gè)對(duì)角線矩陣。加上酉矩陣性質(zhì) IH ? ,由式（ 221）得到 （ 222） 因?yàn)?? 是對(duì)角線矩陣，矩陣 X(n)的對(duì)角元素是 )(nxi ， i=1,2,… ,M,上式又可寫成 )()]([1 nxnRKtrMi ii??? ? （ 223） )()()( m in nwRnwn H ???? ??)]([])([])([)]([nXtrQnXQtrQnXtrnRKtrHHH?????? 15 ??Mi i1?其次，我們利用式（ 221）所描述的變換關(guān)系，將式（ 220）遞歸計(jì)算公式重新寫成 ??????????? m i n22 )]([])()([)()1( ???? nXtrnXnXnXnX （ 224） 上式表明，只需要計(jì)算其對(duì)角線項(xiàng)元素，就可得到 ijMj jiiiii nxnxnxnx ???????? m i n212 )()(2)()1( ????? ??， i=1,2,… ,M 當(dāng) n 趨于∞時(shí)，則 )1( ?nxi 與 )(nxi 的極限相等，于是由上式與式（ 223）得 到 （ 225） 我們定義超量均方誤差 )(?ex? 等于總體平均的均方誤差 E[ξ (∞ )]與最小均方誤差 min? 之差值，即 m in)]([)( ??? ???? Eex = tr[RK(∞ )] = （ 226） 顯然，如果能使總體平均 E[ξ (n)]收斂于最終穩(wěn)定值 )(min ?? ex?? ，當(dāng)且僅當(dāng)步長參數(shù) μ 必須滿足下列條件： （ 227a） 或 （ 227b） 這里 i? ， i=1,2,… ,M 是相關(guān)矩陣 R 的特征值， M 是自適應(yīng)濾波器橫向抽頭數(shù)或階數(shù)。當(dāng)此條件被滿足時(shí)， LMS 算法是絕對(duì)收斂的，這是從均方值域保證穩(wěn)定 的條件。如果將其與均方值域所討論的穩(wěn)定條件式（ 214）相比較看，由于 max? 僅是 中的一個(gè)最大值，所以， 由式（ 227）所表示的穩(wěn)定條件既是必要的又是充分的。 失調(diào) 在自適應(yīng)濾波器中，失調(diào)（ Misnadjustment） M 是衡量其濾波性能的一個(gè)技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值 )(?ex? 與最小均方誤差值 min? 之比，即 M= （ 228） 把式 （ 226）代入上式中，得到 M= （ 229） 通常所用 μ值很小，因此，失調(diào)又可近似表示為 ??????? MiiMiiRKtr11m in2)]([?????????? MiiMii11min2 ????????? Mi i120??][2 20 Rtr?? ?min)]([?? ?exE????? MiiMii112 ???? 16 M= （ 230） 顯而易見，自適應(yīng)濾波器 LMS 算法的穩(wěn)態(tài)失調(diào)與步長 μ成正比。把算法的總體平均學(xué)習(xí)曲線的時(shí)間常數(shù) avmse)(? 寫成 av??2 的逆數(shù)，而平均特征值 av? 應(yīng)等 于 ，則濾波器穩(wěn)定失調(diào) M 又可由式 （ 229） 寫成 M= （ 231） 上面諸式表明： （ 1）失調(diào)為自適應(yīng) LMS 算法提供了一個(gè)很有用的測度，比如 10﹪失調(diào)意味著自適應(yīng)算法所產(chǎn)生的總體平均 MSE 高于最小均方誤差的增量值為 10﹪； （ 2）失調(diào)是隨濾波系數(shù)數(shù)目線性增加的； （ 3）失調(diào)可以做的任意小，只要選用大的時(shí)間常數(shù) avmse)(? ，也就是小的步長值即可。但是，濾波器自適應(yīng)收斂過程需要長的時(shí)間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器 LMS 算法的失調(diào)與自適應(yīng)收斂過程之間存在著矛盾，如何縮短收斂過程，而且 有很小的失調(diào)，這是值得研究的問題。 縮短收斂過程的方法 根據(jù)自適應(yīng)濾波器權(quán)系數(shù)調(diào)節(jié)的遞歸計(jì)算公式可以看出， LMS 算法的迭代公式為 為了縮短收斂過程，概括起來可以從如下三個(gè)方面進(jìn)行設(shè)計(jì)： 第一，采用不同的梯度估值 )(n?? ，如 LMS 牛頓算法，它估計(jì) ?? 時(shí)采用了輸入矢量相關(guān)函數(shù)的估值，使得收斂速度大大快于上述經(jīng)典的 LMS 算法，因?yàn)樗诘^程中采用了更多的有關(guān)輸入信號(hào)矢量的信息。 第二，對(duì)收斂因子步長 μ選用不同方 法。步長 μ 的大小決定著算法的收斂速度和達(dá)到穩(wěn)態(tài)的失調(diào)量的大小。對(duì)于常數(shù)的 μ值來說，收斂速度和失調(diào)量是一對(duì)矛盾，要想得到較快的收斂速度可選用大的 μ值，這將導(dǎo)致較大的失調(diào)量；如果要滿足失調(diào)量的要求，則收斂速度受到制約。因此，人們研究了采用變步長的方法來克服這一矛盾。自適應(yīng)過程開始時(shí)，取用較大的 μ值以保證較快的收斂速度，然后讓 μ值逐漸減小，以保證收斂后得到較小的失調(diào)量?，F(xiàn)在已有不同準(zhǔn)則來調(diào)整步長 μ，如歸一化 LMS 算法、時(shí)域正交化 LMS 算法等。 第三，采用變換域分塊處理技術(shù)。對(duì)由濾波器權(quán)系數(shù)矢量調(diào)整的修正項(xiàng)中的乘積 用變換域快速算法與分塊處理技術(shù)可以大大減少計(jì)算量，且能改善收斂特性，如頻域 LMS 算法、??Mi i121 ??AVms e MavM ??? 21)(4 ?)()()()]([21)()1(nxnenwnnwnw????????? ???Mk kM 11 ? 17 分塊 LMS 算法等。 第三章 LMS 自適應(yīng)濾波器的改進(jìn)形式 文獻(xiàn)中已經(jīng)提出了許多基于 LMS 算法的改進(jìn)的自適應(yīng)算法。這些算法的共同特點(diǎn)是從LMS 算法出發(fā)，試圖改進(jìn) LMS 算法的某些性能，包括 LMS 算法的收斂特性，減小穩(wěn)態(tài)均方誤差，減小計(jì)算復(fù)雜度。 18 歸一化 LMS 算法 如果不希望用與估計(jì)輸入信號(hào)矢量有關(guān)的相關(guān)矩陣來加快 LMS 算法的收斂速度， 那么可用變步長方法來縮短其自適應(yīng)收斂過程 ，其中一個(gè)主要的方法是歸一化 LMS（ Normalized LMS,縮寫為 NLMS）算法 [68]，變步長 μ（ n）的更新公式由式（ 28）寫成 )()()()()()()1( nwnwnxnennwnw ?????? ? （ 31） 式中， )()()()( nxnennw ??? 表示濾波權(quán)系數(shù)矢量迭代更新的調(diào)整量。為了達(dá)到快速收斂的目的，必須合適地選擇變步長 μ（ n）的值，一個(gè)可能的策略是盡可能多的減小瞬時(shí)平方誤差，即用瞬時(shí)平方誤差作為均方誤差 MSE 的簡單估計(jì)，這也是 LMS 算法的基本思想 [6]。瞬時(shí)平方誤差可以寫成 22 )]()()([)( nwnxndne T?