【正文】 ))1( nmmxwdxxmwTTT ?????????????????? ?17 （320）這與上面討論的歸一化 LMS 算法的權(quán)矢量更新公式相類似。按上式對(duì)權(quán)系數(shù)矢量取偏導(dǎo)數(shù)，并令其等于零，得到時(shí)域正交準(zhǔn)則下序列 x(n)對(duì) d(n)進(jìn)行線性估計(jì)的最佳權(quán)系數(shù)矢量 ，即0w （ 318a）或 （318b）這意味著用時(shí)域正交 LMS 算法的權(quán)矢量更新運(yùn)算公式，可對(duì)線性估計(jì)的權(quán)矢量作自適應(yīng)調(diào)整，使其逐步趨于最佳值。它們都屬于可變步長的 LMS 算法，可以縮短自適應(yīng)收斂過程的時(shí)間。當(dāng)然，NLMS 算法的計(jì)算量較之 LMS 算法稍有些增加。此時(shí)，最佳濾波權(quán)矢量 變成合宜的線性權(quán)系數(shù)矢量。同時(shí)，我們由式（311）可以看出，當(dāng)且僅當(dāng) 時(shí)，歸一R? 0)(wnxdT??化 LMS 算法的均方誤差可等于零。所以步長變化的范圍比較大，可由較好的收斂性能?，F(xiàn)在我們來討論這個(gè)問題。通常稱式（37）為歸一化 LMS 算法的迭代公式。瞬時(shí)平方誤差可以寫成 22 )]()([)( nwxndeT?? （32）)()(2)()(2 nxwdnxTT??如果濾波權(quán)系數(shù)矢量的變化量 ，則對(duì)應(yīng)的平方誤差 可以由上)(??2e式得到（33）在此情況下，瞬時(shí)平方誤差的變化量 定義為)(2ne?)()(23ne??? （34）)()()( nwxnwxwTTT ??把 的關(guān)系代入式（34）中，得到)()(xnw? （35）2222 )]()[()()(enene TT??為了增加收斂速度，合適地選取 μ（n）使平方誤差最小化，故將式（ 35）對(duì)變系數(shù)μ（n）求偏導(dǎo)數(shù)，并令其等于零，求得 （36）這個(gè)步長值 μ（n）導(dǎo)致 出現(xiàn)負(fù)的值，這對(duì)應(yīng)于 的最小點(diǎn)，相當(dāng)于平方誤)(2ne?)(2ne?差 等于零。 歸一化 LMS 算法如果不希望用與估計(jì)輸入信號(hào)矢量有關(guān)的相關(guān)矩陣來加快 LMS 算法的收斂速度，那么可用變步長方法來縮短其自適應(yīng)收斂過程，其中一個(gè)主要的方法是歸一化 LMS（Normalized LMS,縮寫為 NLMS）算法 [68]，變步長 μ（n）的更新公式由式（28）寫成 （31）)()()()()()1( nwxewn ??????式中， 表示濾波權(quán)系數(shù)矢量迭代更新的調(diào)整量。AVmseMav???21)(4?)()()]([21xewnn?????13第三章 LMS 自適應(yīng)濾波器的改進(jìn)形式文獻(xiàn)中已經(jīng)提出了許多基于 LMS 算法的改進(jìn)的自適應(yīng)算法。第三，采用變換域分塊處理技術(shù)。自適應(yīng)過程開始時(shí)，取用較大的 μ 值以保證較快的收斂速度，然后讓 μ 值逐漸減小，以保證收斂后得到較小的失調(diào)量。對(duì)于常數(shù)的 μ 值來說，收斂速度和失調(diào)量是一對(duì)矛盾，要想得到較快的收斂速度可選用大的 μ 值，這將導(dǎo)致較大的失調(diào)量；如果要滿足失調(diào)量的要求，則收斂速度受到制約。第二，對(duì)收斂因子步長 μ 選用不同方法。avmse)(?但是，濾波器自適應(yīng)收斂過程需要長的時(shí)間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器 LMS 算法的失調(diào)與自適應(yīng)收斂過程之間存在著矛盾，如何縮短收斂過程，而且有很小的失調(diào)，這是值得研究的問題。 失調(diào)在自適應(yīng)濾波器中，失調(diào)（Misnadjustment）M 是衡量其濾波性能的一個(gè)技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值 與最小均方誤差值 之比，即)(?ex?min?M= （228）把式（226）代入上式中，得到 M= （229） 通常所用 μ 值很小，因此，失調(diào)又可近似表示為 M= （230）顯而易見，自適應(yīng)濾波器 LMS 算法的穩(wěn)態(tài)失調(diào)與步長 μ 成正比。i?當(dāng)此條件被滿足時(shí)，LMS 算法是絕對(duì)收斂的，這是從均方值域保證穩(wěn)定的條件。注意到矩陣 是實(shí)值，并且令 （221b）)()(nXnKH注意，這里 X(n)是一個(gè)對(duì)角線矩陣。首先把式（211）遞歸計(jì)算式寫成 )]()([)()]([)1( minexwxnInwH???????這里， 。為了求總體平均 RMS，對(duì)式（217）兩0)(wn???邊取數(shù)學(xué)期望值，有 )]([)]([minnwREEH????由矩陣?yán)碚撝械仁?，上式右邊第二項(xiàng)可以可寫成)]}({TTabtrab?)()(minnwRH???10 （218）)]([)]([ nRKtrwnEH??式中 K(n)= ，稱之為濾波權(quán)系數(shù)誤差的相關(guān)矩陣，因此，平均 RMS 可以寫)]([nwEH?出 （219）)]([)]([mintr??式中，K（n）可以遞歸地進(jìn)行計(jì)算。但是，對(duì)于自適應(yīng)橫向?yàn)V波器總體來說，假設(shè)每個(gè)濾波器 LMS 算法用相同的步長 μ 和同等的起始系數(shù)矢量 w(0)，并從同一統(tǒng)計(jì)群體隨機(jī)地選取各個(gè)平穩(wěn)的各態(tài)歷經(jīng)的輸入信號(hào)，由此計(jì)算自適應(yīng)濾波器總體平均學(xué)習(xí)曲線。顯而易見，由于上式中 ，故當(dāng) n→∞,最陡下降算法均方誤差 ξ（∞）=λ LMS 算法用瞬時(shí)1??i??值估計(jì)梯度存在誤差的噪聲估計(jì)，結(jié)果使濾波器權(quán)矢量估值 只能近似于最佳維納解，)(nw?這意味著濾波均方誤差 隨著迭代次數(shù) n 的增加而出現(xiàn)小波動(dòng)地減少，最后，ξ（∞）不)(n?是等于 λ min而是稍大于其值，如圖 23 所示。在此條件下，當(dāng)?shù)?jì)算次數(shù) n 接近于 時(shí)，自適應(yīng)max? ?濾波系數(shù) w(n)近似等于最佳維納解 w0. 平均 MSE——學(xué)習(xí)曲線如前節(jié)所述，最陡下降算法每次迭代都要精確計(jì)算梯度矢量，使自適應(yīng)橫向?yàn)V波器權(quán)矢量或?yàn)V波系數(shù)矢量 w(n)能達(dá)到最佳維納解 w0 ，這時(shí)濾波器均方誤差（MSE）為最小，即式中， 是期望信號(hào) d(n)的方差。由此可簡寫成 （213）我們可以看出，LMS 算法與前述最陡下降算法有相同的精確數(shù)學(xué)表達(dá)式。如將 移至等式左邊，則0 等于系數(shù)誤差的跟新值，于是上式可寫成)1(?nΔw(n+1)= （211）])()([)(])([ 0nxdnxwnxI HH??????對(duì)于上式兩邊取數(shù)學(xué)期望，得到 ])()([)]}()({[)]1([ 0wEnxIEnw HH?????? = 0[}[( nxEndx??= （212）)()])( 0RPwRI????顯然，上式中 R 為輸入信號(hào)矢量 x(n)的相關(guān)矩陣，而 P 為輸入信號(hào)矢量 x(n)與期望信號(hào)d(n)的互相關(guān)矩陣。盡管如此，LMS 算法的實(shí)踐經(jīng)驗(yàn)證明，在有足夠的關(guān)于自適應(yīng)過程結(jié)構(gòu)信息的條件下，基于這些假設(shè)所分析的結(jié)果仍可用作可靠的設(shè)計(jì)指導(dǎo)準(zhǔn)則，技術(shù)某些問題帶有依賴的數(shù)據(jù)樣本。這點(diǎn)是很有用的，而且在后續(xù)分析中將被重復(fù)使用。（3） 濾波器系數(shù)矢量的起始值 。通常，將基于上述基本假設(shè)的 LMS 算法的統(tǒng)計(jì)分析稱為獨(dú)立理論（Gendependence Theory） [6].由式（26 ）可知，自適應(yīng)濾波器在 n+1 時(shí)刻的濾波系數(shù)矢量 依賴與三個(gè)輸入：)1(??nw（1） 輸入過程的過去樣本矢量 x(k), k=n,n1,…,0。 k=0,1,…,n1 (210) (3) 期望信號(hào)樣本 d(n)依賴于輸入過程樣本矢量 x(n)，但全部過去的期望信號(hào)樣本是獨(dú)立的。通常為了簡化 LMS 算法的統(tǒng)計(jì)分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：(1) 每個(gè)輸入信號(hào)樣本矢量 x(n)與過去全部樣本矢量 x(k),k=0,1,…,n1 是統(tǒng)計(jì)獨(dú)立的，不相關(guān)的，即有E[x(n)xH(k)]=0。下面我們來分析 LMS 算法的性能。由此可見，自適應(yīng) LMS 算法簡單，它既不要計(jì)算輸入信號(hào)的相關(guān)函數(shù)，又不要求矩陣之逆，因而得到了廣泛的應(yīng)用。ΣIz1I+e(n)d(n)w(n+1) w(n))(2)(][)(2nxenw????)()()]([21nxew???????])[()1( xwxwnH??? ????7LMS 算法的計(jì)算，其步驟如下。所以，按照自適應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計(jì))(n??)(n?的方向之間的關(guān)系，可以先寫出 LMS 算法的公式如下： （25a ） （25b ）將式 e(n)=d(n)y(n)和式（ 21）代入到上式中，可得到 = )()(])([ ndxwnxIH????? （26）圖 22 自適應(yīng) LMS 算法信號(hào)流圖由上式可以得到自適應(yīng) LMS 算法的信號(hào)流圖，這是一個(gè)具有反饋形式的模型，如圖 22所示。為了減少計(jì)算復(fù)雜度和縮短自適應(yīng)收斂時(shí)間許多學(xué)者對(duì)這方面的新算法進(jìn)行了研究。 定義均方誤差 J(n)為代價(jià)函數(shù)，因?yàn)闉V波器在 n 時(shí)刻的估計(jì)誤差 e(n)=d(n)wHx(n) (21)所以代價(jià)函數(shù)6 J(n)=E{|e(n)|2}=E{|d(n)wH(n)|2} (22)由此可得 J(n)的梯度 ▽J(n)=2 E{x(n) H(n)}w(n)2E{x(n)d ﹡ (n)} (23) LMS 算法最陡下降算法不需要知道誤差特性曲面的先驗(yàn)知識(shí)，其算法就能收斂到最佳維納解，且與起始條件無關(guān) [6]。圖 21FIR 濾波器的自適應(yīng)實(shí)現(xiàn) 圖 為 FIR 濾波器的自適應(yīng)實(shí)現(xiàn)的原理圖。自適應(yīng)高斯牛頓算法包括 RLS 算法及其變型和改進(jìn)型，自適應(yīng)梯度算法包括 LMS 算法及其變型和改進(jìn)型 [2,6]。其應(yīng)用還有噪聲中信號(hào)的濾波、跟蹤、譜線增強(qiáng)以及預(yù)測等。自適應(yīng)束波形成通過調(diào)節(jié)天線各陣元的加權(quán)幅度和相位，來改變陣列的方向圖，使陣列天線的主瓣對(duì)準(zhǔn)期望用戶，從而提高接收信噪比，滿足某一準(zhǔn)則下的最佳接收。頻譜資源越來越緊張，利用現(xiàn)有頻譜資源進(jìn)一步擴(kuò)展容量成為通信發(fā)展的一個(gè)重要問題。分析語音波形時(shí)作預(yù)測器使用，合成語音時(shí)作話音生成模型使用。合成器實(shí)際上是一個(gè)離散的隨時(shí)間變化的時(shí)變線性濾波器。近年來，對(duì)語音波形進(jìn)行編碼，它可以大大降低數(shù)據(jù)傳輸率。消除心電圖中的電源干擾就是它的一個(gè)具體應(yīng)用。這種回波能對(duì)高速數(shù)據(jù)傳輸造成災(zāi)難性的后果?；夭ㄏ?Echo Cancellation)。自適應(yīng)信道均衡(Adaptive Channel Equlization)。它主要包括以下幾個(gè)方面的應(yīng)用：系統(tǒng)辨識(shí)和建模(System Identification and Modeling)。由于 LMS 算法的廣泛應(yīng)用，以及在實(shí)際條件下，為解決實(shí)際問題，基于LMS 算法的新 LMS 類算法不斷出現(xiàn)。此外，還有復(fù)數(shù) LMS 算法、數(shù)據(jù)塊 LMS 算法等，在此就不一一列舉了。Herzberg、cohen 和 be’ery 提出了延時(shí) LMS（DLMS）算法。隨后又發(fā)展出了歸一化算法和加遺忘因子 LMS 算法。對(duì)于上述兩類自適應(yīng)濾波器，還可以根據(jù)不同的濾波理論和算法，分為結(jié)構(gòu)不同的自適應(yīng)濾波器，它們的濾波器性能也不完全相同。在圖 11 中，離散時(shí)間線性系統(tǒng)可以分為兩類基本結(jié)構(gòu)，其中一類為非遞歸型橫向結(jié)構(gòu)的數(shù)字濾波器，它具有有限的記憶，因而稱之為有限沖激響應(yīng)（FIR）系統(tǒng)，即自適應(yīng) FIR濾波器。通常，自適應(yīng)濾波器是線性的，因而也是一種線性移變?yōu)V波器。這里，期望響應(yīng)信號(hào) d(n) 是根據(jù)不同用途來選擇的，自適應(yīng)濾波器的輸出信號(hào) y(n)是對(duì)期望響應(yīng)信號(hào) d(n)進(jìn)行估計(jì)的，濾波參數(shù)受誤差信號(hào) e(n)的控制并自動(dòng)調(diào)整，使 y(n)得估計(jì)值 等于所期望的響應(yīng) d(n).因)(?ny此，自適應(yīng)濾波器與普通濾波器不同，它的沖擊響應(yīng)或?yàn)V波參數(shù)是隨