【正文】 為此 ， 我們先引入一個(gè)著名的結(jié)果 —— 矩陣求逆引理 。 從而 ， 有下列的簡化結(jié)果： )()()()()(0)()( 1112 nenXnRieiXnRnW Tni Tin ?? ?? ? ?? (515) 將式 (513)和 (514)代入 (512)， 則得 )()()()1()( 1 nenXnRnWnW T???? (516) 式 (515)描述了一個(gè)濾波器參數(shù)受其輸入誤差 )(ne 控制的自適應(yīng)濾波算法 ， 被稱作遞歸最小二乘 (RLS)。 利用此公式 ， 可以將式 (57)的 )(nU 改寫作 (512) 注意到 )1()()()()()1( ??? iWiXiXiXiXiW TT 和式 (511)， 用 )(1nR? 式乘上式后得到 ： )()()()()()1()()()()( 211 111 nWnWieiXnRiWiXiXnRnW niniTinTin ????? ? ?? ????? ?? (513) 為了簡化第一項(xiàng) )(1nW 的表達(dá) ， 并建立 )(nW 與 )1( ?nW 之間的關(guān)系 ， 一種合理的想法是認(rèn)為 1?n 時(shí)刻及其以前時(shí)刻的濾波器參數(shù)相同 ， 即： ?? )1()0( WW …… . )1( ?? nW 這樣 ， 利用式 (57)及上述假定 ， 就有 (514) )1()1()()()()(111 ???? ???? nWnWiXiXnRnW niTin?燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 25 另一方面 ， 為了簡化 )(2nW 的表達(dá) ， 一種合理的想法就是：認(rèn)為遺忘因子 0?? 。 第二 ， )(nW 與預(yù)測誤差 )(ne 之間也未建立任 何關(guān)系 ， 不能達(dá)到根據(jù)預(yù)測誤差 )(ne 來調(diào)整濾波器參數(shù)的要求 。 依據(jù)式 (510)來調(diào)整濾波器參數(shù)有兩處不便 。 由 燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 24 ? ? ? ? 0)()()(2)()(),( 11 2 ?????? ???? ?? ? ?? ? iXiXWixiXWixWW Wn ni Tinni Tin ??? (55) 可得到等價(jià)關(guān)系式 ： ? ?? ? ?? ?ni ni inTin iXixWiXiX1 1 )()()()( ?? (56) 若令： ???? niTin iXiXnR1 )()()( ? (57) ?? ?? ni in iXixnU 1 )()()( ? (58) 則式 (56)可簡寫為： )()()( nUnWnR ? (59) 假定 )(nR 是非奇異的 ， 則： )()()( 1 nUnRnW ?? (510) 這就是濾波器濾波參數(shù)的公式 ， 之所以記作 )(nW ， 是因?yàn)?W 隨著時(shí)間而改變 。 具體的 ， 考慮到 ???? niin ieWn12)(),( ?? (54) 的最小化 。 但是由于真實(shí)信號(hào) )(ns 未知 ， 故 )(n? 是不可觀測的或無法計(jì)算的 。 此時(shí) ， 一方面 ， 恢復(fù)誤差 ： )()()( nXWnsn T??? (51) 另一方面 ， 可以將 )(nXWT 視作為 )(nx 的預(yù)測 。 遞歸最小二乘 (RLS)算法 這一節(jié)主要介紹遞歸最小二乘法 (RLS)算法是一種快速收斂的算法 ， 該算法判決依據(jù)是直接處理接受數(shù)據(jù) ， 使其二次性能指數(shù)函數(shù)最小 ， 而前面所述的 LMS 算法則是使平方誤差的期望值最小 。 RLS算法能實(shí)現(xiàn)快速收斂 ， 即使是在輸入信號(hào)相關(guān)矩陣的特征值擴(kuò)展比較大的情況下 。 燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 23 第 5 章 RLS 自適應(yīng)濾波算法分析 引言 最小二乘 (LS， Leastsquare)算法旨在期望信號(hào)與模型濾波器輸出之差的平方和達(dá)到最小 。 猶豫傳統(tǒng)的 LMS算法有很多不足的 ， 所 以人們通過改進(jìn) ， 研究出很多種變步長 LMS算法 。 本章小結(jié) 本章詳細(xì)介紹了 LMS算法 ， 并對(duì)與其性能相關(guān)的各個(gè)方面進(jìn)行了討論 。 但是 固定步長的 LMS自適應(yīng)算法在收斂速率、跟蹤速率及權(quán)失調(diào)噪聲之間的要求是相互矛盾的 ，為了克服這一缺點(diǎn) ， 人們研究出了各 種各樣的變步長 LMS的改進(jìn)算法 。 從收斂速度的角度考慮 ， 步長因子 ? 應(yīng)該盡可能大 ， 再看信號(hào)環(huán)境 ， 即 xxR 的特性對(duì)算法收斂性能的影響如果當(dāng)特征值的分布范圍較大 ，即最大特征值和最小特征值之比較大時(shí) ， 公比的取值幅度也將比較大 ， 算法的總的收斂速度將會(huì)變得比較慢 。 關(guān)于 LMS 算法的收斂速度 ， 將討論兩點(diǎn)：第一 ， 對(duì)一個(gè)特定的信號(hào)環(huán)境 ， 收斂速度和步長因子 ? 有何關(guān)系 。 這些影響主要表現(xiàn)為算法的失調(diào) ， 而失調(diào)的嚴(yán)重程度 ， 則和 ? 的取值存在直接關(guān)系 。 從收斂速度的角度考慮 ， 步長因子 ? 應(yīng)該盡可能大 ， 但較大的 ? 取值卻會(huì)加重算法的失調(diào) 。 為減小失調(diào) ， 需要設(shè)置較小的步長因子 ， 這會(huì)使算法的收斂速度降低 ， 這構(gòu)成了一對(duì)矛盾 。 在最小均方差 (LMS)算法中 ， 步長因子 ? 的取值對(duì)算法的性能有著非常重要的影響 ， 這些影響包括：算法的穩(wěn)定性、算法的收斂速度、算法 的擾動(dòng)和失調(diào) 。 它控制了算法穩(wěn)定性和自適應(yīng)速度 ， 如果 ? 很小 ， 算法的自適應(yīng)速度會(huì)很慢 ； 如果 ? 很大 ， 算法會(huì)變得不穩(wěn)定 。 自適應(yīng)濾波器收斂的條件是： max10 ???? (420) 燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 21 其中 max? 是輸入信號(hào)的自相關(guān)矩陣 R 的最大特征值 。 其輸出信號(hào) ()yk 、輸出誤差 ()ek 及權(quán)系數(shù) ()Wk的計(jì)算公式為： [17] )()()()()(2)()1()()()()()()(knkxkdkXknWkWkykdkekXkWkyeT????????? (417) k 為迭代次數(shù) ， M 為濾波器的階數(shù) 。 精確計(jì)算梯度 )(n? 是十分困難的 。 根據(jù)這個(gè)最速下降法 ， “下一時(shí)刻” 權(quán) 系數(shù)向量 )1( ?nW 應(yīng)該等于“現(xiàn)時(shí)刻”權(quán)系數(shù)向量)(nW 加上一個(gè)負(fù)均方誤差梯度 )(n?? 的比例項(xiàng) ， 即 )()()1( nnWnW ???? ? (412) 式中的 ? 是一個(gè)控制收斂速度與穩(wěn)定性的常數(shù) ， 稱之為收斂因子 。 Widrow 和 Hoff 提出了一種在這些先驗(yàn)統(tǒng)計(jì)知識(shí)未知時(shí)求 optW 的近似值的方法 ， 習(xí)慣上稱之為 WidrowHoff LMS 算法 。 可以用梯度法來求該最小值 。 [16] 令 N 階 FIR 濾波器的抽頭 系數(shù)為 )(nwi ， 濾波器的輸入和輸出分別為)(nx 和 )(ny ， 則 FIR 橫向?yàn)V波器方程可表示為： (41) 令 )(nd 代表“所期望的響應(yīng)” ， 并定義誤差信號(hào)： )()()()()()( 1 inxnwndnyndne Ni i ????? ?? (42) 采用向量形式表示權(quán)系數(shù)及輸入 w 和 )(nX ， 可以將誤差信號(hào) )(ne 寫作 )()()( 1 inxnwny Ni i ?? ??燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 19 WnXndnXWndne TT )()()()()( ???? (43) 誤差的平方為 ： WnXnXWWnXndndne TTT )()()()(2)()( 22 ??? (44) 上式兩邊取數(shù)學(xué)期望后 ， 得均方誤差 ： WnXnXEWWnXndEndEneE TTT )}()({)}()({2)}({)}({ 22 ??? (45) 定義互相關(guān)函數(shù)向量 ： ? ?( ) ( )TTXdR Ed n X n? (46) 和自相關(guān)函數(shù)矩陣： )}()({ nXnXER TXX ? (47) 所以均方誤差可表述為： WRWWRndEneE XXTTXd ??? 2)}({)}({ 22 (48) 這表明均方誤差是權(quán)系數(shù)向量 W 的二次函數(shù) ， 它是一個(gè)凹的拋物形曲面 ， 是具有唯一最小值的函數(shù) 。 絕大多數(shù)對(duì)自適應(yīng)濾波器的研究是基于由 Widrow 提出的 LMS 算法 。 減小步長因子產(chǎn)可降低自適應(yīng)濾波算法的穩(wěn)態(tài)失調(diào) ， 提高算法的收斂精度 。 由于主輸入端不可避免地存在干擾噪聲 ， 自適應(yīng)濾波算法將產(chǎn)生參數(shù)失調(diào)噪聲 。 LMS算法的基本原理是基于最速下降法 ， 即沿著權(quán)值的梯度估值的負(fù)方向進(jìn)行搜索 ， 達(dá)到權(quán)值最優(yōu) ， 實(shí)現(xiàn)均方誤差最小意義下的自適應(yīng)濾波 。 燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 18 第 4 章 LMS 自適應(yīng)濾波算法分析 引言 LMS算法是 1960年 由 Widrow和 Hoff提出的最小均方誤差 (LMS)算法 ，LMS算法是基于估計(jì)梯度的最速下降算法 的 ， 由于采用粗糙的梯度估計(jì)值得到的 ， 從而其算法性能欠佳 ， 應(yīng)用范圍受限 ， 但是 因?yàn)槠渚哂杏?jì)算量小、易于實(shí)現(xiàn)等優(yōu)點(diǎn)而在實(shí)踐中被廣泛采用 。 LMS 算法是最基本的自適應(yīng)濾波算法 。 矩陣的 QR 分解具有良好的數(shù)值穩(wěn)定性 。 共扼梯度自適應(yīng)濾波算法的提出是為了降 低 RLS 類算法的復(fù)雜性和克服某些快速 RLS 算法存在的數(shù)值穩(wěn)定性問題 。 變換域類算法亦是想通過作某些正交變換使輸入信號(hào)自相關(guān)矩陣的特征值發(fā)散程度變小 ， 提高收斂速度 。 LMS 自適應(yīng)濾波算法雖然解決了收斂速度、時(shí)變系統(tǒng)跟蹤速度與收斂精度方面對(duì)算法調(diào)整步長因子 ? 的矛盾 ， 但變步長中的其它參數(shù)的選取還需實(shí)驗(yàn)來確定 ， 應(yīng)用起來不太方便 。 [14]這類算法主要有 ： Periodic LMS 算法 ， MMax NLMS燕山大學(xué)本科畢業(yè)設(shè)計(jì) (論文 ) 17 算法和 Max NLMS 算法 。 其他自適應(yīng)濾波算法 除了上面介紹的自適應(yīng)濾波算法之外 ， 還有一些其它的算法 ， 如 ： 系數(shù)部分更新自適應(yīng)濾波算法、 LMF(RLF)算法、 LeakyLMS 算法等 。 各種 OR分解的快速自適應(yīng)濾波算法可以直接計(jì)算估計(jì)誤差 ， 并不需要更新權(quán)系數(shù)向量 。 OR分解類自適應(yīng)濾波算法有以下三種 ：QRRLS算法 ； Extended QRRLS算法 ； Inverse ORRLS算法 。 為了提高信號(hào)子帶分解自適應(yīng)濾波器的收斂速度 ， Deleon等認(rèn)為 ， 經(jīng)過子帶分解后 ， 抽取引起部分信號(hào)的浪費(fèi) ， 采用Multirate Reoeating Method可以利用那些被浪費(fèi)的信號(hào)成分 ， 通過增加單位時(shí)間內(nèi)對(duì)權(quán)值的更新次數(shù) ， 獲得更快的收斂速度 。 為了避免混疊對(duì)自適應(yīng)濾波的影響 ， Gilloire采用加入子帶間濾波的方法 ， 而Peraglia等采取在抽取時(shí)過采樣的方法 。 其中 ， 由于對(duì)信號(hào)進(jìn)行了抽取 ， 使完成自適應(yīng)濾波所需的計(jì)算量得以減小 ； 而在子帶上進(jìn)行自適應(yīng)濾波使收斂性能又有所提高 。 Alan等提供和分析了共扼梯度法在自適應(yīng)濾波 中的兩種實(shí)現(xiàn)方法 ， 這兩種方法對(duì)原始的共軛梯度法作了一些修改 ， 并且對(duì)這兩種算法的收斂性能和失調(diào)作了比較 ， 建立了算法的穩(wěn)定范 圍 。 一些快速 RLS算法雖然降低了 RLS算法的計(jì)算復(fù)雜度 ， 但都存在數(shù)值穩(wěn)定性問題 。 共軛梯度算法 雖然 RLS算法收斂速度快 ， 但其計(jì)算復(fù)雜度很高 ， 因?yàn)樗枰烙?jì)逆矩陣 。 快速仿射投影算法的計(jì)算復(fù)雜度雖然降低了 ， 但其內(nèi)嵌的滑動(dòng)窗快速橫向?yàn)V波器算法的實(shí)現(xiàn)相對(duì)復(fù)雜 ， 并且存在數(shù)值穩(wěn)定性問題 。 Gay等提出的快速仿射投影算法大大降低了仿射投影算法的計(jì)算復(fù)雜度 。 歸一化最小均方誤差 (NLMS)算法是 LMS算法的改進(jìn)算法 ， 它可 以看作是一種變步長因子的 LMS算法 ， 其收斂性能對(duì)輸入信號(hào)的能量變化不敏感 。 仿射投影算法 仿射投影算法最早由 KOzeki和 ， 它是歸一化最小均方誤差 (NLMS)算法的推廣 。 自適應(yīng)濾波器的權(quán)系數(shù)定義為： ( ) ( )W n Tw n? ；濾波器的輸出信號(hào)為 ：()yn W? T ( ) ( )n Xn ；誤差信號(hào)為： ( ) ( ) ( )e n d n y n??；權(quán)系數(shù)向量的迭代方程為： 1( 1 ) ( ) 2 ( ) ( ) ( )W n W n u e n p n X n?? ? ? (33)