【文章內(nèi)容簡(jiǎn)介】 投影算法，它是歸一化最小均方誤差(NLMS)算法的推廣。仿射投影算法的性能介于LMS算法和RLS算法之間，其計(jì)算復(fù)雜度比RLS算法低。歸一化最小均方誤差(NLMS)算法是LMS算法的改進(jìn)算法，它可以看作是一種變步長(zhǎng)因子的LMS算法，其收斂性能對(duì)輸入信號(hào)的能量變化不敏感。而仿射投影算法的計(jì)算復(fù)雜度比NLMS算法高很多。Gay等提出的快速仿射投影算法大大降低了仿射投影算法的計(jì)算復(fù)雜度。在快速仿射投影算法中，采用滑動(dòng)窗快速橫向?yàn)V波器算法計(jì)算預(yù)濾波向量，避免了矩陣求逆運(yùn)算?？焖俜律渫队八惴ǖ挠?jì)算復(fù)雜度雖然降低了，但其內(nèi)嵌的滑動(dòng)窗快速橫向?yàn)V波器算法的實(shí)現(xiàn)相對(duì)復(fù)雜，并且存在數(shù)值穩(wěn)定性問(wèn)題。為解決快速仿射投影算法的數(shù)值穩(wěn)定性問(wèn)題，Douglas等提出了正交變換的快速仿射投影算法的近似算法，避免了采用復(fù)雜的滑動(dòng)窗快速橫向?yàn)V波器算法，改善了快速仿射投影算法在有限精度運(yùn)算時(shí)的數(shù)值穩(wěn)定性。 共軛梯度算法雖然RLS算法收斂速度快，但其計(jì)算復(fù)雜度很高，因?yàn)樗枰烙?jì)逆矩陣。假如被估計(jì)的逆矩陣失去正定性，就會(huì)引起算法發(fā)散；并且算法實(shí)現(xiàn)所需的存儲(chǔ)量極大，不利于實(shí)現(xiàn)。一些快速RLS算法雖然降低了RLS算法的計(jì)算復(fù)雜度，但都存在數(shù)值穩(wěn)定性問(wèn)題。共扼梯度自適應(yīng)濾波算法不含有RLS算法中的矩陣運(yùn)算，也沒(méi)有某些快速RLS算法存在的數(shù)值穩(wěn)定性問(wèn)題，它保留了RLS算法收斂速度快的特點(diǎn)。Alan等提供和分析了共扼梯度法在自適應(yīng)濾波中的兩種實(shí)現(xiàn)方法，這兩種方法對(duì)原始的共軛梯度法作了一些修改，并且對(duì)這兩種算法的收斂性能和失調(diào)作了比較，建立了算法的穩(wěn)定范圍。[13] 基于子帶分解的自適應(yīng)濾波算法基于子帶分解自適應(yīng)濾波的基本原理是將輸入信號(hào)與參考信號(hào)經(jīng)過(guò)分解濾波器組抽取進(jìn)行子帶分解，對(duì)信號(hào)按頻帶劃分，然后在各個(gè)子帶上分別進(jìn)行自適應(yīng)濾波，再將子帶信號(hào)內(nèi)插后通過(guò)合成濾波器組得到最后的合成信號(hào)。其中，由于對(duì)信號(hào)進(jìn)行了抽取，使完成自適應(yīng)濾波所需的計(jì)算量得以減??；而在子帶上進(jìn)行自適應(yīng)濾波使收斂性能又有所提高。在信號(hào)的子帶分解中，存在著由于分解濾波器組的非理想特性引起的子帶信號(hào)混疊的問(wèn)題。為了避免混疊對(duì)自適應(yīng)濾波的影響，Gilloire采用加入子帶間濾波的方法，而Peraglia等采取在抽取時(shí)過(guò)采樣的方法。一般來(lái)說(shuō)，信號(hào)的子帶分解處理有如下優(yōu)點(diǎn)：采樣間隔增大引起自適應(yīng)漣波算法及應(yīng)用研究濾波器抽頭數(shù)目減少，減小了計(jì)算復(fù)雜性：采樣間隔擴(kuò)大后，輸入信號(hào)本身的自相關(guān)也減弱，可以提高算法的收斂性能。為了提高信號(hào)子帶分解自適應(yīng)濾波器的收斂速度，Deleon等認(rèn)為，經(jīng)過(guò)子帶分解后，抽取引起部分信號(hào)的浪費(fèi)，采用Multirate Reoeating Method可以利用那些被浪費(fèi)的信號(hào)成分，通過(guò)增加單位時(shí)間內(nèi)對(duì)權(quán)值的更新次數(shù)，獲得更快的收斂速度。 基于OR分解的自適應(yīng)濾波算法基于OR分解的遞推最小二乘自適應(yīng)濾波算法首先采用Givens旋轉(zhuǎn)變換把加權(quán)輸入信號(hào)矩陣變換為上三角矩陣，然后再利用回代求解三角矩陣方程，計(jì)算自適應(yīng)濾波器權(quán)系數(shù)向量。OR分解類自適應(yīng)濾波算法有以下三種：QRRLS算法；Extended QRRLS算法；Inverse ORRLS算法?；贠R分解的自適應(yīng)濾波算法對(duì)輸入信號(hào)矩陣直接進(jìn)行更新，因此在有限精度運(yùn)算條件下，具有良好的數(shù)值穩(wěn)定性。各種OR分解的快速自適應(yīng)濾波算法可以直接計(jì)算估計(jì)誤差，并不需要更新權(quán)系數(shù)向量。而基于逆OR分解的遞推最小二乘自適應(yīng)濾波算法可以直接更新權(quán)系數(shù)向量，并且避免了復(fù)雜的回代運(yùn)算。 其他自適應(yīng)濾波算法除了上面介紹的自適應(yīng)濾波算法之外，還有一些其它的算法，如：系數(shù)部分更新自適應(yīng)濾波算法、LMF(RLF)算法、LeakyLMS算法等。在一些自適應(yīng)濾波應(yīng)用中，即使簡(jiǎn)單的LMS(NLMS)算法實(shí)現(xiàn)起來(lái)也顯復(fù)雜，為此，系數(shù)部分更新自適應(yīng)濾波算法被提出，其主要思想是在自適應(yīng)濾波算法的每次迭代中，僅僅自適應(yīng)濾波器的部分系數(shù)被更新，這使得整個(gè)自適應(yīng)濾波算法的計(jì)算量有所降低。[14]這類算法主要有：Periodic LMS算法，MMax NLMS算法和Max NLMS算法。 自適應(yīng)濾波算法性能比較我們對(duì)各種類型的自適應(yīng)濾波算法進(jìn)行了簡(jiǎn)單的總結(jié)分析。LMS自適應(yīng)濾波算法雖然解決了收斂速度、時(shí)變系統(tǒng)跟蹤速度與收斂精度方面對(duì)算法調(diào)整步長(zhǎng)因子的矛盾，但變步長(zhǎng)中的其它參數(shù)的選取還需實(shí)驗(yàn)來(lái)確定，應(yīng)用起來(lái)不太方便。對(duì)RLS算法的各種改進(jìn)，其目的均是保留RLS算法收斂速度快的特點(diǎn)而降低其計(jì)算復(fù)雜性。變換域類算法亦是想通過(guò)作某些正交變換使輸入信號(hào)自相關(guān)矩陣的特征值發(fā)散程度變小，提高收斂速度。而仿射投影算法的性能介于LMS算法和RLS算法之間。共扼梯度自適應(yīng)濾波算法的提出是為了降低RLS類算法的復(fù)雜性和克服某些快速RLS算法存在的數(shù)值穩(wěn)定性問(wèn)題。信號(hào)的子帶分解能降低輸入信號(hào)的自相關(guān)矩陣的特征值發(fā)散程度，從而加快自適應(yīng)濾波算法的收斂速度，同時(shí)便于并行處理，帶來(lái)了一定的靈活性。矩陣的QR分解具有良好的數(shù)值穩(wěn)定性。 本章小結(jié)本章主要對(duì)自適應(yīng)濾波算法進(jìn)行了簡(jiǎn)單的介紹，其中介紹了八種現(xiàn)代應(yīng)用的自適應(yīng)濾波算法。LMS算法是最基本的自適應(yīng)濾波算法。本章并對(duì)這八種自適應(yīng)濾波算法收斂速度，計(jì)算復(fù)雜性，數(shù)值穩(wěn)定性的影響算法性能的元素進(jìn)行了較為簡(jiǎn)單的比較。第4章 LMS自適應(yīng)濾波算法分析 引言LMS算法是1960年由Widrow和Hoff提出的最小均方誤差(LMS)算法，LMS算法是基于估計(jì)梯度的最速下降算法的，由于采用粗糙的梯度估計(jì)值得到的，從而其算法性能欠佳，應(yīng)用范圍受限，但是因?yàn)槠渚哂杏?jì)算量小、易于實(shí)現(xiàn)等優(yōu)點(diǎn)而在實(shí)踐中被廣泛采用。典型的應(yīng)用領(lǐng)域有系統(tǒng)識(shí)別、信號(hào)處理和自適應(yīng)控制。LMS算法的基本原理是基于最速下降法，即沿著權(quán)值的梯度估值的負(fù)方向進(jìn)行搜索，達(dá)到權(quán)值最優(yōu)，實(shí)現(xiàn)均方誤差最小意義下的自適應(yīng)濾波。初始收斂速度、時(shí)變系統(tǒng)跟蹤能力及穩(wěn)態(tài)失調(diào)是衡量自適應(yīng)濾波算法優(yōu)劣的三個(gè)重要的技術(shù)指標(biāo)。由于主輸入端不可避免地存在干擾噪聲，自適應(yīng)濾波算法將產(chǎn)生參數(shù)失調(diào)噪聲。干擾噪聲越大，則引起的失調(diào)噪聲就越大。減小步長(zhǎng)因子產(chǎn)可降低自適應(yīng)濾波算法的穩(wěn)態(tài)失調(diào)，提高算法的收斂精度。[15] 最小均方差(LMS)算法LMS算法的判據(jù)是最小均方誤差，即理想信號(hào)與濾波器輸出之差的平方值的期望值最小，并且根據(jù)這個(gè)判據(jù)來(lái)修改權(quán)系數(shù)由此產(chǎn)生的算法稱為最小均方算法(LMS)。絕大多數(shù)對(duì)自適應(yīng)濾波器的研究是基于由Widrow提出的LMS算法。這是因?yàn)長(zhǎng)MS算法的設(shè)計(jì)和實(shí)現(xiàn)都比較簡(jiǎn)單，在很多應(yīng)用場(chǎng)合都非常適用。[16]令階FIR濾波器的抽頭系數(shù)為，濾波器的輸入和輸出分別為和，則FIR橫向?yàn)V波器方程可表示為：(41)令代表“所期望的響應(yīng)”，并定義誤差信號(hào)： (42) 采用向量形式表示權(quán)系數(shù)及輸入和，可以將誤差信號(hào)寫(xiě)作 (43)誤差的平方為： (44)上式兩邊取數(shù)學(xué)期望后，得均方誤差： (45)定義互相關(guān)函數(shù)向量： (46)和自相關(guān)函數(shù)矩陣： (47)所以均方誤差可表述為： (48)這表明均方誤差是權(quán)系數(shù)向量的二次函數(shù)，它是一個(gè)凹的拋物形曲面，是具有唯一最小值的函數(shù)。調(diào)節(jié)權(quán)系數(shù)使均方誤差為最小，相當(dāng)于沿拋物形曲面下降找最小值?？梢杂锰荻确▉?lái)求該最小值。將式(48)對(duì)權(quán)系數(shù)求導(dǎo)數(shù)，得到均方誤差函數(shù)的梯度： (49)令=0，即可以求出最佳權(quán)系數(shù)向量： (410)將代入式(48)，得最小均方誤差： (411)利用式(411)求最佳權(quán)系數(shù)向量的精確解需要知道和的先驗(yàn)統(tǒng)計(jì)知識(shí)，而且還需要進(jìn)行矩陣求逆等運(yùn)算。Widrow和Hoff提出了一種在這些先驗(yàn)統(tǒng)計(jì)知識(shí)未知時(shí)求的近似值的方法，習(xí)慣上稱之為WidrowHoff LMS算法。這種算法的根據(jù)是最優(yōu)化方法中的最速下降法。根據(jù)這個(gè)最速下降法，“下一時(shí)刻” 權(quán)系數(shù)向量應(yīng)該等于“現(xiàn)時(shí)刻”權(quán)系數(shù)向量加上一個(gè)負(fù)均方誤差梯度的比例項(xiàng)，即 (412)式中的是一個(gè)控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。不難看出，LMS算法有兩個(gè)關(guān)鍵：梯度的計(jì)算以及收斂因子的選擇。精確計(jì)算梯度是十分困難的。一種粗略的但是卻十分有效的計(jì)算的近似方法是：直接取作為均方誤差的估計(jì)值，即 (413)式中的為： (414)將(414)代入式(413)中，得到梯度估值： (415)于是，WidrowHoff LMS算法最終為： (416) 最小均方差(LMS)算法的性能分析LMS算法的性能準(zhǔn)則是采用瞬時(shí)平方誤差性能函數(shù)|e(k)|2代替均方誤差性能函數(shù)E{|e(k)|2}，其實(shí)質(zhì)是以當(dāng)前輸出誤差、當(dāng)前參考信號(hào)和當(dāng)前權(quán)系數(shù)求得下個(gè)時(shí)刻的權(quán)系數(shù)。其輸出信號(hào)、輸出誤差及權(quán)系數(shù)的計(jì)算公式為：[17] (417)為迭代次數(shù)，M為濾波器的階數(shù)。表示第時(shí)刻的輸入信號(hào)矢量式中，式中，表示參考信號(hào)的信號(hào)矢量： (418)、分別表示第時(shí)刻的輸出信號(hào)與輸出誤差，W(k)表示時(shí)刻權(quán)系數(shù)矢量： (419)表示LMS算法步長(zhǎng)收斂因子。自適應(yīng)濾波器收斂的條件是： (420)其中是輸入信號(hào)的自相關(guān)矩陣R的最大特征值。的選取必須在收斂速度和失調(diào)之間取得較好的折中，既要具有較快的收斂速度,又要使穩(wěn)態(tài)誤差最小。它控制了算法穩(wěn)定性和自適應(yīng)速度，如果很小，算法的自適應(yīng)速度會(huì)很慢；如果很大，算法會(huì)變得不穩(wěn)定。由于LMS算法結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小、穩(wěn)定性好，因此被廣泛應(yīng)用于系統(tǒng)辨識(shí)、信號(hào)增強(qiáng)、自適應(yīng)波束形成、噪聲消除以及控制領(lǐng)域等。在最小均方差(LMS)算法中，步長(zhǎng)因子的取值對(duì)算法的性能有著非常重要的影響，這些影響包括：算法的穩(wěn)定性、算法的收斂速度、算法的擾動(dòng)和失調(diào)。以下我們針對(duì)在這三方面的影響分別進(jìn)行討論。為減小失調(diào)，需要設(shè)置較小的步長(zhǎng)因子，這會(huì)使算法的收斂速度降低，這構(gòu)成了一對(duì)矛盾。因此在考慮算法的總體性能時(shí)，必須在這兩個(gè)性能之間加以折中。從收斂速度的角度考慮，步長(zhǎng)因子應(yīng)該盡可能大，但較大的取值卻會(huì)加重算法的失調(diào)。LMS算法采用瞬時(shí)的采樣值對(duì)梯度進(jìn)行估計(jì)，由于噪聲的影響，總會(huì)是會(huì)伴隨著估計(jì)的誤差，這將對(duì)算法帶來(lái)直接的影響。這些影響主要表現(xiàn)為算法的失調(diào)，而失調(diào)的嚴(yán)重程度，則和的取值存在直接關(guān)系。失調(diào)是指由于梯度估計(jì)偏差的存在，在算法收斂后，均方誤差并不無(wú)窮趨近于最小值，而是呈現(xiàn)出在最小值附近隨機(jī)的波動(dòng)特性，而權(quán)值亦不無(wú)窮趨近于最優(yōu)權(quán)值，而是在最優(yōu)權(quán)值附近呈現(xiàn)隨機(jī)的波動(dòng)。關(guān)于LMS算法的收斂速度，將討論兩點(diǎn)：第一，對(duì)一個(gè)特定的信號(hào)環(huán)境，收斂速度和步長(zhǎng)因子有何關(guān)系。第二，信號(hào)環(huán)境本身的特性，對(duì)收斂速度有何影響。從收斂速度的角度考慮，步長(zhǎng)因子應(yīng)該盡可能大，再看信號(hào)環(huán)境，即的特性對(duì)算法收斂性能的影響如果當(dāng)特征值的分布范圍較大，即最大特征值和最小特征值之比較大時(shí)，公比的取值幅度也將比較大，算法的總的收斂速度將會(huì)變得比較慢。傳統(tǒng)的LMS算法確實(shí)結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小且穩(wěn)定性好，因此被廣泛地應(yīng)用于自適應(yīng)控制、雷達(dá)、系統(tǒng)辨識(shí)及信號(hào)處理等領(lǐng)域。但是固定步長(zhǎng)的LMS自適應(yīng)算法在收斂速率、跟蹤速率及權(quán)失調(diào)噪聲之間的要求是相互矛盾的，為了克服這一缺點(diǎn)，人們研究出了各種各樣的變步長(zhǎng)LMS的改進(jìn)算法。盡管各種改進(jìn)算法的原理不同，但變步長(zhǎng)LMS自適應(yīng)算法基本上遵循如下調(diào)整原則：即在初始收斂階段或未知系統(tǒng)參數(shù)發(fā)生變化時(shí)，步長(zhǎng)應(yīng)比較大，以便有較快的收斂速度或?qū)r(shí)變系統(tǒng)的跟蹤速度；而在算法收斂后，不管主輸人端干擾信號(hào)有多大，都應(yīng)保持很小的調(diào)整步長(zhǎng)以達(dá)到很小的穩(wěn)態(tài)失調(diào)噪聲。 本章小結(jié)本章詳細(xì)介紹了LMS算法，并對(duì)與其性能相關(guān)的各個(gè)方面進(jìn)行了討論。盡管這里遠(yuǎn)遠(yuǎn)沒(méi)有給出完整的分析，但卻討論了RLS算法的主要方面，比如收斂特性和跟蹤能力等。猶豫傳統(tǒng)的LMS算法有很多不足的，所以人們通過(guò)改進(jìn)，研究出很多種變步長(zhǎng)LMS算法。這些變步長(zhǎng)LMS算法的收斂速度，事變系統(tǒng)跟蹤能力及文壇失調(diào)三方面能力得到優(yōu)化。第5章 RLS自適應(yīng)濾波算法分析 引言最小二乘(LS，Leastsquare)算法旨在期望信號(hào)與模型濾波器輸出之差的平方和達(dá)到最小。當(dāng)每次迭代中接受到輸入好的新采樣值時(shí)，可以采用遞歸形式求解最小二乘問(wèn)題，得到遞歸最小二乘(RLS，recursive leastsquare)算法。RLS算法能實(shí)現(xiàn)快速收斂，即使是在輸入信號(hào)相關(guān)矩陣的特征值擴(kuò)展比較大的情況下。當(dāng)工作與變換環(huán)境中時(shí)，這類算法具有極好的性能，但其實(shí)現(xiàn)都以增加計(jì)算復(fù)雜度和穩(wěn)定問(wèn)題為代價(jià)。 遞歸最小二乘(RLS)算法這一節(jié)主要介紹遞歸最小二乘法(RLS)算法是一種快速收斂的算法，該算法判決依據(jù)是直接處理接受數(shù)據(jù)，使其二次性能指數(shù)函數(shù)最小，而前面所述的LMS算法則是使平方誤差的期望值最小。設(shè)計(jì)出的自適應(yīng)濾波器，通過(guò)調(diào)節(jié)濾波器參數(shù)，使得基于過(guò)去的觀測(cè)樣本而得到的觀測(cè)信號(hào)在某種意義上最逼近原信號(hào)。此時(shí)，一方面，恢復(fù)誤差： (51)另一方面，可以將視作為的預(yù)測(cè)。因此可定義預(yù)測(cè)誤差： (52)設(shè)計(jì)自適應(yīng)濾波器的目的自然是希望使恢復(fù)誤差最小。但是由于真實(shí)信號(hào)未知，故是不可觀測(cè)的或無(wú)法計(jì)算的。與此相反，預(yù)測(cè)誤差卻是可觀測(cè)的，它與恢復(fù)誤差的關(guān)系為： (53)而噪聲序列是獨(dú)立的，因此不可觀測(cè)的恢復(fù)誤差的最小化等價(jià)于可觀測(cè)的預(yù)測(cè)誤差的最小化。