【文章內(nèi)容簡(jiǎn)介】 差法這種方法對(duì)時(shí)間段[1,N]之外的數(shù)據(jù)不做假設(shè)。因此，由定義的極限范圍和可以將輸入數(shù)據(jù)用矩陣表示為 (35)將式（34）改寫(xiě)為 (36)設(shè)第k個(gè)抽頭權(quán)值用實(shí)部和虛部表示為 (37)將式（37）代入式（33），可得 (38)代價(jià)函數(shù)對(duì)抽頭權(quán)值實(shí)部虛部的導(dǎo)數(shù) (39)得 (310)為了使得代價(jià)函數(shù)關(guān)于橫向?yàn)V波器抽頭權(quán)值最小，要求同時(shí)滿足下列條件 (311)用表示按照式（311）使代價(jià)函數(shù)最小時(shí)求出的估計(jì)誤差的特殊值。從式（310）容易看出，式（311）表示的條件等效于下列方程組 (312)式（312）為正交性原理的瞬時(shí)描述。在最小二乘的條件下，最小誤差時(shí)間序列與橫向?yàn)V波器第k個(gè)抽頭上的輸入序列正交，k為橫向?yàn)V波器長(zhǎng)度。正交性原理建立了一組抽頭輸入與最小誤差之間的關(guān)系。令式（33）中的抽頭權(quán)值為最小二乘意義下的最優(yōu)權(quán)值，可得 (313)將式（313）代入式（312），整理后得到M個(gè)聯(lián)立方程組 (314)式（314）中兩個(gè)以i為下標(biāo)的和式表示求時(shí)間平均，知識(shí)沒(méi)考慮比例因子。這可解釋如下：1. 式（314）左邊的時(shí)間平均（對(duì)i）表示線性橫向?yàn)V波器中抽頭輸入的時(shí)間平均自相關(guān)函數(shù)，可以寫(xiě)為 (315)2. 式（314）右邊的時(shí)間平均（對(duì)i）表示抽頭輸入與期望響應(yīng)之間的時(shí)間平均互相關(guān)函數(shù)，可以寫(xiě)成 (316)相應(yīng)地，可將瞬時(shí)方程組（314）改寫(xiě)成 (317)方程組（317）是線性最小二乘濾波正則方程的展開(kāi)式。將式（317）表示的方程組改寫(xiě)為矩陣形式。首先引入定義：1) 輸入的時(shí)間平均自相關(guān)矩陣為 (318)2) 抽頭輸入與期望之間的時(shí)間平均互相關(guān)向量為 (319)3) 最小二乘濾波器的抽頭向量為 (320)按照這些矩陣定義，將M個(gè)聯(lián)立方程組（314）簡(jiǎn)單地改寫(xiě)為 (321)式（321）是線性最小二乘濾波器的正則方程的矩陣形式。假定是非奇異矩陣，因此逆矩陣存在，可由式（321）解得線性最小二乘濾波器的抽頭權(quán)向量為 (322)式（322）是一個(gè)很重要的結(jié)論：它是矩陣的維納霍夫方程在線性最小二乘條件下的解。式（322）表明線性最小二乘濾波器的抽頭權(quán)向量由濾波器抽頭輸入的時(shí)間平均相關(guān)矩陣的逆矩陣與抽頭輸入和期望響應(yīng)之間時(shí)間平均互相關(guān)向量Z的乘積唯一確定。 加權(quán)因子和正則化另外，習(xí)慣上還在的定義中引入加權(quán)因子。于是可以寫(xiě)出 (323)即 (324)其中是時(shí)刻的抽頭輸入向量，定義為 (325)式中是時(shí)刻的抽頭權(quán)值響應(yīng)，定義為 (326)式（323）的加權(quán)因子滿足關(guān)系0≤λ≤1。一般來(lái)說(shuō)，加權(quán)因子其目的在于確保濾波器能夠忘記“過(guò)去的”數(shù)據(jù)以確保算法適用于非平穩(wěn)的環(huán)境，能跟蹤觀測(cè)數(shù)據(jù)的統(tǒng)計(jì)變化。最小二乘法是一個(gè)病態(tài)求逆過(guò)程。在該問(wèn)題中，給定構(gòu)成抽頭輸入向量的輸入數(shù)據(jù)和相應(yīng)的期望響應(yīng)，要求出估計(jì)出多重回歸模型的位置參數(shù)向量，該向量與和有關(guān)。最小二乘的病態(tài)特性源于一下原因：1． 輸入數(shù)據(jù)中的信息不足以唯一地構(gòu)建輸入輸出之間的映射關(guān)系。2． 在輸入數(shù)據(jù)中不可避免地存在著噪聲或不確定的精確性，這為構(gòu)建輸入輸出映射關(guān)系增加了不確定性。為使估計(jì)問(wèn)題變?yōu)榉遣B(tài)，需要某種與輸入輸出有關(guān)的先驗(yàn)信息。這意味著必須擴(kuò)展代價(jià)函數(shù)公式，使其能考慮先驗(yàn)信息。為了滿足這一要求，我們代價(jià)函數(shù)擴(kuò)展為兩部分之和 (327)（假設(shè)使用了預(yù)加窗。）代價(jià)函數(shù)的兩個(gè)分量如下：1) 誤差加權(quán)平方和 (328)它與輸入數(shù)據(jù)有關(guān)。這個(gè)分量反映出期望響應(yīng)與濾波器實(shí)際響應(yīng)之間的指數(shù)加權(quán)誤差，且與抽頭輸入向量之間的關(guān)系可用公式表示為 (329)2) 正則化項(xiàng) (330)式中是一個(gè)正實(shí)數(shù)，稱為正則化參數(shù)。將這一項(xiàng)包含在代價(jià)函數(shù)中，一遍通過(guò)平滑作用來(lái)穩(wěn)定遞歸最小二乘問(wèn)題的解。將式（327）展開(kāi)并進(jìn)行整理，我們發(fā)現(xiàn)，在代價(jià)函數(shù)中增加正則化項(xiàng)，相當(dāng)于將抽頭輸入向量的時(shí)間平均相關(guān)矩陣表示為 (331)式中是 單位矩。容易發(fā)現(xiàn)，增加正則化項(xiàng)還有這樣的作用：它使得相關(guān)矩陣在從開(kāi)始的整個(gè)計(jì)算過(guò)程中非奇異。將式（331）修正為相關(guān)矩陣的過(guò)程叫對(duì)角加載。橫向?yàn)V波器抽頭輸入與期望響應(yīng)之間的時(shí)間平均互相關(guān)向量為 (332)它將不受正則化的影響，依然假定使用預(yù)加窗法。遞歸最小二乘問(wèn)題的正則方程可用矩陣形式寫(xiě)為 (333) 遞歸計(jì)算將對(duì)應(yīng)于的項(xiàng)與式（331）右邊的求和項(xiàng)分開(kāi)，可寫(xiě)出 (334)根據(jù)定義，式（334）右括號(hào)內(nèi)的表達(dá)式等于相關(guān)矩陣。于是，可使得用于更新抽頭輸入相關(guān)矩陣的遞歸公式 (335)其中是相關(guān)矩陣的過(guò)去值，矩陣乘積在更新過(guò)程中起著修正的作用。式（335）的遞歸過(guò)程與初始條件無(wú)關(guān)。類似的，可用式（332）導(dǎo)出抽頭輸入與期望響應(yīng)之間互相關(guān)向量的更新公式 (336)為了按式（331）計(jì)算抽頭權(quán)向量的最小二乘估計(jì)，必須確定相關(guān)矩陣的逆。然而在實(shí)際中，我們通常盡量避免這樣做，因?yàn)檫@種運(yùn)算非常耗時(shí)，特別是當(dāng)抽頭數(shù)很大時(shí)。為此，我們先引入一個(gè)著名的結(jié)果——矩陣求逆引理。設(shè)和是兩個(gè)正定矩，他們之間的關(guān)系為 (337)其中，是正定矩，是矩陣。根據(jù)矩陣求逆引理，可將的矩陣表示為 (338)假定相關(guān)矩陣是非奇異的，因而它可逆。我們對(duì)式（335）所表示的遞歸方程應(yīng)用矩陣求逆引理，首先做如下設(shè)定 (339)然后將這些定義代入求逆引理，可得計(jì)算相關(guān)矩陣的遞歸方程如下 (340)為了方便計(jì)算，令 (341)和 (342)用上面的定義，可將式（340）改寫(xiě)為 (343)矩陣叫做逆相關(guān)矩陣，向量叫做增益向量。式（343）是RLS算法的Riccati方程。整理式（342），可得 （344）即 (345)從式（343）可以看出，式（345）右邊最后一行括號(hào)里的表達(dá)式等于。因此，我們可將式（345）簡(jiǎn)化為 (346)這一結(jié)論，連同，可以用來(lái)定義增益向量 (347)換句話說(shuō)，增益向量可定義為經(jīng)相關(guān)矩陣逆矩陣變換的抽頭輸入向量。 抽頭向量的時(shí)間更新下面導(dǎo)出更新抽頭權(quán)向量最小二乘估計(jì)的遞歸公式。為此，用式（331）、式（336）和式（341）來(lái)表示抽頭權(quán)向量n次迭代的最小二乘估計(jì) (348)將式（348）右邊第一項(xiàng)中用式（343）代替，可得 (349)最后，應(yīng)用等于增益向量，可使得更新抽頭權(quán)向量的遞歸方程為 (350)其中 (351)是一個(gè)先驗(yàn)誤差。內(nèi)積表示基于時(shí)刻抽頭權(quán)向量最小二乘估計(jì)舊值得期望響應(yīng)的估值。 RLS算法小結(jié)算法初始化 (352)對(duì)每一時(shí)刻，計(jì)算 (353) (354) (355) (356)(RLS)算法的性能分析RLS(遞推最小二乘法)算法的關(guān)鍵是用二乘方的時(shí)間平均的最小化鋸帶最小均方準(zhǔn)則，并按時(shí)間進(jìn)行迭代計(jì)算。對(duì)于非平穩(wěn)信號(hào)的自適應(yīng)處理，最合適的方法是采用最小二乘自適應(yīng)濾波器。它使誤差的總能量最小。RLS算法的優(yōu)點(diǎn)是收斂速度快，其收斂性能與輸入信號(hào)的頻譜特性無(wú)關(guān)，但其缺點(diǎn)是計(jì)算復(fù)雜度很高，對(duì)于N階的濾波器， RL