【文章內容簡介】 差法這種方法對時間段[1,N]之外的數(shù)據(jù)不做假設。因此，由定義的極限范圍和可以將輸入數(shù)據(jù)用矩陣表示為 (35)將式（34）改寫為 (36)設第k個抽頭權值用實部和虛部表示為 (37)將式（37）代入式（33），可得 (38)代價函數(shù)對抽頭權值實部虛部的導數(shù) (39)得 (310)為了使得代價函數(shù)關于橫向濾波器抽頭權值最小，要求同時滿足下列條件 (311)用表示按照式（311）使代價函數(shù)最小時求出的估計誤差的特殊值。從式（310）容易看出，式（311）表示的條件等效于下列方程組 (312)式（312）為正交性原理的瞬時描述。在最小二乘的條件下，最小誤差時間序列與橫向濾波器第k個抽頭上的輸入序列正交，k為橫向濾波器長度。正交性原理建立了一組抽頭輸入與最小誤差之間的關系。令式（33）中的抽頭權值為最小二乘意義下的最優(yōu)權值，可得 (313)將式（313）代入式（312），整理后得到M個聯(lián)立方程組 (314)式（314）中兩個以i為下標的和式表示求時間平均，知識沒考慮比例因子。這可解釋如下：1. 式（314）左邊的時間平均（對i）表示線性橫向濾波器中抽頭輸入的時間平均自相關函數(shù)，可以寫為 (315)2. 式（314）右邊的時間平均（對i）表示抽頭輸入與期望響應之間的時間平均互相關函數(shù)，可以寫成 (316)相應地，可將瞬時方程組（314）改寫成 (317)方程組（317）是線性最小二乘濾波正則方程的展開式。將式（317）表示的方程組改寫為矩陣形式。首先引入定義：1) 輸入的時間平均自相關矩陣為 (318)2) 抽頭輸入與期望之間的時間平均互相關向量為 (319)3) 最小二乘濾波器的抽頭向量為 (320)按照這些矩陣定義，將M個聯(lián)立方程組（314）簡單地改寫為 (321)式（321）是線性最小二乘濾波器的正則方程的矩陣形式。假定是非奇異矩陣，因此逆矩陣存在，可由式（321）解得線性最小二乘濾波器的抽頭權向量為 (322)式（322）是一個很重要的結論：它是矩陣的維納霍夫方程在線性最小二乘條件下的解。式（322）表明線性最小二乘濾波器的抽頭權向量由濾波器抽頭輸入的時間平均相關矩陣的逆矩陣與抽頭輸入和期望響應之間時間平均互相關向量Z的乘積唯一確定。 加權因子和正則化另外，習慣上還在的定義中引入加權因子。于是可以寫出 (323)即 (324)其中是時刻的抽頭輸入向量，定義為 (325)式中是時刻的抽頭權值響應，定義為 (326)式（323）的加權因子滿足關系0≤λ≤1。一般來說，加權因子其目的在于確保濾波器能夠忘記“過去的”數(shù)據(jù)以確保算法適用于非平穩(wěn)的環(huán)境，能跟蹤觀測數(shù)據(jù)的統(tǒng)計變化。最小二乘法是一個病態(tài)求逆過程。在該問題中，給定構成抽頭輸入向量的輸入數(shù)據(jù)和相應的期望響應，要求出估計出多重回歸模型的位置參數(shù)向量，該向量與和有關。最小二乘的病態(tài)特性源于一下原因：1． 輸入數(shù)據(jù)中的信息不足以唯一地構建輸入輸出之間的映射關系。2． 在輸入數(shù)據(jù)中不可避免地存在著噪聲或不確定的精確性，這為構建輸入輸出映射關系增加了不確定性。為使估計問題變?yōu)榉遣B(tài)，需要某種與輸入輸出有關的先驗信息。這意味著必須擴展代價函數(shù)公式，使其能考慮先驗信息。為了滿足這一要求，我們代價函數(shù)擴展為兩部分之和 (327)（假設使用了預加窗。）代價函數(shù)的兩個分量如下：1) 誤差加權平方和 (328)它與輸入數(shù)據(jù)有關。這個分量反映出期望響應與濾波器實際響應之間的指數(shù)加權誤差，且與抽頭輸入向量之間的關系可用公式表示為 (329)2) 正則化項 (330)式中是一個正實數(shù)，稱為正則化參數(shù)。將這一項包含在代價函數(shù)中，一遍通過平滑作用來穩(wěn)定遞歸最小二乘問題的解。將式（327）展開并進行整理，我們發(fā)現(xiàn)，在代價函數(shù)中增加正則化項，相當于將抽頭輸入向量的時間平均相關矩陣表示為 (331)式中是 單位矩。容易發(fā)現(xiàn)，增加正則化項還有這樣的作用：它使得相關矩陣在從開始的整個計算過程中非奇異。將式（331）修正為相關矩陣的過程叫對角加載。橫向濾波器抽頭輸入與期望響應之間的時間平均互相關向量為 (332)它將不受正則化的影響，依然假定使用預加窗法。遞歸最小二乘問題的正則方程可用矩陣形式寫為 (333) 遞歸計算將對應于的項與式（331）右邊的求和項分開，可寫出 (334)根據(jù)定義，式（334）右括號內的表達式等于相關矩陣。于是，可使得用于更新抽頭輸入相關矩陣的遞歸公式 (335)其中是相關矩陣的過去值，矩陣乘積在更新過程中起著修正的作用。式（335）的遞歸過程與初始條件無關。類似的，可用式（332）導出抽頭輸入與期望響應之間互相關向量的更新公式 (336)為了按式（331）計算抽頭權向量的最小二乘估計，必須確定相關矩陣的逆。然而在實際中，我們通常盡量避免這樣做，因為這種運算非常耗時，特別是當抽頭數(shù)很大時。為此，我們先引入一個著名的結果——矩陣求逆引理。設和是兩個正定矩，他們之間的關系為 (337)其中，是正定矩，是矩陣。根據(jù)矩陣求逆引理，可將的矩陣表示為 (338)假定相關矩陣是非奇異的，因而它可逆。我們對式（335）所表示的遞歸方程應用矩陣求逆引理，首先做如下設定 (339)然后將這些定義代入求逆引理，可得計算相關矩陣的遞歸方程如下 (340)為了方便計算，令 (341)和 (342)用上面的定義，可將式（340）改寫為 (343)矩陣叫做逆相關矩陣，向量叫做增益向量。式（343）是RLS算法的Riccati方程。整理式（342），可得 （344）即 (345)從式（343）可以看出，式（345）右邊最后一行括號里的表達式等于。因此，我們可將式（345）簡化為 (346)這一結論，連同，可以用來定義增益向量 (347)換句話說，增益向量可定義為經相關矩陣逆矩陣變換的抽頭輸入向量。 抽頭向量的時間更新下面導出更新抽頭權向量最小二乘估計的遞歸公式。為此，用式（331）、式（336）和式（341）來表示抽頭權向量n次迭代的最小二乘估計 (348)將式（348）右邊第一項中用式（343）代替，可得 (349)最后，應用等于增益向量，可使得更新抽頭權向量的遞歸方程為 (350)其中 (351)是一個先驗誤差。內積表示基于時刻抽頭權向量最小二乘估計舊值得期望響應的估值。 RLS算法小結算法初始化 (352)對每一時刻，計算 (353) (354) (355) (356)(RLS)算法的性能分析RLS(遞推最小二乘法)算法的關鍵是用二乘方的時間平均的最小化鋸帶最小均方準則，并按時間進行迭代計算。對于非平穩(wěn)信號的自適應處理，最合適的方法是采用最小二乘自適應濾波器。它使誤差的總能量最小。RLS算法的優(yōu)點是收斂速度快，其收斂性能與輸入信號的頻譜特性無關，但其缺點是計算復雜度很高，對于N階的濾波器， RL