【文章內(nèi)容簡介】 （式 31T6） 和自相關(guān)函數(shù)矩陣 R = E{X(k)X (k)} （式 31XT7） 則均方誤差（315 ）式可表述為E{ε (k)}=E{d (k)}2R W+ W R W （式 3122TxdTX8） 這表明，均方誤差是權(quán)系數(shù)向量 W 的二次函數(shù)，它是一個中間向上凹的拋物形曲面，是具有唯一最小值的函數(shù)。調(diào)節(jié)權(quán)系數(shù)使均方誤差為最小，相當(dāng)于沿拋物形曲面下降找最小值?？梢杂锰荻葋砬笤撟钚≈?。將式（318）對權(quán)系數(shù) W 求導(dǎo)數(shù)，得到均方誤差函數(shù)的梯度(k)=2R +2R W (式 319) ?xdX令 (k)=0，即可求出最佳權(quán)系數(shù)向量W = R R （式 31opt1?Xxd武漢理工大學(xué)《信息群處理課程設(shè)計》報告1010） 它恰好是研究 Wiener 濾波器遇到過的 Wiener Hopf 方程。因此，最佳權(quán)系數(shù)向量通常也叫作 Wiener 權(quán)系數(shù)向量。將 W 代入式（318）得最小均方誤差optE{ε (k)} =E{d (k)}R W （式 312min2Txdt11） 利用式（3110 ）求最佳權(quán)系數(shù)向量的精確解需要知道 R 和 R 的先驗統(tǒng)計Xxd知識，而且還需要進(jìn)行矩陣求逆等運算。Widrow and Hoff (1960)提出了一種在這些先驗統(tǒng)計知識未知時求 W 的近似值的方法，習(xí)慣上稱為 Widrow and optHoff LMS 算法。這種算法的根據(jù)是最優(yōu)化方法中的最速下降法。根據(jù)最速下降法，“下一時刻”權(quán)系數(shù)向量 W(k+1)應(yīng)該等于“現(xiàn)時刻”權(quán)系數(shù)向量 W(k)加上一個負(fù)均方誤差梯度? (k)的比例項，即?W(k+1)=W(k) μ (k) （式 3112） 式中，μ 是一個控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。不難看出，LMS 算法有兩個關(guān)鍵：梯度 (k)的計算以及收斂因子 μ的選擇。?（一） (k)的近似計算?精確計算梯度 (k)是十分困難的，一種粗略的但是卻十分有效的計算 (k)?的近似方法是：直接取 ε (k)作為均方誤差 E{ε (k)}的估計值，即2 2(k)= [ε (k)]=2ε(k) [ε(k)] （式 3113） ^ ?得到梯度估值(k)=2ε(k)X(k)^于是，Widrow – Hoff LMS 算法最終為W(k+1)=W(k)+ 2με(k)X(k) (式 3114） 式（3114）的實現(xiàn)方框圖如圖 32 所示 武漢理工大學(xué)《信息群處理課程設(shè)計》報告11圖 32 LMS算法的實現(xiàn)方框圖下面分析梯度估值 (k)的無偏性。 (k)的數(shù)學(xué)期望為^?^ （式 3115） 在上面的推導(dǎo)過程中，利用了 d(k)和 ε(k)二者皆為標(biāo)量的事實。在得到最后的結(jié)果時，利用了式（319）。式（3115 ）表明，梯度估值 (k)是無偏估^?（二）μ 的選擇對權(quán)系數(shù)向量更新公式（3114）兩邊取數(shù)學(xué)期望，得E{W(k+1)}=E{W(k)}+ 2μE{ε(k)X(k)} =(I2μR )E{W(k)}+ 2μR （式 3116） Xxd式中，I 為單位矩陣，R = E{d(k)X(k)}和 R = E{X(k)X (k)}。 xdXT當(dāng)時，k=0 時，E{W(1)}=(I2μR )E{W(0)}+ 2μR Xxd對于 k=1，利用上式結(jié)果，則有E{W(2)}=(I2μR )E{W(1)}+ 2μR Xxd (I2μR ) E{W(0)}+ 2μ (I2μR ) R2??10iXixd起始時， E{W(0)}=W(0)故重復(fù)以上迭代至 k+1，則有E{W(k+1)}= (I2μR ) W(0)+ 2μ (I2μR ) R （式 3117) X1?k?ki0Xixd由于 R 是實值的對稱陣，我們可以寫出其特征值分解式XR =QΣQ =QΣQ （式 31XT1?18） 這里，我們利用了正定陣 Q 的性質(zhì) Q =Q ，且 Σ=diag(λ ,…λ )是對角陣，T1?1M其對角元素 λi是 R 的特征值。將式（3118 ）代入式（ 3119）后得X武漢理工大學(xué)《信息群處理課程設(shè)計》報告12E{W(k+1)}= (I2μQΣQ ) W+ 2μ (I2μQΣQ ) R （式 311??k??ki01?ixd19） 注意到以下恒等式及關(guān)系式： （1） (I2μQΣQ ) =Q(I2μΣ) Q1?ii1?（2） (I2μQΣQ ) = Q[(2μΣ) ]Qlim??k?i01?i??01?（3） 假定所有的對角元素的值均小于 1（這可以通過適當(dāng)選擇 μ實現(xiàn)），則(I2μΣ) =0l?k?k （4） R = QΣ Q 1?X1?將上式代入式（8119 ），結(jié)果有E{W(k+1)}= QΣ Q R = R R = W （式 311?xd1?Xxdopt20） 由此可見，當(dāng)?shù)螖?shù)無限增加時，權(quán)系數(shù)向量的數(shù)學(xué)期望值可收斂至 Wiener解，其條件是對角陣(I2μΣ) 的所有對角元素均小于 1，即0μ (式 3121) max1?其中 λmax是 R 的最大特征值。μ 稱為收斂因子，它決定達(dá)到式（3120）的X速率。事實上，W(k)收斂于 W 由比值 d =λmax/λmin決定，該比值叫做譜動opt態(tài)范圍。大的 d 值喻示要花費很長的時間才會收斂到最佳權(quán)值?？朔@一困難的方法之一是產(chǎn)生正交數(shù)據(jù)?；?LMS 自適應(yīng)算法如下： 初始化： W(0)=0。R(0)=I。 選擇 μ：0μ max1?For k=1 to n final do:W(k)=W(k1)+2μ[x(k)W (k1)X(k)]X(k)TLMS自適應(yīng)濾波器如圖 33所示: 武漢理工大學(xué)《信息群處理課程設(shè)計》報告13 圖 33 LMS自適應(yīng)濾波器 自適應(yīng)噪聲抵消原理自適應(yīng)噪聲抵消的目的是要去除主信號中的背景噪聲。主信號由有用信號和背景噪聲組成，而背景噪聲與參考信號中的噪聲相關(guān)。因此，自適應(yīng)噪聲抵消技術(shù)主要依賴于從主信號和噪聲中獲取參考信號。Widrow 和 Hoff 發(fā)展了最小均方誤差（ LMS）自適應(yīng)算法和稱為自適應(yīng)線性閾值邏輯單元（ADALINE ）的模式識別方法。1965 年，基于最小均方誤差準(zhǔn)則(LMS)的自適應(yīng)噪聲抵消首次得以實現(xiàn)，隨后，自適應(yīng)噪聲抵消在信號處理、地震和生物醫(yī)學(xué)領(lǐng)域均獲得成功應(yīng)用。基于維納理論的自適應(yīng)噪聲抵消需要無限加權(quán)濾波器，以極小化輸出誤差。為了實現(xiàn)維納濾波方案，必須使用有限加權(quán)濾波器。換句話說，自適應(yīng)濾波器必須假定維納濾波器是一個有限沖激響應(yīng)（FIR）濾波器。武漢理工大學(xué)《信息群處理課程設(shè)計》報告14 圖 34 自適應(yīng)噪聲抵消原理方框圖如圖 34（a）所示是基于維納濾波器的自適應(yīng)噪聲抵消原理方框圖。主信號由有用信號 x(n)和背景噪聲 v(n)構(gòu)成，其中 s(n)和 v(n)不相關(guān)。參考信號 r(n)可與s(n)或 v(n)相關(guān)。 (n)是背景噪聲的最佳估計。 (n)可以通過選擇最佳 FIR 維納^v^v濾波器的最佳加權(quán) (n)計算得出，即w(n)= (n)r(nm) 0≤m≤M (式 321)^??Mi0m其中，M 表示濾波器的階；r(nm)由延時獲得。具有 M 個權(quán)重濾波器的估計誤差 e(n)由下式定義： e(n)=x(n) (n)=x(n) (n) (n) （式 322） ^vwTr由正交原理有，e(n)和 r(n)正交。對式（3–2 2）兩邊取平方和數(shù)學(xué)期望，可得E[e(n) ]= E[x(n) ]2P + R （式 323） 2TT其中，輸入信號 s(n)和參考矢量 (n)之間的互相關(guān)用 表示，即rP=E[x(n) (n) ] （式 824） PTR 表示輸入自相關(guān)矩陣，即R=[ (n) (n) ] （式 32rT5） 令均方估計誤差函數(shù)的梯度等于 0，可得最佳 FIR 濾波器（維納濾波器）權(quán)重武漢理工大學(xué)《信息群處理課程設(shè)計》報告15如下， =R （式 32w1?P6） 實際上，通常 和 R 的統(tǒng)計量是未知的。然而，用 Widrow 和 Hoff 提出的方法迭代求解式（326 ）能夠克服這一限制。如果參考信號和主信號中的噪聲相關(guān)，則自適應(yīng)濾波器將在輸出端去除其相關(guān)性，具體方法是：從參考信道的噪聲中產(chǎn)生一個主信道中背景噪聲的估計值 (n)，然后從主信道中減去這個估^v計噪聲 (n)，那么自適應(yīng)濾波器的輸出就是有用信號的估計 (n)。^v ^s用最速下降法（或梯度下降法）可得到式（326）的解。自適應(yīng)濾波器的加權(quán)值 被更新的第(n+1) 步迭代式為w(n+1)= (n)+Δ (n)= (n) （式 32wwn?)(??7） 基于最小均方誤差準(zhǔn)則(LMS)的自適應(yīng)噪聲抵消如果沒有關(guān)于參考信號向量 P 和輸入自相關(guān)矩陣 R 的先驗信息，要實現(xiàn)最優(yōu)濾波器加權(quán)是不可能的。因此，Widrow 和