【文章內(nèi)容簡介】 )}W + WT E{X(k)XT (k)}W （式 315） 定義互相關函數(shù)行向量 RTxd ： RTxd = E{d(k)XT (k)} （式 316） 和自相關函數(shù)矩陣 RXX = E{X(k)XT (k)} （式 317） 則均方誤差（ 315）式可表述為 E{ε2 (k)}=E{d2 (k)}2RTxd W+ WT RXX W （式 318） 這表明，均方誤差是權系數(shù)向量 W的二次函數(shù)，它是一個中間向上凹的拋物形曲面，是具有唯一最小值的函數(shù)。調(diào)節(jié)權系數(shù)使均方誤差為最小，相當于沿拋物形曲面下降找最小值?？梢杂锰荻葋砬笤撟钚≈?。 將式（ 318）對權系數(shù) W求 導數(shù)，得到均方誤差函數(shù)的梯度 ? (k)=2Rxd +2RXX W (式 319) 令 ? (k)=0，即可求出最佳權系數(shù)向量 Wopt = R 1?XX Rxd （式 3110） 它恰好是研究 Wiener 濾波器遇到過的 Wiener Hopf 方程。因此，最佳權系數(shù)向量通常也叫作 Wiener 權系數(shù)向量。將 Wopt 代入式（ 318）得最小均方誤差 E{ε2 (k)} min =E{d2 (k)}RTxd Wopt （式 3111） 利用式（ 3110）求最佳權系數(shù)向量的精確解需要知道 RXX 和 Rxd 的先驗統(tǒng)計知識，而且還需要進行矩陣求逆等運算。 Widrow and Hoff (1960)提出了一種在這些先驗統(tǒng)計知識未知時求 Wopt 的近似值的方法，習慣上稱為 Widrow and Hoff LMS 算法。這種算法的根據(jù)是最武漢理工大學《信息處理課群綜合訓練》課程設計任務書 9 優(yōu)化方法中的最速下降法。根據(jù)最速下降法， “下一時刻 ”權系數(shù)向量 W(k+1)應該等于 “現(xiàn)時刻 ”權系數(shù)向量 W(k)加上一個負均方誤差梯度 ?? (k)的比例項，即 W(k+1)=W(k) μ? (k) （式 3112） 式中， μ是一個控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。 不難看出， LMS 算法有兩個關鍵：梯度 ? (k)的計算以及收斂因子 μ的選擇。 （一） ? (k)的近似計算 精確計算梯度 ? (k)是十分困難的，一種粗略的但是卻十分有效的計算 ? (k)的近似方法是：直接取 ε2 (k)作為均方誤差 E{ε2 (k)}的估計值，即 ^? (k)=? [ε2 (k)]=2ε(k)? [ε(k)] （式 3113） 得到梯度估值 ^? (k)=2ε(k)X(k) 于是， Widrow – Hoff LMS 算法最終為 W(k+1)=W(k)+ 2με(k)X(k) (式 3114） 式（ 3114）的實現(xiàn)方框圖如圖 32 所示 圖 32 LMS算法的實現(xiàn)方框圖 下面分析梯度估值 ^? (k)的無偏性。 ^? (k)的數(shù)學期望為 （式 3115） 在上 面的推導過程中，利用了 d(k)和 ε(k)二者皆為標量的事實。在得到最后的結果時，利用了式（ 319）。式（ 3115）表明，梯度估值 ^? (k)是無偏估 （二） μ的選擇 對權系數(shù)向量更新公式（ 3114）兩邊取數(shù)學期望，得 E{W(k+1)}=E{W(k)}+ 2μE{ε(k)X(k)} =(I2μRXX )E{W(k)}+ 2μRxd （式 3116） 武漢理工大學《信息處理課群綜合訓練》課程設計任務書 10 式中， I 為單位矩陣， Rxd = E{d(k)X(k)}和 RXX = E{X(k)XT (k)}。 當時， k=0 時， E{W(1)}=(I2μRXX )E{W(0)}+ 2μRxd 對于 k=1，利用上式結果，則有 E{W(2)}=(I2μRXX )E{W(1)}+ 2μRxd (I2μRXX )2 E{W(0)}+ 2μ??10i(I2μRXX )i Rxd 起始時， E{W(0)}=W(0) 故重復以上迭代至 k+1，則有 E{W(k+1)}= (I2μRXX ) 1?k W(0)+ 2μ??ki0(I2μRXX )i Rxd （式 3117) 由于 RXX 是實值的對稱陣，我們可以寫出 其特征值分解式 RXX =QΣQT =QΣQ1? （式 3118） 這里，我們利用了正定陣 Q 的性質(zhì) QT =Q 1? ，且 Σ=diag(λ1 ,…λ M )是對角陣，其對角元 素 λi是 RXX 的特征值。將式（ 3118）代入式（ 3119）后得 E{W(k+1)}= (I2μQΣQ1? ) 1?k W+ 2μ??ki0(I2μQΣQ1? )i Rxd （式 3119） 注意到以 下恒等式及關系式： （ 1） (I2μQΣQ1? )i =Q(I2μΣ)i Q1? （ 2） lim??k ??ki0(I2μQΣQ1? )i =???0iQ[(2μΣ) 1? ]Q1? （ 3） 假定所有的對角元素的值均小于 1（這可以通過適當選擇 μ實現(xiàn)），則 lim??k (I2μΣ) 1?k =0 （ 4） R 1?XX = QΣ1? Q1? 將上式代入式（ 8119），結果有 E{W(k+1)}= QΣ1? Q1? Rxd = R 1?XX Rxd = Wopt （式 3120） 由此可見，當?shù)螖?shù)無限增加時，權系數(shù)向量的數(shù)學期望值可收斂至 Wiener 解，其條件是對角陣 (I2μΣ)的所有對角元素均小于 1，即 0μ max1? (式 3121) 武漢理工大學《信息處理課群綜合訓練》課程設計任務書 11 其中 λmax是 R XX 的最大特征值。 μ稱為收斂因子，它決定達到式（ 3120）的速率。事實上， W(k)收斂于 Wopt 由比值 d =λmax/λmin決定，該比值叫做譜動態(tài)范圍。大的 d 值喻示要花費很長的時間才會收斂到最佳權值。克服這一困難的方法之一是產(chǎn)生正交數(shù)據(jù)。 基本 LMS 自適應算法如下： 初始化： W(0)=0。 R(0)=I。 選擇 μ： 0μ max1? For k=1 to n final do:W(k)=W(k1)+2μ[x(k)WT (k1)X(k)]X(k) LMS 自適應濾波器如圖 33 所示 : 圖 33 LMS自適應濾波器 自適應噪聲抵消原理 自適應噪聲抵消的目的是要去除主信號中的背景噪聲。主信號由有用信號和背景噪聲組成，而背景噪聲與參考信號中的噪聲相關。因此，自適應噪聲抵 消技術主要依賴于從主信號和噪聲中獲取參考信號。 Widrow 和 Hoff 發(fā)展了最小均方誤差（ LMS）自適應算法和稱為自適應線性閾值邏輯單元（ ADALINE）的模式識別方法。 1965 年，基于最小均方誤差準則 (LMS)的自適應噪聲武漢理工大學《信息處理課群綜合訓練》課程設計任務書 12 抵消首次得以實現(xiàn)，隨后，自適應噪聲抵消在信號處理、地震和生物醫(yī)學領域均獲得成功應用。 基于維納理論的自適應噪聲抵消需要無限加權濾波器，以極小化輸出誤差。為了實現(xiàn)維納濾波方案，必須使用有限加權濾波器。換句話說，自適應濾波器必須假定維納濾波器是一個有限沖激響應（ FIR）濾波器。 圖 34 自適應噪聲抵消原理方框圖 如圖 34（ a）所示是基于維納濾波器的自適應噪聲抵消原理方框圖。主信號由有用信號 x(n)和背景噪聲 v(n)構成，其中 s(n)和 v(n)不相關。參考信號 r(n)可與 s(n)或 v(n)相關。 ^v (n)是背景噪聲的最佳估計。 ^v (n)可以通過選擇最佳 FIR 維納濾波器的最佳加權 w (n)計算得出，即 ^v (n)= ??Mi0mw (n)r(nm) 0≤m≤M (式 321) 其中， M 表示濾波器的階； r(nm)由延時獲得。 具有 M 個權重濾波器的估計誤差 e(n)由下式定義： e(n)=x(n)^v (n)=x(n) w T (n)r (n) （ 式 322） 由正交原理有 ， e(n)和 r(n)正交。對式（ 3–2 2）兩邊取平方和數(shù)學期望，可得 E[e(n)2 ]= E[x(n)2 ]2PT w + w T Rw （ 式 323） 武漢理工大學《信息處理課群綜合訓練》課程設計任務書 13 其中，輸入信號 s(n)和參考矢量 r (n)之間的互相關用 P 表示，即 P =E[x(n)r (n)T ] （式 824） R 表示輸入自相關矩陣，即 R=[r (n)r (n)T ] （式 325） 令均方估計誤差函數(shù)的梯度等于 0，可得最佳 FIR 濾波器（維納濾波器）權重如下， w =R 1? P （式 326） 實際上，通常 P 和 R 的統(tǒng)計量是未知的。然