【正文】 ， 得到 Rxx=QTΛ Q,Λ =QTRxxQ () 通過調(diào)節(jié)使 Q歸一化，即 1TT , ??? I() ????????????????NNNNNNNqqqqqqqqqqqqQ???????21222211121121],[() 第三章 自適應(yīng)數(shù)字濾波器 式中 ， Q稱為正交矩陣或特征矩陣 ， qi稱為特征向量 ， 滿足下式： NiqqRjijiqqiiixxjTi,2,101????????????() () Λ 是由特征值組成的對角矩陣， 用下式表示： ),(D i a g 21 N??? ??? () 將 ()式代入 ()式，得到 VV TTm i n ??? ??令 39。39。1T39。m inT39。????() 上式將性能函數(shù)變成了平方和的形式 。 利用 ()式將特征向量 qi變成 qi′ ， 再利用 ()、 ()式 ， 可得 TT2139。 下面用二維權(quán)矢量的情況說明它的幾何意義 。 這里 , v1v2不是橢圓的主軸 。 39。22239。211239。 因此 ()式起坐標(biāo)旋轉(zhuǎn)的作用 ， 將 v1v2旋轉(zhuǎn)到主軸上 ， 形成 v1′ v2′ 主軸 。 另外 ， 因?yàn)? m in/1 ? m in/1 ?T39。239。 NvvvVQV ???第三章 自適應(yīng)數(shù)字濾波器 得到 ],[],[ 39。239。 第三章 自適應(yīng)數(shù)字濾波器 最陡下降法 1. 最陡下降法的遞推公式 將 ()式代入 ()式，得到 *112]2[)22(WRWRIWWRRWWxxjxxjjxxdxjj???????????() () 在上式兩邊都減去 W *,并令 Vj=W jW*, 得到 Vj+1=［ I2μ Rxx］ Vj () 上式是一個(gè)遞推公式 ， 由于 ［ 下面仍然采用坐標(biāo)旋轉(zhuǎn)的方法進(jìn)行推導(dǎo) 。39。139。139。］ 項(xiàng)已變成對角矩陣 ， 假設(shè)起始值是 V0′ ， 可得到上式的遞推解為 39。 )2( VΛI(xiàn)V jj ???() 第三章 自適應(yīng)數(shù)字濾波器 再將 ()式代入 ， 再經(jīng)過坐標(biāo)平移 ， 即代入 Vj=WjW*式 ， 最后得到權(quán)系數(shù)的遞推公式： )()2( *0T* WWQΛI(xiàn)QWW jj ???? ?() 上面遞推公式中，［ 第三章 自適應(yīng)數(shù)字濾波器 2. 由最陡下降法的遞推公式不難分析出它的收斂條件 ， 即當(dāng)?shù)螖?shù) j趨于 ∞ 時(shí) ， 權(quán)系數(shù)收斂最佳時(shí)的條件 。 ()式即是最陡下降法的收斂條件 ， 式中 λ max是 Rxx的最大特征值 。 *lim WW jj ???第三章 自適應(yīng)數(shù)字濾波器 3. 過渡過程是指權(quán)矢量和性能函數(shù)由起始點(diǎn)隨迭代次數(shù)的增加 ， 進(jìn)行變化的過程 。 按照 ()式，權(quán)矢量的遞推解是 39。 )2( VΛI(xiàn)V jj ???第 i個(gè)權(quán)系數(shù)遞推方程是 39。 )2( ijiji vIv ????() 令 Niiτi ,3,2,1e211???? ??() 第三章 自適應(yīng)數(shù)字濾波器 將上式代入 ()式，得到 Nivv iτji i ,3,2,1e 39。 ???() 上式說明第 i個(gè)分量 v i′ 按指數(shù)規(guī)律變化，其時(shí)常數(shù)為 )21(11ii n ??? ??i=1, 2, 3, … , N () 因?yàn)橐话?μ 取得比較小，可以近似為 ii ??? 21? i=1, 2, 3, … , N () 第三章 自適應(yīng)數(shù)字濾波器 因?yàn)? ??????????????????????????????39。239。jNjjNNNNNNjjvvvqqqqqqqqqQVV????????所以 ???Nkjkikji vqv139。0() 第三章 自適應(yīng)數(shù)字濾波器 kτjNkikiji cww1* e????() 式中 39。 下面分析性能函數(shù)的過渡過程 。m i n2 ][ ??() 將 ()式代入，得到 ijNiiij eveE???21239。 這樣 ， 如果特征值比較分散時(shí) ， 即 λ max和 λ min相差很大時(shí) ， 使最陡下降法的收斂性能很差 。 μ 值收斂過程影響很大，首先必須選擇得足夠小，使之滿足收斂條件： m a x10?? ??但按照 ()、 ()式 ， 它影響收斂速度 。 但當(dāng) μ 選擇得太大時(shí) ， 即使收斂條件滿足 ， 也可能形成振動(dòng)性的過渡特性 。 第三章 自適應(yīng)數(shù)字濾波器 圖 ? 值的影響 (a) 較小時(shí)的情況； （ b） 較大時(shí)的情況 ? ?( a ) ( b )w2w1w ( 0 )w ( 0 )w1w2第三章 自適應(yīng)數(shù)字濾波器 最小均方 (LMS)算法 1. LMS算法的權(quán)值計(jì)算 ] LMS(Least Mean Square)算法的梯度估計(jì)值用一條樣本曲線進(jìn)行計(jì)算，公式如下： ? ???????????????????Njjjjj wewewee222122? ?() 因?yàn)? jjj XWde T??第三章 自適應(yīng)數(shù)字濾波器 所以 jNjjj Xwewewe?????????????? T21, ?jjj Xe2? ???() () jjjj XeWW ?21 ???FIR濾波器中的第 i個(gè)權(quán)系數(shù)的計(jì)算公式為 Nixeww ijjijij ,3,2,12 ,1 ?????? ?() FIR濾波器中的第 i個(gè)權(quán)系數(shù)的控制電路如圖 , LMS自適應(yīng)濾波器的總框圖如圖 所示 。 顯然 ， 這是一個(gè)隨機(jī)變量 ， 這說明 LMS算法的加權(quán)矢量是隨機(jī)變化的 。 下面對這種算法的性能進(jìn)行分析 ， 主要分析加權(quán)矢理和性能函數(shù)的平均變化規(guī)律以及它們的隨機(jī)性造成的影響 。 第三章 自適應(yīng)數(shù)字濾波器 …控制 1控制 2控制 N…x1( n )x2( n )xN( n )w1w2wNy ( n )d ( n )e ( n )＋－…圖 LMS自適應(yīng)濾波器總計(jì)算框圖 第三章 自適應(yīng)數(shù)字濾波器 將誤差公式 ()式代入 ()式，得到 jjjTjjjTjjjjjjdXWXXiWXXdXWW???2]2[][21??????? () 按照 ()式， 對加權(quán)矢量取統(tǒng)計(jì)平均： *T12][)2(])[(2][][][(2][][2][][WRWERIWERRWEWXXEXdEWEXeEWEWExxjxxjxxdxjjjjjjjjjjj?????????????????() 第三章 自適應(yīng)數(shù)字濾波器 類似于最陡下降法的推導(dǎo) ， 經(jīng)過坐標(biāo)平移和旋轉(zhuǎn) ， 變換到V′ 坐標(biāo)中 。],[39。39。1T QVVvvvVQV N ??? ?得到 39。 ]2[][ VΛI(xiàn)VE jj ???() () 再將 ()、 ()和 ()式代入上式，得到 E［ Wj］ =W*+Q［ I2μΛ］ j Q1(W0W*) () 對比 ()式 ， 說明 LMS算法加權(quán)矢量的統(tǒng)計(jì)平均值的過渡過程和最陡下降法加權(quán)矢量的過渡過程是一樣的 。0]2[][ ijiji vIvE ????() 第三章 自適應(yīng)數(shù)字濾波器 同樣引入時(shí)常數(shù) τ i, ][][e][21)21l n (139。039。 下面進(jìn)行推導(dǎo) 。1m i n39。m i nm i n])[[][][][][jiNiijTjjxxTjvEVΛEVEVERVE?????????????同樣，假設(shè)加權(quán)系數(shù)變化很小， Vj也變化很小， E［ Vj］ ≈ Vj，這樣： 類似前面的推導(dǎo)，得到 iii m s eNijojiiv????????412e][12239。 第三章 自適應(yīng)數(shù)字濾波器 4. 穩(wěn)態(tài)誤差和失調(diào)系數(shù) 由上面分析知道 ， 權(quán)矢量的平均值可以收斂到它的最佳值 ， 但權(quán)矢量變化過程是隨機(jī)的 ， 即使其平均值收斂到最佳值 ， 它仍然按照下式： Wj+1=Wj+2μ ejXj 隨機(jī)地進(jìn)行變化 ， 這樣使權(quán)矢量仍在最佳值附近隨機(jī)變化 ， 但均方誤差將大于最小均方誤差 ， 如圖 所示 。 上式說明 μ 和輸入功率加大都會(huì)增加失調(diào)系數(shù) 。 第三章 自適應(yīng)數(shù)字濾波器 圖 是一個(gè) LMS自適應(yīng)濾波器的計(jì)算機(jī)結(jié)果 ［ 5］ ， 階數(shù) N=5， 其輸入是信號(hào)加白噪聲 ， 輸入信號(hào)功率為 1， 中心頻率是 (fs為采樣頻率 )， 噪聲功率為 , 輸入信號(hào)自相關(guān)函數(shù)的特征值為： 、 、 、 、 ， 權(quán)系數(shù)初始值取 0， μ =。 該圖表明個(gè)別學(xué)習(xí)曲線起伏較大 ，平均學(xué)習(xí)曲線起伏很小 ， 計(jì)算出的維納最小均方誤差為 96， 用 LMS算法得到的穩(wěn)態(tài)誤差大于該值 ， 按 ()式計(jì)算的失調(diào)系數(shù)是 %， 按計(jì)算機(jī)模擬結(jié)果測得的失調(diào)系數(shù)是 %。 前向線性預(yù)測誤差濾波器直接由信號(hào)的線性一步預(yù)測導(dǎo)出 。 ()式表明 是由 n時(shí)刻以前的 p個(gè)數(shù)據(jù) x(n1)、 x(n2)…x(np)得到的估計(jì) ， 因此稱 為前向預(yù)測誤差 。 前向預(yù)測誤差濾波器的結(jié)構(gòu)圖如圖 。 按照第二章的推導(dǎo) ， 前向預(yù)測誤差濾波器的最佳系數(shù) ap,kYuleWalker方程式 ， 重寫如下： 第三章 自適應(yīng)數(shù)字濾波器 ?????????????????pixxipxxppixxipxxirarpkikrakr1,21,)()0(,3,2,10)()(??() 將上式用矩陣方程表示為 ??????????????????????????????????????????????001)1()2()()1()0()1()()1()0( 2,1,????????ppppxxxxxxxxxxxxxxxxxxaaprprprprrrprrr ?() 第三章 自適應(yīng)數(shù)字濾波器 2. 如果利用 x(n+1),x(n+2), …,x(n+p)數(shù)據(jù)預(yù)測 x(n)， 則稱為后向預(yù)測 ， 其估計(jì)值用 表示 。? nx?????pkkp knxanx139。?() 一般前向 、 后向預(yù)測用同一數(shù)據(jù)進(jìn)行 ， 即利用 x(n),x(n1)， x(n2)， …,x(np)進(jìn)行預(yù)測 ， 為此 ， 將上式改為 ???????pkkp kpnxapnx139。?() 這樣 ， 前向預(yù)測是由 x(np),x(np+1),…,x(n2),x(n1)預(yù)測x(n)， 后向預(yù)測是由 x(np+1),x(np+2),…,x(n)預(yù)測 x(np)， 這兩種預(yù)測數(shù)據(jù)之間的關(guān)系如圖 所示 。?)()( pnxpnxnb bp ???? () 同樣 ， 利用最小均方誤差的準(zhǔn)則 ， 可以得到關(guān)于后向預(yù)測時(shí)的正交原理以及 YuleWalker方程 ， 它們分別用下面的 ()和 ()式表示： 0)]()([ ??? kpnxneE bpk=1, 2, 3, … , p ???????