【正文】 ? 這正是單參量的推廣。 ? ??l n ( / ) ( ) ( )p k f f? ? ??? ??? v89 估計均方誤差的下界 (隨機參量 ) ? 由于 參量是隨機參量 ，所以在作數(shù)學(xué)期望與平均時，不能只在觀測空間 RN上進(jìn)行，必須同時在參量空間 X上進(jìn)行。 ? 單單一個條件概率 是不夠用的，而必須再增加參量的先驗概率 ，或者用聯(lián)合概率 。 ()p v|?()Z ? ()p v,?90 估計均方誤差的下界 (隨機參量 ) ? 定理 5（單參量情況）： ? 設(shè) 是待估隨機單參量， 是觀測數(shù)據(jù)矢量； ? 是它們的聯(lián)合概率密度函數(shù)。 ? 若： i) 與 存在且絕對可積； ii) 其中： 是 的先驗概率密度， 是在 給定時，估計誤差的條件數(shù)學(xué)期望（偏），即 ? v()p ?,v()p ???? ,v22 ()p ???? ,vl im ( ) ( ) 0Z? ? ? ?? ? ? ?()Z? ? ()?? ?? ?? ?( ) ( ) ( ( ) ) ( ) d?? ? ? ? ? ? ?? ? ? ??NEpv v v | vR91 估計均方誤差的下界 (隨機參量 ) ? 定理 5（單參量情況）： ? 則對任何估計 下列不等式成立： ? 注意，由于采用聯(lián)合概率密度，所以數(shù)學(xué)期望應(yīng)在 RN與 X空間聯(lián)合進(jìn)行。 ?()? v? ?? ?222221? ()l n ( , )1? ()l n ( , )EEporEEp?????????? ??????????????????????? ????????????vvvv≥≥92 有效估計存在的條件 ? 有效估計存在條件： ? k是常數(shù)， 不能是 的函數(shù)。 ? 當(dāng) 有效估計存在 時，一定是 MAP估計 。 ? 當(dāng)有效估計不存在時，可以證明 MAP估計一定是漸近有效的。 ?l n ( , ) 2 ( )pk? ? ??? ??????? vv?93 有效估計 ? 有效估計存在時后驗概率密度 為： ? 上式對全部 與 成立。 ( | )?p v22212212?l n ( , ) 2 ( )l n ( | ) 2l n ( | ) ( ) ( )( | ) e xp ( ) ( )pkpkp k c cp k c c? ? ????? ? ?? ? ??????????? ? ??? ? ? ? ???? ? ? ? ???vvvv v vv v vv ?94 有效估計 ? 當(dāng)有效估計存在時， 的后驗概率密度 一定對一切 為高斯分布。 ? 由于 最小均方誤差估計 不可能有更大的誤差，因此 當(dāng)有效估計存在時，有： ? 當(dāng)有效估計存在時，計算上求解 MAP方程通常比求解后驗均值容易得多。 ? 但當(dāng)有效估計不存在時，無論是用 或是 ，都不知道其均方誤差是如何逼近下界的。 ? ( | )?p vvM S M A P? ?( ) ( )???vvMS? ()? vM A P? ()? v95 目錄 概論 第一章 信號的矢量與復(fù)數(shù)表示 第二章 噪聲和干擾 第三章 假設(shè)檢驗 第四章 確知信號的檢測 第五章 具有隨機參量信號的檢測 第八章 信號的參量估計 第九章 信號參量的最佳線性估計 96 信號參量的最佳線性估計 ? 上一章研究了各種最佳估計準(zhǔn)則， ML估計、 MAP估計、 MMSE估計 等，最佳估計量 是觀測數(shù)據(jù)的 非線性函數(shù)，對許多實際問題往往 不易求解與計算 ，特別是非白噪聲中的參量估計問題。 ?()? v v97 信號參量的最佳線性估計 ? 各種最佳估計準(zhǔn)則都要求對觀測值 ，有時還要對待估參量 作概率描述。 ? ML估計 要求給出觀測值的 條件概率密度函數(shù) ? MAP估計 要求給出參量 的 后驗概率密度函數(shù) ，或 與之等效的 及 。 ? 在許多實際問題中辦不到，通常缺乏對觀測數(shù)據(jù) 及待估參量 的精確的概率與統(tǒng)計的知識，而 只有它們的 一、二階距 方面的統(tǒng)計特性。 v??( | )p v ??? ( | )p v??( | )p v ?? ()Z?v??98 信號參量的最佳線性估計 ? 采用 最佳線性估計 ，即規(guī)定估計量 只是觀測數(shù)據(jù) 的 線性函數(shù) 的前提下，以 均方誤差最小 為準(zhǔn)則去尋求對 的估計。 ? 由于 線性估計 放松了對觀測數(shù)據(jù)與待估參量的先驗概率知識方面的要求，只利用了它們的 一、二階矩 方面的統(tǒng)計特征，其 估計質(zhì)量會稍差 一些。 ? 由于其實現(xiàn)簡單，而且在某些情況下，特別是 先驗概率分布為高斯型時，最佳線性估計往往也就是最佳估計。 因為一、二階矩特性也充分代表了高斯型隨機矢量的概率統(tǒng)計特性，所以線性估計的應(yīng)用非常廣泛。 ?()? v v??99 信號參量的最佳線性估計 ? 本章主要內(nèi)容 ? 線性估計的基本原理 ? 正交原理 ? 實用的遞歸算法： 遞歸線性均方估計 ? 最小二乘與加權(quán)最小二乘估計 100 信號參量的最佳線性估計 第一節(jié) 線性最小均方誤差估計 第二節(jié) 正交性原理 第三節(jié) 遞歸線性均方估計 第四節(jié) 最小二乘與加權(quán)最小二乘估計 101 線性最小均方誤差估計 ? 本節(jié)所要研究的問題 ? 待估隨機參量矢量 ，與觀測數(shù)據(jù)矢量 (一般情況下都是復(fù)矢量 ) 存在著相關(guān)性 ， ? 在整個觀測過程中不變化。 ? 目的是通過對 的 線性運算 得到 的 最小均方誤差估計 。 ? 已知的條件 ? 僅知道關(guān)于 及 的 前二階統(tǒng)計特性 ，即 ， ， ， 以及 已知。 12[ , , , ] TM? ? ????12[ , , , ] TNv v v?v ??v ??? v ()E? ()E v()Var ? ()Var v co v ( ), v?102 線性最小均方誤差估計 ? 由于估值 被限定是 的線性函數(shù)，則： ? 為 M N矩陣； ? 為 M維列矢量， ? 尋求最佳的 與 使得估計的均方誤差最小，即 ?? v? () ??? v A v bAbA b2?{|| || } {[ ( ) ] [ ( ) ] }EE ?? ? ? ? ? ?? ? ? ?Av b Av b103 線性最小均方誤差估計 ? 最佳線性估計 為： ? ? ? ?? ?? ? ? ?? ?1?[ ( ) ] ( )( ) ( )( ) ( )EEE E EE E E???? ? ????D v v1D = v v21= v v v v2? ? ?? ? ?? 104 線性最小均方誤差估計 ? 檢驗一下該估計的性能 ? 檢查 無偏性 ，即對 求數(shù)學(xué)期望，得 ? 故 最佳線性最小均方誤差估計是一無偏估計。 ? 考查 的 自協(xié)方差 ，則： ? 對角線元素即為各估計參量得均方誤差，對角線外元素則代表各估計參量間的互協(xié)方差系數(shù)。 ?? ?( ) ( )EE?????11? ? ? ? ?( ) {[ ( ) ] [ ( ) ] }2V a r E E E ?????? DD? ? ? ? ? ??1? [ ( ) ] ( )EE?? ? ?? ? ?D v v105 信號參量的最佳線性估計 第一節(jié) 線性最小均方誤差估計 第二節(jié) 正交性原理 第三節(jié) 遞歸線性均方估計 第四節(jié) 最小二乘與加權(quán)最小二乘估計 106 正交性原理 ? 已知 : 待估參量矢量 與觀測數(shù)據(jù)矢量 的 一、二階統(tǒng)計特性 尋找對 的 線性最小均方誤差估計 。 ? 定義 1: 若 兩復(fù)隨機變量 與 的 互相關(guān)系數(shù) 為 零 ，則稱 與 正交 。 ? 定義 2: 若兩復(fù)隨機 矢量 與 的 互相關(guān)矩陣 為 零矩陣 ，則稱 與 正交 。 12[ , , , ] TM? ? ???12[ , , , ] TNv v v?v ??? ?*1 {}2 E??? ??1 {}2 E???? ??? ?? ?? ?107 正交性原理 ? 定理 : 若通過 的線性運算 去估計參量 ，其估計誤差為 ， 則使 ，即 均方誤差最小的充要條件 是使誤差 與觀測數(shù)據(jù) 正交 ，即二者的互相關(guān)矩陣 是零矩陣。 v ? ??? Av b ?12( ) [ , , , ]MT? ? ?? ? ?? ? ?ε Av b? ? ?2{|| || }E ε?ε? v 1 {}2 E?εv?108 正交性原理 ? 該定理說明了只有保證 與 正交 ，則由 求出的 與 就可以保證 是 的 最小線性均方誤差估計 。 ?可以證明： ε? v()? ? ?ε?? Av b A b ? ??? Av b?2 2 2?{|| || } {|| || } {|| || }E E E???? ? ?109 正交性原理 vθ~θ?~εθ~??v與 正交 110 正交性原理 ? 借用幾何觀點把不相關(guān)性看作正交，則由 可知 估計與誤差是正交的 (相互垂直 )。 ? 在 與 不正交 (有一定相關(guān)性 )時，可以從 中減去一個的線性函數(shù) 后，使得該差矢量 與 正交，可以說 是 在 上的投影。 ?{}E ? ? ? 0??? v??? v?? ?? ? ? ? v?? ? v111 正交性原理 ? 定義 3：設(shè) 與 分別為 M及 N維復(fù)矢量，它們的前二階統(tǒng)計特性已知。今有一 M維矢量，它滿足： ? ① 是 的線性函數(shù)，即： ? ② ? ③ 與 正交，即： 則稱 為 在 上的投影。 ? v?? v ? ??? Av bv?? ? v?EE?（ ） （ ）???? ?? ? ? ?{[ ]