【正文】 數(shù) )|( xp ?3）最大后驗估計 選擇使聯(lián)合概率密度函數(shù) 最大的 作為 估計值 等效于使后驗概率密度 最大。 ),( xP ? ??? )|( xP ?0|])|([ ??? ?? M A PxP????最大后驗估計是均勻代價時的貝葉斯估計： ? ?? ? }{ )|(),()|( ? ????? dxpcxR?? ????????????? ???? dxpdxp )|()|(? ?????????? ?? dxp )|(1為了反映觀測量 x和先驗知識對估計量的影響，利用關系 )()()|()|(xpPxPxP ??? ?兩邊取自然對數(shù)，并對 ?求導，可得到另一種形式的 最大后驗概率方程，即 0|])(ln)|(ln[ ?????? ?? M A PPxP??????式中第一項依賴于觀測量 x，第二項與被估計參量?的 先驗概率密度 P(?)有關。 例： 考慮在均值為零，方差為 σn2的加性白噪聲 n中接受信號 s，已知信號 s 在 a到 +a之間均勻分布 。 單次觀測方程為 x=s+n 求 s 的最大后驗估計。 解：似然函數(shù)為 ]2)(e x p[]21[)|(222/12nnsxsxp??????而 ??????021)( asp asa ????其它 所以在 范圍內，由 asa ????0|])(ln)|(ln[ ?????? ?? M A Psssspssxp得 xssM A P ?? )(由于信號 s的最小值是 a，最大值是 +a，觀測噪聲是零均值的高斯噪聲，所以當觀測值 sa和 s+a時，信號分別取 a和 +a的概率最大。 這樣 ?????????axass M A P )(asasaas????????4）最大似然估計 （不知估計誤差的代價函數(shù)，也不知信號參量的先驗分布） )()()|()|(xpPxPxP ??? ?使后驗概率密度 最大即 )|( xP ?0)()|( ?????? ??? ? PxP等效于 最大（若 只有一個峰） （如 P(?)在很寬的范圍內無峰值，或設 P(?)為均勻分布時 ??????????） )|( ?xP )|( ?xP最大似然估計 ?為 均勻分布時的 最大后驗估計。 即使無法得到先驗概率密度 P(?)，也可以用這個準 則進行 最大似然估計。 基本思想：對于具體的觀測樣本 x來說，似然函數(shù) 作為 ?的函數(shù)，說明 ?的各個值的相對 似然 程度。若某個 ?1使 的值大于另一個 ?2使 的值，便說前一個 ?1的值較后一個 ?2的值 更 似然（更正確）。因此選取使 最大的 作為 ?的估計值。 )|( ?xP)|( ?xP)|( ?xP)|( ?xP??例：設雷達所測目標距離的真值為 R0，由于有噪聲干擾，每次測量的結果為 rk=R0+nk，其中 nk是正態(tài)分布的，均值為零，方差為 σk2。 假設每次觀測是獨立的。 用最大似然法求目標距離的估計值。 解： ]2)(e x p [21)|,()|(22121 kkkNkNRxRxxxpRxp??????????]2e x p[21)(22kkkknnp?????????? Nk kk RxKRxp1222)()|(ln?0]2)([])|(ln[12 ?????????? ?MLML RRNk kkRRRxRRxp???????Nk kNk kkMLxR12121??如果每次觀測中干擾的方差相同，即 ????NkkML xNR1122 ?? ?k5）極大極小化估計 （知道估計誤差的代價函數(shù)，而不知道先驗概率密度） 尋求最不利先驗分布 W(?)，即使 貝葉斯風險 （極小風險）極大化的分布。 不管真實先驗分布如何，把最不利先驗分布應用于 貝葉斯估計，則其平均風險總不會大于貝葉斯風險 的這個最大值，從而保證最大可能出現(xiàn)的風險極小 化。 6）線性均方估計 把 ?表示成觀測信號 x線性函數(shù)條件下，尋求 ?的最優(yōu)估計 ??? ? niii xw1?2212 ][][][ eExwEEniii ???? ??? ???][2][2][][22iiiiexEw eEweEw eE ?????????若 則估計的均方差最小。 即估計誤差 e與觀測向量正交，估計的平均損失最小。 ),2,1(0][ niexE i ???7）最小二乘估計 ?? ?? Ax)()()(12 ?????? AxAxr TniTi ????? ??使誤差平方和 r(?)為最小的估計量 ?的方法為 最小二乘估計 法。 022)( ???? ??? AAxAddr TTxAAA TT 1)( ?? ??8）加權最小二乘估計 誤差函數(shù) ???? wT?)(wxAwAA TT 1)( ?? ??區(qū)間估計 設總體 X分布函數(shù) F(x,?)含有一個未知參數(shù) ?，對于給定值 ??(0 ?1)，若由樣本 x1， …x n確定的兩個統(tǒng)計量 ),( 1 nxx ??及 ),( 1 nxx ?? 滿足 ???? ???? 1)},(),({ 11 nn xxxxP ??則稱隨機區(qū)間 是 ?的置信水平為 1 ?的 置信區(qū)間 。 ),( ??? 和 為置信下限和置信上限。 ? ?2已知，求 μ的置信區(qū)間 )1,0(~/ Nnx? ?????niixnx11)1,0(~ NX?? ? ? ???? 1}|/{| 2/znxP???? ?? ?????? 1}{ 2/2/ nzxnzxP置信水平為 1 ?的 置信區(qū)間為： ),( 2/2/ nzxnzx ?? ?? ??如取 ?=，即 1 ?=。又若 ?=1， n=16。 查表得 z ?/2= z =，于是得到一個置信水平為 )( ?x若由一個樣本值算得樣本均值的觀察值 ?x則得到一個區(qū)間 即 )( ? ),(即“該區(qū)間包含 μ”這一陳述的可信程度為 95%。 ?2未知，求 μ的置信區(qū)間 設 x1， …x n是來自總體 N(0,1)的樣本，即 )1,0(~ Nx稱統(tǒng)計量 服從自由度為 n的 分布。 2212 nxxx ??? ?2?)1,0(~ Nx )(~ 2 ny ?設 且 x， y 獨立 稱隨機變量 服從自由度為 n的 t分布。 記為 nyxt/?)(~ ntt如 x1， …x n是來自總體 N(μ,σ2)的樣本， 為樣本均值， 為樣本方差。 x2s)/,(~ 2 nNx ??)1(~)1( 222?? nsn ??)1(~)1( 222?? nsn ??)1,0(~/ Nnx? ??)1(~)1()1(/22????ntnsnnx???)1(~/ ?? ntnsx ?得 ?? ?? ???????? 1)}1(/)1({ 2/2/ ntns xntP得置信區(qū)間 ),(2/2/ nstxnstx?? ?? 方差 ?2置信區(qū)間 如 x1， …x n是來自總體 N(μ,σ2)的樣本， 為樣本均值， 為樣本方差。 x2s已知 )1(~)1( 222?? nsn ??故有 ???? ?? ???????? 1)}1()1()1({ 2/2222/12 nsnnP得置信區(qū)間 ))1( )1(,)1( )1((2/1222/22????? nsnnsn??