【正文】 ), . . . . . .,(21 m???? ?觀測空間 ：用來進行估計的樣本，也稱觀測值 ), . . . . . . ,( 21 nxxxx ?估計規(guī)則： )( x??? ??為 的估計量 ?均值 ????niixnE11)( ?方差 ])][[(]])[[(])[( 222 ?????? ????? ???? EEEEE若 ?? ?? )(E 稱 為 的無偏估計 ?? ?若 ?? ????)(lim En稱 為 的漸進無偏估計 ?? ?若 0)][(lim ???????En稱 為 的一致估計量 ???若 0])[(lim 2 ???????En稱 為均方 一致的 ??經(jīng)典估計 n階原點矩 ???????????????dxxpxpxXEmxnniininn)()( 1???????????????dxxxppxxEmxniii)()( 11???????????????dxxpxpxXEmxniii)()(21222x的數(shù)學期望 x的均方差 ??????????????????dxxpmxpmxmxExnxniinxinxn)()()(])[( 1?0)][(1 ??? xmxE???????????????????dxxpmxpmxmxExxniixix)()()(])[(21222?x的方差 n階中心矩 點估計 ： 設(shè)總體 ?的分布函數(shù) p(x|?)的形式已知， ?是待估 參數(shù)， ?1, ?2,…, ?n是 ?的一個樣本； x1, x2,…, xn是相應 的一個樣本值。 矩估計法 ： 設(shè) ?為連續(xù)型隨機變量，其概率密度為 p(x|?)。 ?r?r?r?貝葉斯估計 思想：估計偏差必然帶來損失，付出代價。 代價函數(shù)： （ 1）誤差絕對值代價函數(shù) ||),( ?? ?? ????C（ 2）誤差平方代價函數(shù) 2)(),( ?? ???? ??C（ 3）相對誤差平方代價函數(shù) 2]/)[(),( ????? ?? ??C（ 4）均勻代價函數(shù) ?????????????????????||,0||,),(KC貝葉斯風險函數(shù)： ? ?? }{ }{ ),(),(x dxdxpcR ??????? ?? }{ }{ )(])|(),([x dxxpdxpc??????R 最小等價于條件貝葉斯風險 ?? }{ )|(),()|( ? ?? ????? dxpcxR最小 0)|(??????? xR1）最小均方估計 2)(),( ?? ???? ??C? ??????? ????? dxpxR )|()()|( 2????????????? 0)|()(20)|( ?????? dxpxR]|[)|()|()|(xEdxpdxpdxp?????????????? ??? ?????????例： xk=α+nk，其中 nk是正態(tài)分布的，均值為零，方差為 σn2。 求 α 的最小均方誤差估計。 由 ? ???? ????? dxp )|(求得最小均方誤差估計 ????NkknxNN1222)1(/?? ?????估計量的均方誤差為 22222 }]{[nnNE????????????2）條件中位數(shù)估計 ||),( ?? ?? ????C? ?? ?? }{ )|(||)|( ? ????? dxpxR??? ?????? ????????????? )|()|(0)|( xpdxxpxR?? ? ??? ? ?????? ?? ???????? dxpdxp )|(||)|(||)()( ???? ??? ?? pp即估計量是條件分布 的中位數(shù) )|( xp ?3）最大后驗估計 選擇使聯(lián)合概率密度函數(shù) 最大的 作為 估計值 等效于使后驗概率密度 最大。 例： 考慮在均值為零，方差為 σn2的加性白噪聲 n中接受信號 s，已知信號 s 在 a到 +a之間均勻分布 。 解：似然函數(shù)為 ]2)(e x p []21[)|(222/12nnsxsxp??????而 ??????021)( asp asa ????其它 所以在 范圍內(nèi)，由 asa ????0|])(ln)|(ln[ ?????? ?? MA Psssspssxp得 xssM A P ?? )(由于信號 s的最小值是 a，最大值是 +a，觀測噪聲是零均值的高斯噪聲，所以當觀測值 sa和 s+a時，信號分別取 a和 +a的概率最大。 即使無法得到先驗概率密度 P(?)，也可以用這個準 則進行 最大似然估計。若某個 ?1使 的值大于另一個 ?2使 的值，便說前一個 ?1的值較后一個 ?2的值 更 似然（更正確）。 )|( ?xP)|( ?xP)|( ?xP)|( ?xP??例：設(shè)雷達所測目標距離的真值為 R0，由于有噪聲干擾，每次測量的結(jié)果為 rk=R0+nk，其中 nk是正態(tài)分布的，均值為零，方差為 σk2。 用最大似然法求目標距離的估計值。 不管真實先驗分布如何，把最不利先驗分布應用于 貝葉斯估計，則其平均風險總不會大于貝葉斯風險 的這個最大值，從而保證最大可能出現(xiàn)的風險極小 化。 即估計誤差 e與觀測向量正交，估計的平均損失最小。 022)( ???? ??? AAxAddr TTxAAA TT 1)( ?? ??8）加權(quán)最小二乘估計 誤差函數(shù) ???? wT?)(wxAwAA TT 1)( ?? ??區(qū)間估計 設(shè)總體 X分布函數(shù) F(x,?)含有一個未知參數(shù) ?，對于給定值 ??(0 ?1)，若由樣本 x1， …x n確定的兩個統(tǒng)計量 ),( 1 nxx ?? 及 ),( 1 nxx ?? 滿足 ???? ???? 1)},(),({ 11 nn xxxxP ??則稱隨機區(qū)間 是 ?的置信水平為 1 ?的 置信區(qū)間 。 ? ?2已知，求 μ的置信區(qū)間 )1,0(~/ Nnx? ?????niixnx11)1,0(~ NX?? ? ? ???? 1}|/{| 2/znxP???? ?? ?????? 1}{ 2/2/ nzxnzxP置信水平為 1 ?的 置信區(qū)間為： ),( 2/2/ nzxnzx ?? ?? ??如取 ?=，即 1 ?=。 查表得 z ?/2= z =，于是得到一個置信水平為 )( ?x若由一個樣本值算得樣本均值的觀察值 ?x則得到一個區(qū)間 即 )( ? ),(即“該區(qū)間包含 μ”這一陳述的可信程度為 95%。 2212 nxxx ??? ?2?)1,0(~ Nx )(~ 2 ny ?設(shè) 且 x， y 獨立 稱隨機變量 服從自由度為 n的 t分布。 x2s)/,(~ 2 nNx ??)1(~)1( 222?? nsn ??)1(~)1( 222?? nsn ??)1,0(~/ Nnx? ??)1(~)1()1(/22????ntnsnnx???)1(~/ ?? ntnsx ?得 ?? ?? ???????? 1)}1(/)1({ 2/2/ ntns xntP得置信區(qū)間 ),(2/2/ nstxnstx?? ?? 方差 ?2置信區(qū)間 如 x1， …x n是來自總體 N(μ,σ2)的樣本， 為樣本均值， 為樣本方差