第五章參數(shù)估計與非參數(shù)估計(編輯修改稿)
2024-08-28 13:14 本頁面
【文章內(nèi)容簡介】 維正態(tài)：已知 σ2， μ 未知 ∵ μ 的后驗(yàn)概率為 ??? dxPxPxxP ii )|()|()|( ?? ?? ?? ?服從正態(tài)分布??????????????]21e x p [21)|(]21e x p [21)|()|(22????????????xxPxPxPNNNii?????? dxPxPdxPxPxxP iii )|()|()|()|()|( ???? ??代入? ? ? ?? ????? ?? ????????dxNNN ]21ex p [21]21ex p [21 22? ? ? ?? ?????????? ??? ?????? ???? ???? dxxNNNNNNNN ]21e x p [21e x p [212222 22222222]21e xp [2122222 ????????????????? NNNx為正態(tài)函數(shù)),( 22 ??? ?? NNN? 結(jié)論： ① 把第 i類的先驗(yàn)概率 P(ω i)與第 i類概率密度 P(x|xi)相乘可以 得到第 i類的后驗(yàn)概率 P(ω i/x) ， 根據(jù)后驗(yàn)概率可以分類 。 ② 對于正態(tài)分布 P(x|xi)， 用樣本估計出來的 μ N代替原來的 μ 用 代替原來的方差 即可 。 ③ 把估計值 μ N作為 μ 的實(shí)際值 ， 那么使方差由原來的 變 為 ,使方差增大 ?? 22 ?N ?2?2?? 22 ?N⑵ 多維正態(tài) （ 已知 Σ ， 估計 μ ） 設(shè) P(x|μ )=N(μ ,∑) P(μ )=N(μ 0,∑0). 根據(jù) Bayes公式 ， 仿上面步驟可以得到： Σ N , μ N 有以下關(guān)系 ? ? ? ? ]21e x p [)|( 1? ? ???? N NN Ti axP ?????).(..........1011 ANN ??? ??? ??). . . . . . . (.)( 10 0111 BxNkkN N ?? ?????? ?? ??其中 a與 μ 無關(guān) 這就是在多維情況下 ， 對 μ 的估計 ?? ?????? ?? ????NANN10:)( 011式得由?? 010101)1(1)1(0)(1 ? ???? ?????? ?? ? ??????NNxNBNkkN N式得：代入分類器設(shè)計就可以代入將B ay e sdxPxPxxP iiN ?? ???? )|()|()|(167。 53非參數(shù)估計 參數(shù)估計要求密度函數(shù)的形式已知 ， 但這種假定有時并不成 立 ， 常見的一些函數(shù)形式很難擬合實(shí)際的概率密度 ， 經(jīng)典的密 度函數(shù)都是單峰的 ， 而在許多實(shí)際情況中卻是多峰的 ， 因此用 非參數(shù)估計 。 非參數(shù)估計 :直接用已知類別樣本去估計總體密度分布 ， 方法有： ① 用樣本直接去估計類概率密度 p(x/ωi)以此來設(shè)計分類器 , 如窗口估計 ② 用學(xué)習(xí)樣本直接估計后驗(yàn)概率 p(ωi/x)作為分類準(zhǔn)則 來設(shè)計分類器如 k近鄰法 . 1. 密度估計 :一個隨機(jī)變量 X落在區(qū)域 R的概率為 P P(X’)為 P(X)在 R內(nèi)的變化值 ,P(X)就是要求的總體概率密度 R P(x) ? ?RxPdxxPP R r ??? ? )( 39。 假設(shè)有 N個樣本 X=(X1, X2,… XN)T都是按照 P(X)從總體中獨(dú) 立抽取的 若 N個樣本中有 k個落入在 R內(nèi)的概率符合二項(xiàng)分布 其中 P是樣本 X落入 R內(nèi)的概率 Pk是 k個樣本落入 R內(nèi)的概率 數(shù)學(xué)期望 :E(k)=k=NP ∴ 對概率 P的估計 : 。 是 P的一個比較好的估計 設(shè) P(x’)在 R內(nèi)連續(xù)變化 ,當(dāng) R逐漸減小的時候 ,小到使 P(x)在其上 幾乎沒有變化時 ， 則 其中 是 R包圍的體積 ? ?PpCP kNkkNk ?? ?1NkP ?NkNkdxxPPR???? 39。)39。(NkVxPdxxPPR????? )(39。)39。( ?? RdxV 39。∴ ∴ 條件密度的估計： (V足夠小 ) 討論 :① 當(dāng) V固定的時候 N增加 , k也增加 ,當(dāng) 時 只反映了 P(x)的空間平均估計 而反映不出空間的變化 ② N固定 ,體積變小 當(dāng) 時 ,k=0時 時 所以起伏比較大 ,噪聲比較大 ,需要對 V進(jìn)行改進(jìn) . NkPVxP ???)(VNkxP ?)(??N ??k
電大資料相關(guān)推薦
鄂ICP備17016276號-1