第五章參數(shù)估計(jì)與非參數(shù)估計(jì)-展示頁(yè)
2025-08-10 13:14本頁(yè)面
【正文】 ????? ? ,)|(??? dXP i ∴ 對(duì) μ 的估計(jì)為 若令 P(μ )=N(μ 0, σ02 )=N(0,1) 與最大似然估計(jì)相似，只是分母不同 02022120202?????????????? ???NXNNkkNN??????NkkXNN111?? ??? ????? Ni dXP )|(∵ 三 ． 貝葉斯學(xué)習(xí) ：求出 μ 的后驗(yàn)概率之后，直接去推導(dǎo)總 體分布即 當(dāng)觀察一個(gè)樣本時(shí) ， N=1就會(huì)有一個(gè) μ 的估計(jì)值的修正值 當(dāng)觀察 N=4時(shí) ， 對(duì) μ 進(jìn)行修正 ， 向真正的 μ 靠近 當(dāng)觀察 N=9時(shí) ， 對(duì) μ 進(jìn)行修正 ， 向真正的 μ 靠的更近 當(dāng) N↑,μ N就反映了觀察到 N個(gè)樣本后對(duì) μ 的最好推測(cè) ， 而 σN2 反映了這種推測(cè)的不確定性 , N↑, σN2↓, σN2 隨觀察樣本增 加而單調(diào)減小 ， 且當(dāng) N→∞, σN2 → 0 當(dāng) N↑， P(μ |xi)越來(lái)越尖峰突起 N→∞, P(μ |xi)→σ函數(shù)，這個(gè)過(guò)程成為貝葉斯學(xué)習(xí)。1 00 22??????? NkkXa?????]})1(2)1[(21e x p {39。 ② 用第 i類樣本 xi=(x1, x2,… . xN)T求出樣本的聯(lián)合概率密度分布P(xi|θ)， 它是 θ的函數(shù) 。 B． 多維情況： n個(gè)特征 （ 學(xué)生可以自行推出下式 ） 估計(jì)值： 結(jié)論： ① μ 的估計(jì)即為學(xué)習(xí)樣本的算術(shù)平均 ② 估計(jì)的協(xié)方差矩陣是矩陣 的算術(shù) 平均 （ nⅹ n陣列 ， nⅹ n個(gè)值 ） ??????NkkXN111?? ? ? ? ??????????? ? ??? XTXN kNkk121? ?? ??? ?? ?? XX k Tk二 .貝葉斯估計(jì) 最大似然估計(jì)是把待估的參數(shù)看作固定的未知量，而貝葉斯 估計(jì)則是把待估的參數(shù)作為具有某種先驗(yàn)分布的隨機(jī)變量，通 過(guò)對(duì)第 i類學(xué)習(xí)樣本 Xi的觀察，使概率密度分布 P(Xi/θ)轉(zhuǎn)化為 后驗(yàn)概率 P(θ/Xi) ，再求貝葉斯估計(jì)。 ∵ 學(xué)習(xí)樣本獨(dú)立從總體樣本集中抽取的 ∴ N個(gè)學(xué)習(xí)樣本出現(xiàn)概率的乘積 取對(duì)數(shù) ： ????NkiX kPiXPiiXP ii1)|()|().|( ?????????NkikikNkXPXP11)|(l o g)|(l o g ??對(duì) θi求導(dǎo) ,并令它為 0： 有時(shí)上式是多解的 , 上圖有 5個(gè)解 ,只有一個(gè)解最大即 . 0)|(l o g. . .11?????????????????????NkikpXP ??????????????????????0)|(l o g. . . . . . . . .. . . . . . . . .0)|(l o g11 1????ikNk pikNkXPXP P(Xi/θi) ???? ???? ＝，即為的估值利用上式求出 ii 2. 多維正態(tài)分布情況 ① ∑已知 , μ 未知 ,估計(jì) μ 服從正態(tài)分布 所以在正態(tài)分布時(shí) )|( ? iiXP0)|(l o g1?? ????? XP kNk? ? ? ? ? ?? ? ?????? 121|]|2l o g [21)|( ???? XXXP kk Tnk? ?? ??? ??NkkX11 0?? ????? ??NkkX11 0???? ?? 1i待估參數(shù)為代入上式得 所以 這說(shuō)明未知均值的最大似然估計(jì)正好是訓(xùn)練樣本的算術(shù) 平均 。 ④ 第 i類的待估參數(shù) 根據(jù)以上四條假定 ， 我們下邊就可以只利用第 i類學(xué)習(xí)樣 本來(lái)估計(jì)第 i類的概率密度 ， 其它類的概率密度由其它類 的學(xué)習(xí)樣本來(lái)估計(jì) 。 167。 二 ． 監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí) ：在已知類別樣本指導(dǎo)下的學(xué)習(xí)和訓(xùn)練 ， 參數(shù)估計(jì)和非參數(shù)估計(jì)都屬于監(jiān)督學(xué)習(xí) 。 現(xiàn)在 來(lái)研究如何用已知訓(xùn)練樣本的信息去估計(jì) P(ωi),P(x/ωi), P(ωi /x) 一 ． 參數(shù)估計(jì)與非參數(shù)估計(jì) 參數(shù)估計(jì) ：先假定研究的問題具有某種數(shù)學(xué)模型 ， 如 正態(tài)分布 ， 二項(xiàng)分布 ， 再用已知類別的學(xué)習(xí) 樣本估計(jì)里面的參數(shù) 。第五章 參數(shù)估計(jì)與非參數(shù)估計(jì) ? 參數(shù)估計(jì)與監(jiān)督學(xué)習(xí) ? 參數(shù)估計(jì)理論 ? 非參數(shù)估計(jì)理論 167。 51 參數(shù)估計(jì)與監(jiān)督學(xué)習(xí) 貝葉斯分類器中只要知道先驗(yàn)概率 ， 條件概率或后驗(yàn)概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以設(shè)計(jì)分類器了 。 非參數(shù)估計(jì)： 不假定數(shù)學(xué)模型 ， 直接用已知類別的學(xué)習(xí) 樣本的先驗(yàn)知識(shí)直接估計(jì)數(shù)學(xué)模型 。 無(wú)監(jiān)督學(xué)習(xí) ：不知道樣本類別，只知道樣本的某些 信息去估計(jì)，如：聚類分析。 52參數(shù)估計(jì)理論 一 ． 最大似然估計(jì) 假定： ① 待估參數(shù) θ是確定的未知量 ② 按類別把樣本分成 M類 X1， X2， X3，
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1