概率密度估計(jì)ppt課件(參考版)
2025-05-04 02:10本頁面
【正文】 △ 小結(jié)：概率密度函數(shù)估計(jì) ??? 參數(shù)估計(jì)：概率密度函數(shù)形式已知，只未知幾個(gè)參數(shù) θ ??? 最大似然估計(jì) ? 貝葉斯估計(jì) ? 非參數(shù)估計(jì) ??? 參數(shù)估計(jì)：概率密度函數(shù)形式已知，只未知幾個(gè)參數(shù) θ ??? 最大似然估計(jì) 似然函數(shù) 對(duì)數(shù)似然函數(shù) 最大似然估計(jì)量 求解：連續(xù)可微條件下 正態(tài)分布例 ? 貝葉斯估計(jì) 把 看作隨機(jī)變量，先驗(yàn)分布 p(θ ) 最小化風(fēng)險(xiǎn) 對(duì)樣本集 平方誤差損失函數(shù) 貝葉斯估計(jì) 求法： ??貝葉斯學(xué)習(xí) 遞推 正態(tài)分布例 ? 非參數(shù)估計(jì) ： 直接估計(jì)密度函數(shù)（數(shù)值解），不對(duì)函數(shù)形式作假設(shè)基本思想：將取值空間分為多個(gè)小區(qū)間，假定小區(qū)間內(nèi)密度值不變，用小區(qū)間內(nèi)的樣本估計(jì)此值。 樣本劃分法：將樣本集分成兩組 —— 需要樣本較多 交叉驗(yàn)證法（ crossvalidation）： 留一法（ leaveoneout）： 用一個(gè)樣本做檢驗(yàn)，其余 N ?1個(gè)樣本為設(shè)計(jì)集，反復(fù) N 次 mfold 法： 每次隨機(jī)抽出 1/m 個(gè)樣本做檢驗(yàn)，其余樣本為訓(xùn)練集，反復(fù)多次 —— 計(jì)算量較大，但在樣本有限是比劃分法更好 △ 討論： 有限樣本下，密度函數(shù)的估計(jì)問題是一個(gè)很難的問題（不適定），比分類器設(shè)計(jì)問題甚至更難，也是一個(gè)更一般的問題。 分類器錯(cuò)誤率的估計(jì) 樣本集：設(shè)計(jì)集（訓(xùn)練集）、檢驗(yàn)集（考試集） 有專門的考試集的情況（即已設(shè)計(jì)好分類器） 設(shè)考試集有 N 個(gè)樣本，其中 k 個(gè)被分錯(cuò)，則錯(cuò)誤率估計(jì)是 可以證明 （無偏估計(jì)） 若 未知，考試集由隨機(jī)抽樣產(chǎn)生，則 （隨樣本增多方差減?。? 若 已知，考試集依 選擇性隨機(jī)抽樣產(chǎn)生，則 )( 2?PNk????? ??][E)( 1?P )( 2?P)( 1?P )( 2?P )( 1?P )( 2?P 沒有專門的測(cè)試集（分類器未設(shè)計(jì)好） 樣本集既用于設(shè)計(jì)分類器，也用于估計(jì)錯(cuò)誤率，因此存在設(shè)計(jì)集和考試集的劃分策略問題。 — 近鄰估計(jì) 通過控制小區(qū)域內(nèi)的樣本數(shù) 來確定小區(qū)域大小。 (見教材 ) 從原則上來講，只要滿足概率密度函數(shù)的形式，都可以作為窗函數(shù)使用，但 最終的估計(jì)效果的好壞與樣本的情況和窗函數(shù)及其參數(shù)的選擇有關(guān)。 窗函數(shù)要滿足下述形式，即具有密度函數(shù)的形式，則 一定為密度函數(shù) ),( ixxk ix )(xp?常用窗函數(shù)： （ 1）超立方體窗（方窗） （ 2）正態(tài)窗（高斯窗） （ 3）超球窗 窗寬的選擇： 樣本數(shù)少則選大些，樣本數(shù)多則選小些，對(duì)估計(jì)密度的影響 是很大的。 何時(shí)用正態(tài)分布？（中心極限定理？） )(, iii P ?? ?167。 )0(?i?（二） 均未知， c 已知 思路與（一）類似，將有關(guān)分布公式代入上小節(jié)方程即可，只是公式復(fù)雜一些，也可得到物理意義明確的方程式，但一般也只能用迭代法求解。 但實(shí)際上多數(shù)問題中只能采用某種迭代方法求解。 ??c^1^ , ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1