第三章概率密度的估計(jì)(參考版)
2025-08-04 17:50本頁(yè)面
【正文】 6. 給出 Parzen窗估計(jì)的程序框圖。 1）試求該數(shù)據(jù)集的均值向量和協(xié)方差矩陣。 第三章 概率密度密度的估計(jì) 49 習(xí)題 1. 一元正態(tài)分布的最大似然估計(jì)： ? 假設(shè)樣本 x服從正態(tài)分布 N(μ,σ2) ? 已獲得一組樣本 x1 , x2 , … , xN 2. 用 C/Java/Matlab語(yǔ)言設(shè)計(jì)一程序片斷，計(jì)算上題中的估計(jì)參數(shù) (μ,σ2) 3. 試簡(jiǎn)述參數(shù)估計(jì)，非參數(shù)估計(jì)和非參數(shù)分類(lèi)器等概念間的關(guān)系 4. 證明對(duì)正態(tài)總體的期望 u的最大似然估計(jì)是無(wú)偏的，對(duì)方差 s2的最大似然估計(jì)是有偏的。 ?進(jìn)行模式識(shí)別并不需要利用概率密度的所有信息，只需要求出 分類(lèi)面 。假設(shè)錯(cuò)分樣本數(shù)為 K，則錯(cuò)誤率估計(jì)為： /KN? ?錯(cuò)誤率 估計(jì) 第三章 概率密度密度的估計(jì) 48 討論 ?概率密度函數(shù)包含了隨機(jī)變量的全部信息 ，是導(dǎo)致估計(jì)困難的重要原因。 ? 樣本劃分法：樣本數(shù)需要比較多，測(cè)試樣本數(shù)越多越有效。 ?U法 ：把樣本集分為訓(xùn)練集和測(cè)試集。 ( ) ( ) ( 1 ) /E D N? ? ? ? ?? ? ?，錯(cuò)誤率 估計(jì) 第三章 概率密度密度的估計(jì) 47 未設(shè)計(jì)好的分類(lèi)器的錯(cuò)誤率估計(jì) ?需要把樣本集分為訓(xùn)練集和測(cè)試集 ?C法 ：利用 N個(gè)樣本設(shè)計(jì)，也利用這 N個(gè)樣本測(cè)試。 ( ) ( 1 )k k N kNP k C ?? ???( ) ( ) ( 1 )E k N D k N? ? ?? ? ?，a r g m a x ( )/PkkN?? ??第三章 概率密度密度的估計(jì) 46 錯(cuò)誤率估計(jì)的統(tǒng)計(jì)性質(zhì) ?是真實(shí)錯(cuò)誤率的無(wú)偏估計(jì) ?測(cè)試樣本數(shù)越多，估計(jì)越有效，估計(jì)的置信區(qū)間越小。 第三章 概率密度密度的估計(jì) 45 已設(shè)計(jì)好的分類(lèi)器的錯(cuò)誤率估計(jì) ?錯(cuò)誤率的估計(jì) ：錯(cuò)分樣本數(shù) /總樣本數(shù) 錯(cuò)誤率 估計(jì) /kN? ??這是錯(cuò)誤率的 最大似然估計(jì) 。Test Dataset。 1Nk k N?非參數(shù) 估計(jì) 第三章 概率密度密度的估計(jì) 44 分類(lèi)器錯(cuò)誤率的估計(jì) ?在處理實(shí)際問(wèn)題時(shí)，更多的是利用樣本來(lái)估計(jì)錯(cuò)誤率。 kN根據(jù)樣本總數(shù) N選擇 。 ?kN近鄰估計(jì)：把窗擴(kuò)大到剛好覆蓋 kN個(gè)點(diǎn)。其充要條件： ? ( ) ( ) ( )PNp x p x p x??? ?l i m 0limNNdNNhNh??????? 11N dhhN??()p xx窗 函 數(shù) 滿(mǎn) 足 密 度 函在 點(diǎn) 連 續(xù)數(shù) 的 條 件非參數(shù) 估計(jì) 39 Parzen窗法示例 1 非參數(shù) 估計(jì) 估計(jì)單一正態(tài)分布 1 /Nh h N?40 Parzen窗法示例 2 非參數(shù) 估計(jì) 估計(jì)兩個(gè)均勻分布 1 /NhhN?第三章 概率密度密度的估計(jì) 41 有限樣本的影響 ?密度估計(jì)的均方誤差： ? 維數(shù)災(zāi)難 (Curse of Dimensionality): 當(dāng)維數(shù)較高時(shí)，樣本數(shù)量無(wú)法達(dá)到精確估計(jì)的要求。( ) e x p ( )22k ???xxx? ? 22212xye???????xyμ μ + 2 σμ + 2 σ1in ter po lati11? ()on()NiNi NNp N V h???? ? xxx可 作 為 密 度 函 數(shù) 的 估 計(jì) ()非參數(shù) 估計(jì) 第三章 概率密度密度的估計(jì) 37 窗寬的選擇 ? hN是控制 “ 窗 ” 寬度的參數(shù)， 根據(jù)樣本的數(shù)量選擇 。 ?參數(shù)估計(jì) 需要事先假定一種分布函數(shù)，利用樣本數(shù)據(jù)估計(jì)其參數(shù)。 ? 協(xié)方差矩陣的無(wú)偏估計(jì)是： 11? ? ?( ) ( )1NTkkkN ?? ? ? ?? ? x μ x μ? ?1222*( ) ( , , . . . , ) , ( )( ) ( ) ( ) , ( ) ( )Tn i iTi j n n i j i i j jE E xE E x x? ? ? ?? ? ? ?? ? ???? ? ? ? ? ? ? ???μ xx μ x μ總體均值向量和協(xié)方差矩陣 最大似 然 估計(jì) 第三章 概率密度密度的估計(jì) 26 一元正態(tài)分布貝葉斯估計(jì)例解 ?總體分布密度為： 貝葉斯估計(jì) 2( | ) ~ ( , )p x N? ? ?? 均值 μ為隨機(jī)未知變量， μ的先驗(yàn)分布為： ? 用貝葉斯估計(jì)方法求 μ的估計(jì)量 200( ) ~ ( , )pN? ? ?? 樣本集： K
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1