第三章概率密度的估計(jì)-資料下載頁(yè)
2025-08-01 17:50本頁(yè)面
【正文】 本數(shù)量無(wú)法達(dá)到精確估計(jì)的要求。 42 4?( ( ) ( ) ) ( )dNE p x p x O N ???N d N4/(d+4) 16 1 32 2 178 5 3162 10 3E+13 50 非參數(shù) 估計(jì) 第三章 概率密度密度的估計(jì) 42 kN近鄰法 ?均勻核函數(shù) Parzen窗估計(jì)，窗寬固定，不同位置落在窗內(nèi)的樣本點(diǎn)的數(shù)目是變化的。 ?kN近鄰估計(jì)：把窗擴(kuò)大到剛好覆蓋 kN個(gè)點(diǎn)。落在窗內(nèi)的樣本點(diǎn)的數(shù)目固定，窗寬是變化的。 kN根據(jù)樣本總數(shù) N選擇 。 ?概率密度估計(jì)表達(dá)式： 1? () NNNkpVN?x非參數(shù) 估計(jì) liml i m / 0NNNNkkN???????點(diǎn) x處窗的 “ 體積 ” 是 Vn 收斂條件 1Nk k N?經(jīng)驗(yàn)值 kN近鄰法舉例 ?kN的選擇： ?漸進(jìn)收斂容易保證； ?有限樣本性質(zhì)、最小平方誤差與Parzen窗方法幾乎相同。 1Nk k N?非參數(shù) 估計(jì) 第三章 概率密度密度的估計(jì) 44 分類(lèi)器錯(cuò)誤率的估計(jì) ?在處理實(shí)際問(wèn)題時(shí)，更多的是利用樣本來(lái)估計(jì)錯(cuò)誤率。 ?對(duì)于已設(shè)計(jì)好的分類(lèi)器，利用樣本來(lái)估計(jì)錯(cuò)誤率。Test Dataset。 ?對(duì)于未設(shè)計(jì)好的分類(lèi)器，需將樣本分成兩部分(Train Dataset和 Test Dataset)。 第三章 概率密度密度的估計(jì) 45 已設(shè)計(jì)好的分類(lèi)器的錯(cuò)誤率估計(jì) ?錯(cuò)誤率的估計(jì) ：錯(cuò)分樣本數(shù) /總樣本數(shù) 錯(cuò)誤率 估計(jì) /kN? ??這是錯(cuò)誤率的 最大似然估計(jì) 。錯(cuò)分樣本數(shù) k是隨機(jī)變量，服從二項(xiàng)分布。 ( ) ( 1 )k k N kNP k C ?? ???( ) ( ) ( 1 )E k N D k N? ? ?? ? ?，a r g m a x ( )/PkkN?? ??第三章 概率密度密度的估計(jì) 46 錯(cuò)誤率估計(jì)的統(tǒng)計(jì)性質(zhì) ?是真實(shí)錯(cuò)誤率的無(wú)偏估計(jì) ?測(cè)試樣本數(shù)越多，估計(jì)越有效，估計(jì)的置信區(qū)間越小。 ?如果已知各類(lèi)的先驗(yàn)概率，則可進(jìn)行 選擇性抽樣 產(chǎn)生測(cè)試樣本集，這比 隨機(jī)抽樣 更為有效。 ( ) ( ) ( 1 ) /E D N? ? ? ? ?? ? ?，錯(cuò)誤率 估計(jì) 第三章 概率密度密度的估計(jì) 47 未設(shè)計(jì)好的分類(lèi)器的錯(cuò)誤率估計(jì) ?需要把樣本集分為訓(xùn)練集和測(cè)試集 ?C法 ：利用 N個(gè)樣本設(shè)計(jì)，也利用這 N個(gè)樣本測(cè)試。得到樂(lè)觀估計(jì)。 ?U法 ：把樣本集分為訓(xùn)練集和測(cè)試集。得到保守估計(jì)。 ? 樣本劃分法：樣本數(shù)需要比較多，測(cè)試樣本數(shù)越多越有效。 ? 留一法：樣本較少時(shí)， N1個(gè)樣本設(shè)計(jì)，另一樣本測(cè)試，遍歷 N個(gè)樣本。假設(shè)錯(cuò)分樣本數(shù)為 K，則錯(cuò)誤率估計(jì)為： /KN? ?錯(cuò)誤率 估計(jì) 第三章 概率密度密度的估計(jì) 48 討論 ?概率密度函數(shù)包含了隨機(jī)變量的全部信息 ，是導(dǎo)致估計(jì)困難的重要原因。 ?高維概率分布的估計(jì)無(wú)論在理論上還是實(shí)際操作中都是一個(gè)十分困難的問(wèn)題。 ?進(jìn)行模式識(shí)別并不需要利用概率密度的所有信息，只需要求出 分類(lèi)面 。 ?先估計(jì)概率密度，再進(jìn)行分類(lèi)，可能走了“ 彎路 ” 。 第三章 概率密度密度的估計(jì) 49 習(xí)題 1. 一元正態(tài)分布的最大似然估計(jì)： ? 假設(shè)樣本 x服從正態(tài)分布 N(μ,σ2) ? 已獲得一組樣本 x1 , x2 , … , xN 2. 用 C/Java/Matlab語(yǔ)言設(shè)計(jì)一程序片斷，計(jì)算上題中的估計(jì)參數(shù) (μ,σ2) 3. 試簡(jiǎn)述參數(shù)估計(jì)，非參數(shù)估計(jì)和非參數(shù)分類(lèi)器等概念間的關(guān)系 4. 證明對(duì)正態(tài)總體的期望 u的最大似然估計(jì)是無(wú)偏的，對(duì)方差 s2的最大似然估計(jì)是有偏的。 第三章 概率密度密度的估計(jì) 50 習(xí)題 5. 已知一數(shù)據(jù)集有兩類(lèi)樣本，第一類(lèi)有四個(gè)樣本，分別為 : (0, 0, 1)， (1, 1, 1)， (1, 0, 1)及 (1, 0, 0)，第二類(lèi)也有四個(gè)樣本，分別為 : (0, 0, 0)， (1, 1, 0)，(0, 1, 0)及 (0, 1, 1) 。 1）試求該數(shù)據(jù)集的均值向量和協(xié)方差矩陣。 2）說(shuō)明該協(xié)方差矩陣中每個(gè)元素的含義。 6. 給出 Parzen窗估計(jì)的程序框圖。 第三章 概率密度密度的估計(jì) 51 混合高斯模型參數(shù)估計(jì) ? Mixed gaussian distribution ?密度函數(shù)具有如下形式： 正態(tài)模型的線性組合 21( | ) ( , )Di i j i j i jjp x d N? ? ??? ?? 需估計(jì)的參數(shù)： 2. . ., Ti i i id????? ??θ? 采用迭代法進(jìn)行參數(shù)估計(jì)
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1