【文章內容簡介】 于各樣本是獨立抽取的，故它們條件獨立，即有 ?=q=q=qNjjNN xpxxxpXp121)( )(),()( ????L???由貝葉斯定理知： 38 參數(shù)估計 貝葉斯估計 (BE) ?=? qq?=q=qNjjNNN pxpXxxxpXp1)(121)( )()()(),()( ????L????39 參數(shù)估計 貝葉斯估計 (BE) 40 作業(yè)： P170 , , 41 54 概密的窗函數(shù)估計法 第五章 統(tǒng)計決策中的訓練、學習 與錯誤率測試、估計 42 N設 個樣本 是從上述概密為 的總體中獨立抽取的， 個樣本中有 個樣本落入?yún)^(qū)域 中的概率 服從離散隨機變量的二項分布 Nxxx?L?? ,21 )(xp ?Nk RkP kNkkNk PPCP ??= )1(43 令 為眾數(shù)，如果 不是整數(shù)，則 : 即 等于 的整數(shù)部分； m PN )1( ?m PN )1( ? ? ?PNm )1( ?= PN )1( ? 1)1( ??= PNm Pm )1?=如果 是整數(shù)，則 : 和 44 PNmPN )1(1)1( ?????由于： PNNPk ???所以： 這里 是 的估計，當 較大 較小時上式的近似程度是足夠的。 P?PNP45 概密的窗函數(shù)估計法 概率密度的基本估計式 當固定 時，對 的最大似然估計 ， 由概率論知， 的數(shù)學期望 。 kNkkNk PPCP ??= )1(NkP =?Pkk? ? NPkE = ? ? NPkE =46 概密的窗函數(shù)估計法 概率密度的基本估計式 設區(qū)域 R 的體積為 V ，我們取 R 足夠小，使 ? ? = R V x p x d x p P ) ( ) ( ? ? ? 設 ) ( ? x p ? 是 ) ( x p ? 的估計，由上面二式有 V x p x d x p P N k R ) ( ? ) ( ?? ? ? ? = = = ? 于是可得 VNkxp =)(? ?47 概密的窗函數(shù)估計法 概率密度的基本估計式 顯然 VNkxp =)(? ?是 )(xp ?的基本估計式，它與 kVN ,有關，顯然 )(? xp ?和 )(xp ?有一定的誤差。 理論上，要使 )(? xp ?? )(xp ? ? R?0 ? V?0，同時 k??， N??。 而實際估計時體積 不是任意的小，且樣本總數(shù) )(? xp?總是存在誤差。 也是有限的，所以 48 概密的窗函數(shù)估計法 概率密度的基本估計式 為了提高 處的概密 ) ( x p ? 的估計精度，我們根據(jù) 理論，可以采用如下步驟以盡量滿足理論要求： 極限 x?⑴ 構造一包含 的區(qū)域序列 各區(qū)域 的體積 滿足 x? , 21 LRR ),2,1( L=NR NNV 0lim =?? NN V⑵ 相對區(qū)域 作估計實驗，對 取 N ),2,1( L=NR N個樣本 進行估計，設有 個樣本落入 樣本數(shù)目應滿足 中， RNk ?=?? NN klim 0lim =?? Nk N49 50 51 52 概密的窗函數(shù)估計法 Parzen窗法 為能用函數(shù)描述區(qū)域 N R 和對落入 N R 的樣本計 數(shù)， 定義窗函數(shù) ) , , , ( 2 1 ? = n u u u u L ? ? ? ? = ? = j 其它 當 , 0 , , 2 , 1 , 2 1 , 1 ) ( n i u u i L ? 這樣， ) ( u ? j 以函數(shù)值 1 界定了一個以原點為中 心、棱長為 1 的 n 維超立方體。 53 概密的窗函數(shù)估計法 Parzen窗法 如果一個樣本 j x ? 落入以 x ? 為 中心以 N h 為棱長的超立方體 N R 內時則計數(shù)為 1 ，否則計數(shù)為 0 ， 我們可以利用窗函數(shù) ) ( x ? j 實現(xiàn) 這個約定，即 ?????? ?j=jNjhxxx???)(落入該立方體 N R 的樣本數(shù) ?=?????? ?j=Nj NjN hxxk1??54 55 概密的窗函數(shù)估計法 Parzen窗法 上面所講的是從構造上導出了估計式，所取的窗函數(shù)即迭加基函數(shù)為 維方窗 (柱 )函數(shù)。事實上只要窗函數(shù)滿足下面的兩個條件 : n 0)( ?j u?? =j 1)( udu ??由式 構造的估計式就是概密函數(shù)。 ?=?????? ?j= Nj NjNN hxxVNxp111)(????56 概密的窗函數(shù)估計法 Parzen窗法 按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述 兩個條件的函數(shù)作窗函數(shù)。下面列出幾個一維窗函數(shù)的例子， n維的窗函數(shù)可用乘積的方法由一維函數(shù)構造。 ⑶ 指數(shù)窗函數(shù) ? ? u u ? = j exp ) ( ⑴ 方窗函數(shù) ? ? ? ? = j 其它 , 0 2 1 , 1 ) ( u u ⑵ 正態(tài)窗函數(shù) ? ? ? ? ? ? ? ? = j 2 2 1 exp 2 1 ) ( u u ⑷ 三角窗函數(shù) ? ? ? ? ? = j 1 , 0 1 , 1 ) ( u u u u 57 下面進一步討論窗寬 對估計的影響 : 概密的窗函數(shù)估計法 Parzen窗法 )(1)(NNN hxVx??j=?定義 : ?=??=NjjNN xxNxp1)(1)(? ???于是估計式表示成 : nNN hV =h影響 )(xN ??的幅度和寬度。 注意到 : 可看出 58 概密的窗函數(shù)估計法 Parzen窗法 若 N h 較大 ，則 ) ( j N x x ? ? ? ? 幅度將較小，而寬 度增大 ) ( ? x pN ? 是 N個低幅緩變 寬的函數(shù)迭加 , ) ( ? x pN ? 較平 滑，不能跟上 的變化，分辨率較低。 ) ( xp ? )(1)(NNN hxVx??j=? ?=??=NjjNN xxNxp1)(1)(? ???59 60 概密的窗函數(shù)估計法 Parzen窗法 估計量 是一隨機變量，它依賴于隨機的訓練樣本，所以估計量的性能只能用統(tǒng)計性質表示。 )(? xpN ? )(? xpN?在滿足下列條件下 是 漸近無偏估計 、 均方收斂 、 均方逼近 、且是 漸近正態(tài)分布 。 )(xp ?⑴ 概密 ) ( x p ? 在 x ? 處連續(xù) ⑵ 窗函數(shù)滿足下列條件 ① 0 ) ( ? j u ? ② ? = j 1 ) ( u d u ? ? ③ ? j ) ( sup u u ? ? ④ 0 ) ( lim 1 = j ? = ? ? n i i u u u ? ? 61 概密