【正文】 ?? j?? ?=?),2,1( Ri L=若 { })(xi ?j是在 )(x??下的規(guī)范化的正交函數(shù)集，即 1=iA則有 : )()(11jiNjji xxNC?? j?? ?=?),2,1( Ri L=將所求得的最佳系數(shù) ?iC代入式 )(? xp?。 實驗樣本數(shù) 讓它只含 x?點附近概密較大，則包含 Nk個樣本的區(qū)域 如果 體積自然就相對的??； x?點附近概密較小，則區(qū)域體積就較大。 65 （ a） 圖中， p(x)是均值為零、方差為 1的一維正態(tài)分布，窗函數(shù)選擇為正態(tài)窗函數(shù)： ]21exp[21)( 2uu ?= ?jNhh N 1=h1為可調(diào)節(jié)參量。 注意到 : 可看出 58 概密的窗函數(shù)估計法 Parzen窗法 若 N h 較大 ，則 ) ( j N x x ? ? ? ? 幅度將較小，而寬 度增大 ) ( ? x pN ? 是 N個低幅緩變 寬的函數(shù)迭加 , ) ( ? x pN ? 較平 滑，不能跟上 的變化，分辨率較低。 理論上，要使 )(? xp ?? )(xp ? ? R?0 ? V?0，同時 k??， N??。它的幾何解釋就是：若把N個樣本看成是一群質(zhì)點，則樣本均值便是它們的質(zhì)心。 聯(lián)合概密 設(shè)一個總體 x?的概密為 ),( q??xp，其中 q?是一個 未知參數(shù)集， 22 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) ),( 21 q??L??Nxxxp ),( )( qD?NXp)( )( q?NXp由于 q?是概密的一個確定性的參數(shù)集 , 因此 ),()( q?NXp實際上就是條件概密 上式中不同的 , q? ),( )( q?p將不同。 ( ))( ( ( 1 1 ) ( 1 1 1 N m x N m x N N C N N N N ? ? ? ? ? ? ? ? ? = ? ? ? = ? = ? = 39。11[11NmNmN NxxNNN jNjj????????= ?=))39。2 參數(shù)估計 第五章 統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí) 與錯誤率測試、估計 13 參數(shù)估計 均值矢量和協(xié)方差陣的矩法估計 最大似然估計 (MLE) 貝葉斯估計 (BE) 14 參數(shù)估計 均值矢量和協(xié)方差陣的矩法估計 矩法估計 是用樣本 (的統(tǒng)計 )矩作為總體 (理論 )矩的估值。 稱為 q的估計量。 { } ) , , , ( 2 1 ? q q q = q D q m i L ? 確定未知參數(shù) ? 參數(shù)估計 參數(shù)估計有兩類方法 : 1. 將參數(shù)作為非隨機量處理，如 矩法估計 、最大似然估計 ； 2. 將參數(shù)作為隨機變量， 貝葉斯估計 就屬此類。但在實際中，這些知識往往是不知道的，這就需要用已知的樣本進行學(xué)習(xí)或訓(xùn)練。 7 基本概念 經(jīng)驗分布： 由樣本推斷的分布稱為經(jīng)驗分布。 9 10 基本概念 統(tǒng)計推斷概述 漸近無偏估計 ： 即 。139。 ) ( 1 2 )39。但最大似然估計適用范圍比矩法估計更寬一些，可以用于不是正態(tài)分布的情況。 因此，最大似然的關(guān)鍵是必須知道概型。4 概密的窗函數(shù)估計法 第五章 統(tǒng)計決策中的訓(xùn)練、學(xué)習(xí) 與錯誤率測試、估計 42 N設(shè) 個樣本 是從上述概密為 的總體中獨立抽取的， 個樣本中有 個樣本落入?yún)^(qū)域 中的概率 服從離散隨機變量的二項分布 Nxxx?L?? ,21 )(xp ?Nk RkP kNkkNk PPCP ??= )1(43 令 為眾數(shù)，如果 不是整數(shù)，則 : 即 等于 的整數(shù)部分； m PN )1( ?m PN )1( ? ? ?PNm )1( ?= PN )1( ? 1)1( ??= PNm Pm )1?=如果 是整數(shù)，則 : 和 44 PNmPN )1(1)1( ?????由于： PNNPk ???所以： 這里 是 的估計，當(dāng) 較大 較小時上式的近似程度是足夠的。 ?=?????? ?j= Nj NjNN hxxVNxp111)(????56 概密的窗函數(shù)估計法 Parzen窗法 按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述 兩個條件的函數(shù)作窗函數(shù)。 )(xp ?⑶ 窗寬限制 ⑤ ⑥ 0lim =?? NN V ?=?? NN NVlim⑷ 對樣本的要求 ⑦ ⑧ ?=?? NN klim 0)( =Nk N62 (1) 是 的 漸近無偏估計 證明： )(? xpN ?)(xp ? ? ? ?= ?????? ?=? Nj NjNN hxxVENxpEx 1 )(11)(? , ???? jydyph yxVNN???? )()(1 ?j= ?? ??= ydypyxN ???? )()( )),2,1(( 獨立抽取，且分布相同Njx j L?? = )(1)( NNN hxVx?? j? =這里，)()( lim 0, lim N xxV NNN ??? ?? =?= ????又 )()()()](?[E lim xpydypyxxp NN?????? =?=? ??? ?63 64 P— 窗法的特點 適用范圍廣，無論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。 當(dāng) — 近鄰元估計法是克服這個問題的一個可能的方法。 )(xi ?j { })(xi ?j ),2,1( RiC i L=)(xp ?{ })(xi ?j應(yīng)根據(jù) 的特點適當(dāng)選擇 以期在固定的項數(shù)下減小誤差，項數(shù) R取得越大近似得就越好。 為減少計算量 , 在樣本出現(xiàn)較密集的區(qū)域（即概密取值較大的區(qū)域）中，應(yīng)要求逼近精度高些；而在樣本出現(xiàn)稀疏的區(qū)域（即概密取值較小的區(qū)域）中，可以讓逼近精度低一些。)(2,1 == ji? ?? ??==iNkikjiij xNC11 ?j6 ,7 21 == NN90 對于 ?1,N1=7,系數(shù)為 ?===71)1(111 1)(71kkxC?j 6)4433322(72271)(71 71)1(71)1(212 1 =??????=== ??== kkkk xxC?j 6)4343232(72271)(71 71)1(71)1(313 2 =??????=== ?== kkkk xxC?j )44344333233232(74 471)(71 71)1()1(71)1(414 21=?????????????=== ??== kkkkk xxxC?j212121214111 )4()2(6)2(61)()|(?1xxxxxxxxxCxpjjjN???=??????==? ?=??j?1)(1 =xj 12 2)( xx = 23 2)( xx =j 214 4)( xxx =91 對于 ?2,N2=6,系數(shù)為 ?===61)2(121 1)(61k