【正文】 Q???????dXpXRNN)()?(2?)?()()(從而可得： ? ?)()()( )()(? NNN XEdXpX q=qqq=q ?Q?????37 參數(shù)估計 貝葉斯估計 (BE) 下面介紹估計 q? 所涉及的其它公式或近似算式： 由于各樣本是獨立抽取的，故它們條件獨立，即有 ?=q=q=qNjjNN xpxxxpXp121)( )(),()( ????L???由貝葉斯定理知： 38 參數(shù)估計 貝葉斯估計 (BE) ?=? qq?=q=qNjjNNN pxpXxxxpXp1)(121)( )()()(),()( ????L????39 參數(shù)估計 貝葉斯估計 (BE) 40 作業(yè)： P170 , , 41 5它的幾何解釋就是：若把N個樣本看成是一群質(zhì)點，則樣本均值便是它們的質(zhì)心。 求出上面方程組中的一切解及邊界值，計算使 )( )( q?NXp最大的 ?q?作為 q?的最大似然估計。 聯(lián)合概密 設一個總體 x?的概密為 ),( q??xp，其中 q?是一個 未知參數(shù)集， 22 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) ),( 21 q??L??Nxxxp ),( )( qD?NXp)( )( q?NXp由于 q?是概密的一個確定性的參數(shù)集 , 因此 ),()( q?NXp實際上就是條件概密 上式中不同的 , q? ),( )( q?p將不同。 ) 1 ( 1 1 1 1 1 1 x x x x m m x x C ? ? ? ? ? ? ? ? 初始值 : 19 參數(shù)估計 均值矢量和協(xié)方差陣的矩法估計 20 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 如同 矩法估計 一樣， 最大似然估計 要求 已知總體的概型 ，即概密的具體函數(shù)形式，它也將被估計量作為確定性的變量對待。 ( ))( ( ( 1 1 ) ( 1 1 1 N m x N m x N N C N N N N ? ? ? ? ? ? ? ? ? = ? ? ? = ? = ? = 39。 1 1 39。11[11NmNmN NxxNNN jNjj????????= ?=))39。)()()(()1( 1[139。2 參數(shù)估計 第五章 統(tǒng)計決策中的訓練、學習 與錯誤率測試、估計 13 參數(shù)估計 均值矢量和協(xié)方差陣的矩法估計 最大似然估計 (MLE) 貝葉斯估計 (BE) 14 參數(shù)估計 均值矢量和協(xié)方差陣的矩法估計 矩法估計 是用樣本 (的統(tǒng)計 )矩作為總體 (理論 )矩的估值。 區(qū)間估計： 在一定置信度條件下估計某一未知參數(shù) q的取值范圍，稱之為置信區(qū)間，這類估計成為區(qū)間估計。 稱為 q的估計量。為此，要構造訓練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計學中稱為統(tǒng)計量。 { } ) , , , ( 2 1 ? q q q = q D q m i L ? 確定未知參數(shù) ? 參數(shù)估計 參數(shù)估計有兩類方法 : 1. 將參數(shù)作為非隨機量處理，如 矩法估計 、最大似然估計 ； 2. 將參數(shù)作為隨機變量， 貝葉斯估計 就屬此類。1 統(tǒng)計推斷概述 第五章 統(tǒng)計決策中的訓練、學習 與錯誤率測試、估計 3 本章目的：已知類別的樣本（訓練樣本） → 學習或訓練 → 獲得類概密 )( ixp ??在上一章的學習中 ,我們一直假設類的條件概率密度函數(shù)是已知的 ,然后去設計貝葉斯分類器。但在實際中，這些知識往往是不知道的，這就需要用已知的樣本進行學習或訓練。 統(tǒng)計推斷概述 5 非參數(shù)估計 統(tǒng)計推斷概述 當不知道類的概型時，就要采用非參數(shù)估計的方法，這種方法也稱為總體推斷，這類方法有： 1. p窗法 2. 有限項正交函數(shù)級數(shù)逼近法 3. 隨機逼近法 6 基本概念 母體（總體）： 一個模式類稱為一個 總體 或 母體 統(tǒng)計推斷概述 母體的 子樣 ：一個模式類中某些模式 (即母體中的 一些元素 )的集合稱為這個 母體的子樣 。 7 基本概念 經(jīng)驗分布： 由樣本推斷的分布稱為經(jīng)驗分布。 q? q?8 基本概念 統(tǒng)計推斷概述 為了準確地對某一類的分布進行參數(shù)估計或總體推斷，應只使用該類的樣本。 9 10 基本概念 統(tǒng)計推斷概述 漸近無偏估計 ： 即 。若類的概型為正態(tài)分布，我們用矩法估計出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。139。())(((11 11 NmxNmxN NN ???? ???? ??? ? = ? ? ? ? = 1 1 )39。 ) ( 1 2 )39。 39。但最大似然估計適用范圍比矩法估計更寬一些，可以用于不是正態(tài)分布的情況。 如果各個 ),2,1( Njx j L? =是獨立抽取的，則進 )( )( q?NXp ? = q=qqq=NjjN xpxpxpxp121 )()()()(????L????一步有： 23 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 最大似然估計： 24 參數(shù)估計 最大似然估計 (MLE) (Maximum Likelihood Estimate) 在實際中多是獨立取樣和經(jīng)常處理正態(tài)變量，而且對數(shù)函數(shù)是單值單調(diào)函數(shù)，對數(shù)似然函數(shù)與似然函數(shù)在相同的 處取得最大值。 因此，最大似然的關鍵是必須知道概型。 29 2122 )(21)2ln(21)|(ln qqq?q ???= kk xxp ????????????????=??22212122)(21)(1)|(lnqqqqqqqkkkxxxp0)?(?1112=??=Nkkx qq 0?)?(?11 122212=??? ? ?= =NkNkkxqqq30 ?==NkkxN11?? 0)?(?1112=??=Nkkx qq 0?)?(?11 122212=??? ? ?= =NkNkkxqqq 212 )?(1 ?=?=NkkxN ??可見，正態(tài)分布中的協(xié)方差陣 Σ 的最大似然估計量等于 N個矩陣的算術平均值。4 概密的窗函數(shù)估計法 第五章 統(tǒng)計決策中的訓練、學習 與錯誤率測試、估計 42 N設 個樣本 是從上述概密為 的總體中獨立抽取的， 個樣本中有 個樣本落入?yún)^(qū)域 中的概率 服從離散隨機變量的二項分布 Nxxx?L?? ,21 )(xp ?Nk RkP kNkkNk PPCP ??= )1(43 令 為眾數(shù)，如果 不是整數(shù)，則 : 即 等于 的整數(shù)部分； m PN )1( ?m PN )1( ? ? ?PNm )1( ?= PN )1( ? 1)1( ??= PNm Pm )1?=如果 是整數(shù)，則 :