a05統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí)與錯(cuò)誤率測試、估計(jì)模式識(shí)(已修改)
2025-01-23 03:16 本頁面
【正文】 模式識(shí)別 主講： 蔡宣平 教授 電話： 73441（ O） ,73442（ H） Email： 單位 : 電子科學(xué)與工程學(xué)院信息工程系 1 第五章 統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí) 與錯(cuò)誤率測試、估計(jì) ? 統(tǒng)計(jì)推斷概述 ? 參數(shù)估計(jì) ? 概密的窗函數(shù)估計(jì)法 ? 有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法 2 51 統(tǒng)計(jì)推斷概述 第五章 統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí) 與錯(cuò)誤率測試、估計(jì) 3 本章目的：已知類別的樣本（訓(xùn)練樣本） → 學(xué)習(xí)或訓(xùn)練 → 獲得類概密 )( ixp ??在上一章的學(xué)習(xí)中 ,我們一直假設(shè)類的條件概率密度函數(shù)是已知的 ,然后去設(shè)計(jì)貝葉斯分類器。但在實(shí)際中，這些知識(shí)往往是不知道的，這就需要用已知的樣本進(jìn)行學(xué)習(xí)或訓(xùn)練。也就是說利用統(tǒng)計(jì)推斷理論中的估計(jì)方法，從樣本集數(shù)據(jù)中估計(jì)這些參數(shù)。 統(tǒng)計(jì)推斷概述 4 如果已知 i ? 類的概密 ) ( i x p ? ? 的函數(shù)類型，即知道 i ? 類的 概型，但不知道其中的參數(shù)或參數(shù)集 ， 可采用參數(shù)估計(jì)的方法 ，當(dāng)解得這些參數(shù) 后 ) ( i x p ? ? 也就確定了。 { } ) , , , ( 2 1 ? q q q = q D q m i L ? 確定未知參數(shù) ? 參數(shù)估計(jì) 參數(shù)估計(jì)有兩類方法 : 1. 將參數(shù)作為非隨機(jī)量處理，如 矩法估計(jì) 、最大似然估計(jì) ； 2. 將參數(shù)作為隨機(jī)變量， 貝葉斯估計(jì) 就屬此類。 統(tǒng)計(jì)推斷概述 5 非參數(shù)估計(jì) 統(tǒng)計(jì)推斷概述 當(dāng)不知道類的概型時(shí)，就要采用非參數(shù)估計(jì)的方法，這種方法也稱為總體推斷，這類方法有： 1. p窗法 2. 有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法 3. 隨機(jī)逼近法 6 基本概念 母體（總體）： 一個(gè)模式類稱為一個(gè) 總體 或 母體 統(tǒng)計(jì)推斷概述 母體的 子樣 ：一個(gè)模式類中某些模式 (即母體中的 一些元素 )的集合稱為這個(gè) 母體的子樣 。母體的子樣含有母體的某些信息，可以通過構(gòu)造 樣本的函數(shù) 來獲得。 統(tǒng)計(jì)量： 一般來說，每一個(gè)樣本都包含著母體的某些信息，為了估計(jì)未知參數(shù)就要把有用的信息從樣本中抽取出來。為此，要構(gòu)造訓(xùn)練樣本的某種函數(shù)，這種函數(shù)在統(tǒng)計(jì)學(xué)中稱為統(tǒng)計(jì)量。 7 基本概念 經(jīng)驗(yàn)分布： 由樣本推斷的分布稱為經(jīng)驗(yàn)分布。 統(tǒng)計(jì)推斷概述 )( ixp ?? )( iP ? )( xP i ?數(shù)學(xué)期望、方差等 理論量（或理論分布）： 參數(shù)空間： 在統(tǒng)計(jì)學(xué)中，把未知參數(shù) q的可能值的集合稱為參數(shù)空間，記為 Q。 點(diǎn)估計(jì)、估計(jì)量： 針對某未知參數(shù) q構(gòu)造一個(gè)統(tǒng)計(jì)量作為 q的估計(jì) ，這種估計(jì)稱為點(diǎn)估計(jì)。 稱為 q的估計(jì)量。 q? q?8 基本概念 統(tǒng)計(jì)推斷概述 為了準(zhǔn)確地對某一類的分布進(jìn)行參數(shù)估計(jì)或總體推斷，應(yīng)只使用該類的樣本。 就是說在進(jìn)行參數(shù)估計(jì)時(shí)，應(yīng)對各類進(jìn)行獨(dú)立的參數(shù)估計(jì)或總體推斷。因此在以后的論述中，如無必要，不特別言明類別。 區(qū)間估計(jì)： 在一定置信度條件下估計(jì)某一未知參數(shù) q的取值范圍，稱之為置信區(qū)間，這類估計(jì)成為區(qū)間估計(jì)。 9 10 基本概念 統(tǒng)計(jì)推斷概述 漸近無偏估計(jì) ： 即 。 當(dāng)不能對所有 的都有 時(shí)，希望估計(jì)量 是漸近無偏估計(jì)。 ? ?q=??????q????EE NN?limN ? ?q=??????q ?? EEN?Nq??11 基本概念 統(tǒng)計(jì)推斷概述 均方收斂 : ?q ?? =???????? NNVar ?lim均方逼近 : 均方收斂 : ?=?????? ?q?qq?q??)?)(?(lim NNNE????又稱相合估計(jì) 一致估計(jì) : 當(dāng)樣本無限增多時(shí)，估計(jì)量 依概率收斂于 ， Nq??q? 0)?(lim =?q?q????NN P12 52 參數(shù)估計(jì) 第五章 統(tǒng)計(jì)決策中的訓(xùn)練、學(xué)習(xí) 與錯(cuò)誤率測試、估計(jì) 13 參數(shù)估計(jì) 均值矢量和協(xié)方差陣的矩法估計(jì) 最大似然估計(jì) (MLE) 貝葉斯估計(jì) (BE) 14 參數(shù)估計(jì) 均值矢量和協(xié)方差陣的矩法估計(jì) 矩法估計(jì) 是用樣本 (的統(tǒng)計(jì) )矩作為總體 (理論 )矩的估值。若類的概型為正態(tài)分布，我們用矩法估計(jì)出類的均值矢量和協(xié)方差陣后，類的概密也就完全確定了。 ? ? ),()( 21 ????D==? ??nxdxpxxE L?????均值矢量 : ?==?NjjxN11? ??均值無偏估計(jì) : 15 參數(shù)估計(jì) 均值矢量和協(xié)方差陣的矩法估計(jì) ???????????????????????=?222212222222121212211nnnnnnL?L??LL? ?))((2 llkkkl xxE ????=? ? ????????= lklkllkk dxdxxxpxx ),())((? ? ? ????= ???? xxE ? ?))(( ?????=? ???? xxE協(xié)方差陣 : 16 參數(shù)估計(jì) 均值矢量和協(xié)方差陣的矩法估計(jì) ? ?))(( ?????=????? xxE協(xié)方差陣 : ?=??????==?Njjj xxNC1))((11? ????協(xié)方差陣無偏估計(jì) : ?=????=Njjj NmxNmxN1))()) (((11 ????或 17 參數(shù)估計(jì) 設(shè) )(Nm?和 )(NC是由 N個(gè)樣本算得的均矢和協(xié)方差陣， 1?Nx?則可采用 遞推公式 進(jìn)行估算 若再加入一個(gè)新的樣本 ??=?=?1111)1( NjjxNNm?? )(1111?=??= ? NNjj xxN??))((11 1???= NxNmNN ??1)1( xm?? =初始值 : )) ( ( 1 1 ) ( 1 N m x N N m N ? ? ? ? ? ? = ? 均值矢量和協(xié)方差陣的矩法估計(jì) 18 參數(shù)估計(jì) 協(xié)方差矩陣的遞推估計(jì)式 : 均值矢量和協(xié)方差陣的矩法估計(jì) )) 39。1()) (1((1)1(11????=? ??=NmxNmxNNC jNjj????])39。)()()(()1( 1[139。139。1 112111????=??????= ? NNNNjNjj xNmNxNmNNNNxxNxxN????????])39。()(139。11[11NmNmN NxxNNN jNjj????????= ?=))39。())(((11 11 NmxNmxN NN ???? ???? ??? ? = ? ? ? ? = 1 1 )39。 1 ( ) 1 ( 1 39。 1 N j j j N m N m N N x x N ? ? ? ? 39。 1 1 39。 ) ( 1 2 )39。 ( ) ( 1 39。 1 1 1 1 1 ? ? ? = ? ? ? ? ? ? = ? N N N j N j j x x N x N m N N m N m N N x x N ? ? ? ? ? ? ? ? ))39。 ( ))( ( ( 1 1 ) ( 1 1 1 N m x N m x N N C N N N N ? ? ? ? ? ? ? ? ? = ? ? ? = ? = ? = 39。 39。 )39。 1 ( ) 1 ( 39。 ) 1 ( 1 1 1 1 1 1 x x x x m m
化學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1