第三章概率密度的估計(已修改)
2025-08-13 17:50 本頁面
【正文】 第三章 概率密度密度的估計 第三章 概率密度密度的估計 2 引言 參數(shù)估計 正態(tài)分布的 參數(shù)估計 非參數(shù)估計 分類器錯誤率的估計 討論 第三章 概率密度密度的估計 3 引言 基于樣本的 Bayes分類器 ：通過估計類條件概率密度函數(shù)，設(shè)計相應(yīng)的判別函數(shù) 分類器 功能結(jié)構(gòu) 基于樣本的直接確定判別函數(shù)方法 g1g2gcA R G M A X......x1x2xna ( x )第三章 概率密度密度的估計 4 基于樣本的 Bayes分類器 設(shè)計 ? Bayes決策需要已知兩種知識： ?各類的先驗概率 P(ω i) ?各類的條件 概率密度函數(shù) p(x|ω i) ( | ) ( )( | )( | ) ( )iiijjjpPPpP?????? ?xxx? 知識的來源：對問題的一般性認識或一些 訓練數(shù)據(jù) ? 基于樣本的兩步 Bayes分類器設(shè)計 ? 利用樣本集估計 P(ω i)和 p(x|ω i) ? 基于上述估計值設(shè)計判別函數(shù)及分類器 ? 面臨的問題： ? 如何利用樣本集進行估計 ? 估計量的評價 ? 利用樣本集估計錯誤率 引言 第三章 概率密度密度的估計 5 基于樣本的 Bayes分類器 訓練 樣本集 樣本分布的 統(tǒng)計特征： 概率 密度函數(shù) 決策規(guī)則： 判別函數(shù) 決策面方程 ?最一般情況下適用的 “ 最優(yōu) ” 分類器 ： 錯誤率最小 ，對分類器設(shè)計在理論上有指導(dǎo)意義。 ?獲取統(tǒng)計分布及其參數(shù)很困難，實際問題中并不一定具備獲取準確統(tǒng)計分布的條件。 引言 ( | ) ( )( | )( | ) ( )iii jjjpPPpP?????? ?xxx第三章 概率密度密度的估計 6 直接確定判別函數(shù) ?基于樣本的 直接確定判別函數(shù)方法 ： ?針對各種不同的情況，使用不同的準則函數(shù)，設(shè)計出滿足這些不同準則要求的分類器。 ?這些準則的 “ 最優(yōu) ” 并不一定與錯誤率最小相一致：次優(yōu)分類器。 ?實例：正態(tài)分布最小錯誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù) g(x)=wTx（決策面是超平面），能否基于樣本直接確定 w? 訓練樣本集 決策規(guī)則： 判別函數(shù) 決策面方程 選擇最佳準則 引言 第三章 概率密度密度的估計 7 概率密度估計的方法 ?類的 先驗概率 P(ωi)的估計： ?用訓練數(shù)據(jù)中各類出現(xiàn)的頻率來估計 ?依靠經(jīng)驗 引言 ?類條件 概率密度函數(shù) 的估計：兩大類方法 ?參數(shù)估計 ：概率密度函數(shù)的形式已知，而表征函數(shù)的參數(shù)未知，需要通過訓練數(shù)據(jù)來估計 ? 最大似然估計 ? Bayes估計 ?非參數(shù)估計 ：概率密度函數(shù)的形式未知，也不作假設(shè)，利用訓練數(shù)據(jù)直接對概率密度進行估計 ? Parzen窗法和 kn近鄰法 ? 神經(jīng)網(wǎng)絡(luò)方法 第三章 概率密度密度的估計 8 參數(shù)估計 ?統(tǒng)計量 ：樣本集 K={x1, x2 ,…, xN}的某種函數(shù)f(K) ?參數(shù)空間 ：總體分布的未知參數(shù) θ所有可能取值組成的集合 (Θ) 12? ( , , ... , ) ( )Nd d K?? ??x x x的是 樣 本 集 的 函 數(shù) ， 它 對 樣 本 集 的 一 次實 現(xiàn) 稱估 計 量為 估 計 值? 點估計 和 參數(shù)估計 ? 點估計的 估計量 和 估計值： 第三章 概率密度密度的估計 9 估計量的評價標準 ?估計量的評價標準 ： 無偏性，有效性，一致性 ?無偏性 ： E( )=θ ?有效性 ： D( )小，估計更有效 ?一致性 ： 樣本數(shù)趨于無窮時， 依概率趨于 θ： ???l i m ( ) 0NP ? ? ???? ? ?????第三章 概率密度密度的估計 10 最大似然估計 ?Maximum Likelihood (ML)估計 ?估計的 參數(shù) θ 是確定而未知的 ，而 Bayes估計方法則視 θ 為隨機變量。 ?樣本集可按類別分開 ，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓練。 ?概率密度函數(shù)的形式已知，參數(shù)未知，為了描述概率密度函數(shù) p(x|ωi)與參數(shù) θ 的依賴關(guān)系，用p(x|ωi,θ)表示。 ?獨立地按概率密度 p(x|θ)抽取樣本集 K={x1, x2 ,…, xN}，用 K估計未知參數(shù) θ 第三章 概率密度密度的估計 11 似然函數(shù) ?似然函數(shù)： 121( ) ( | ) ( , , . . . , | )( | )NNkkl p K p
法律信息相關(guān)推薦
鄂ICP備17016276號-1