第三章概率密度的估計-展示頁
2025-08-10 17:50本頁面
【正文】 機變量。 引言 ( | ) ( )( | )( | ) ( )iii jjjpPPpP?????? ?xxx第三章 概率密度密度的估計 6 直接確定判別函數(shù) ?基于樣本的 直接確定判別函數(shù)方法 ： ?針對各種不同的情況，使用不同的準則函數(shù)，設(shè)計出滿足這些不同準則要求的分類器。第三章 概率密度密度的估計 第三章 概率密度密度的估計 2 引言 參數(shù)估計 正態(tài)分布的 參數(shù)估計 非參數(shù)估計 分類器錯誤率的估計 討論 第三章 概率密度密度的估計 3 引言 基于樣本的 Bayes分類器 ：通過估計類條件概率密度函數(shù)，設(shè)計相應(yīng)的判別函數(shù) 分類器 功能結(jié)構(gòu) 基于樣本的直接確定判別函數(shù)方法 g1g2gcA R G M A X......x1x2xna ( x )第三章 概率密度密度的估計 4 基于樣本的 Bayes分類器 設(shè)計 ? Bayes決策需要已知兩種知識： ?各類的先驗概率 P(ω i) ?各類的條件 概率密度函數(shù) p(x|ω i) ( | ) ( )( | )( | ) ( )iiijjjpPPpP?????? ?xxx? 知識的來源：對問題的一般性認識或一些 訓(xùn)練數(shù)據(jù) ? 基于樣本的兩步 Bayes分類器設(shè)計 ? 利用樣本集估計 P(ω i)和 p(x|ω i) ? 基于上述估計值設(shè)計判別函數(shù)及分類器 ? 面臨的問題： ? 如何利用樣本集進行估計 ? 估計量的評價 ? 利用樣本集估計錯誤率 引言 第三章 概率密度密度的估計 5 基于樣本的 Bayes分類器 訓(xùn)練 樣本集 樣本分布的 統(tǒng)計特征： 概率 密度函數(shù) 決策規(guī)則： 判別函數(shù) 決策面方程 ?最一般情況下適用的 “ 最優(yōu) ” 分類器 ： 錯誤率最小 ，對分類器設(shè)計在理論上有指導(dǎo)意義。 ?獲取統(tǒng)計分布及其參數(shù)很困難，實際問題中并不一定具備獲取準確統(tǒng)計分布的條件。 ?這些準則的 “ 最優(yōu) ” 并不一定與錯誤率最小相一致：次優(yōu)分類器。 ?樣本集可按類別分開 ，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓(xùn)練。 ?獨立地按概率密度 p(x|θ)抽取樣本集 K={x1, x2 ,…, xN}，用 K估計未知參數(shù) θ 第三章 概率密度密度的估計 11 似然函數(shù) ?似然函數(shù)： 121( ) ( | ) ( , , . . . , | )( | )NNkkl p K pp???? ?θ θ x x x θx θ?對數(shù) (loglarized)似然函數(shù)： 1( ) l n ( | )NkkHp?? ?θ x θ最大似 然 估計 第三章 概率密度密度的估計 12 最大似然估計 1? arg m ax ( )arg m ax l n ( | )MLnkklp????θθθ θx θ最大似 然 估計 第三章 概率密度密度的估計 13 最大似然估計示意圖 p ( K |θ )l n p ( K |θ )最大似 然 估計 第三章 概率密度密度的估計 14 計算方法 ?最大似然估計量使 似然函數(shù) 梯度 為 0 ： ? ?1( ) | l n ( | ) | 0M L M LNkkH p x???? ? ? ??θ θθ θ1...Ts???????? ??????θ最大似 然 估計 第三章 概率密度密度的估計 15 貝葉斯估計 最大后驗概率 ?用 一組樣本集 K={x1, x2 ,?, xN}估計未知參數(shù) θ ?未知參數(shù) θ 視為隨機變量，先驗分布為 p(θ )，而在已知樣本集 K出現(xiàn)的條件下的后驗概率為 p(θ |K) ?最大后驗概率估計 Maximum a posteriori (MAP) MAP? a r g m a x ( | )( | ) ( )a r g m a x()a r g m a x ( | ) ( )pKp K ppKp K p????????????第三章 概率密度密度的估計 16 貝葉斯決策問題與貝葉斯估計問題 ?貝葉斯 決策問題 : 樣本 x 決策 ai 真實狀態(tài) wj 狀態(tài)空間 A是離散空間 先驗概率 P(wj) ? 貝葉斯 參數(shù)估計問題： 樣本集 K 估計量 ^s 真實參數(shù) s 參數(shù)空間 S是連續(xù)空間 參數(shù)的先驗分布 p
法律信息相關(guān)推薦
鄂ICP備17016276號-1