【文章內容簡介】 2( ) ( ) ( ) ( )RRR R p d R p d?????? x x x x x x假定決策域已經確定，我們以 表示分類器判為 時的特征空間中的區(qū)域，同樣有 和 ，于是總風險用條件風險的形式表示為 1R 1?2R2?121 1 1 1 2 22 1 1 2 2 2( ) ( ) ( )( ) ( ) ( )RRR P P p dP P p d? ? ? ?? ? ? ?? ? ? ???? ? ? ?????x x x xx x x x1 1 1 1 1 2 22 2 1 1 2 2 2( ) ( ) ( )( ) ( ) ( )R P PR P P? ? ? ? ?? ? ? ? ???? ??????x x xx x x第 3章 Bayes決策理論 返回本章首頁 121 1 1 1 1 2 2 22 1 1 1 2 2 2 2( ) ( ) ( ) ( )( ) ( ) ( ) ( )RRR P p P p dP p P p d? ? ? ? ? ?? ? ? ? ? ?? ? ? ???? ? ? ?????x x xx x x122 1 1 1( ) 1 ( ) ( ) ( ) 1RRP P p d p d? ? ? ?? ? ? ???x x x x1212 2 1 2 2 2 21 1 1 2 2 2 1 1 1 1 1 2 2 2 2( ) ( )( ) ( ) ( ) ( ) ( ) ( )RRRR p dP p d p d? ? ? ?? ? ? ? ? ? ? ? ?? ? ?????? ? ? ? ? ??????xxx x x x第 3章 Bayes決策理論 返回本章首頁 12112 2 1 2 2 2 21 1 2 2 2 1 1 1 1 1 2 2 2 2()( ) ( )( ) ( ) ( ) ( ) ( )RRRR a b Pa p db p d p d?? ? ? ?? ? ? ? ? ? ? ???? ? ?? ? ? ? ? ????xxx x x x一旦 和 確定，風險 就是先驗概率 的線性函數(shù)，可表示為 1R2R 1()P ?1 2 2 2 12 1 1 1 1( ) ( )( ) ( )PP? ? ?? ? ?? ??決策閥值 第 3章 Bayes決策理論 返回本章首頁 12112 2 1 2 2 2 21 1 2 2 2 1 1 1 1 1 2 2 2 2()( ) ( )( ) ( ) ( ) ( ) ( )RRRR a b Pa p db p d p d?? ? ? ?? ? ? ? ? ? ? ???? ? ?? ? ? ? ? ????xxx x x x一旦 和 確定，風險 就是先驗概率 的線性函數(shù)，可表示為 1R2R 1()P ?1 2 2 2 22 1 1 1 1( ) ( )( ) ( )PP? ? ?? ? ?? ??決策閥值 第 3章 Bayes決策理論 返回本章首頁 第 3章 Bayes決策理論 返回本章首頁 R1()P ?01()P ??R?第 3章 Bayes決策理論 返回本章首頁 綜上所述，可以得出：在作最小風險 Bayes決策時，若考慮 有可能改變或對先驗概率毫無所知，則應選擇使最小 Bayes風險 為最大值時的 來設計分類器，它相對于其它的 為最大，但能保證在不管 如何變化時，使最大風險將為最小，我們稱其為 最小最大決策。 其任務就是尋找使 Bayes風險為最大時的決策域 和 ，它對應于下式 然后確定 R? 1()P ? 1()P ??1()P ? 1P211 1 2 2 2 1 1 1 1 1 2 2 2 2( ) ( ) ( ) ( ) ( ) 0RRp d p d? ? ? ? ? ? ? ?? ? ? ? ? ???x x x x1R2R1 2 2 2 22 1 1 1 1( ) ( )( ) ( )P tP? ? ?? ? ?? ??1()P ??第 3章 Bayes決策理論 Bayes分類器和判別函數(shù) 12( ) , ( ) , , ( )cg g gx x x ( ) ( ) , , 1 , 2 , , , ijg g i j c j i? ? ?xx返回本章首頁 前面我們介紹了四種決策規(guī)則，這里結合第二章中介紹的 判別函數(shù)和決策面的概念 來設計分類器。 對于 n 維空間中的 c 個模式類別各給出一個由 n 個特征組成的單值函數(shù)，這叫做判別函數(shù)。在 c 類的情況下，我們共有 c個判別函數(shù)，記為 判別函數(shù)的性質 假如一個模式 X 屬于第 i 類，則有 而如果這個模式在第 i 類和第 j 類的分界面上，則有 ( ) ( ) ijgg?xx第 3章 Bayes決策理論 返回本章首頁 1 多類情況 最小錯誤率的 Bayes決策規(guī)則： 可設判別函數(shù)為： ( ) ( ) , 1 , 2 , , , i j iP P j c j i? ? ?? ? ?xx( ) ( )iigP ??xx( ) ( ) ( ) ( ) ( ) ( ) ( )i i j j ii i ip P p Pg p P? ? ? ? ?????xxxxl n ( ) l n ( ) l n ( ) l n ( ) ( ) l n ( ) l n ( )i i j j ii i ip P p Pg p P? ? ? ? ???? ? ???xxxx( ) ( ( ) ) ( )g f P h???x x x第 3章 Bayes決策理論 返回本章首頁 最小風險的 Bayes決策規(guī)則， 可設判別函數(shù)為 決策面方程 分類器框圖 ( ) ( )iigR ???xx 1 , 2 , ,( ) m i n ( )kiiaRR????xx( ) ( )ijgg?第 3章 Bayes決策理論 返回本章首頁 第 3章 Bayes決策理論 返回本章首頁 第 3章 Bayes決策理論 返回本章首頁 2 兩類情況 可設判別函數(shù)為： 12( ) ( ) ( )g g g??x x x12( ) 0 , ( ) 0 , ( ) 0 ,ggg?????????? ??xxxxx可將其任意分類，或拒絕 第 3章 Bayes決策理論 正態(tài)分布時的 Bayes決策法則 返回本章首頁 在前面我們提到設計 Bayes分類器的兩個先決已知條件： （ 1）先驗概率 ； （ 2）條件概率密度函數(shù) 。 先驗概率的估計并不困難，關鍵是條件概率密度函數(shù)。 這里我們以正態(tài)分布概率密度函數(shù)為主進行討論，因為 Ⅰ 在實際問題中，大量的隨機變量都服從或近似地服從正態(tài)分布； Ⅱ 即使統(tǒng)計總體不服從正態(tài)分布，但是它的許多重要的樣本特征可能是漸進正態(tài)分布的； Ⅲ 正態(tài)分布分析起來比較方便。 ()iP ?()ip ?x第 3章 Bayes決策理論 返回本章首頁 正態(tài)分布概率密度函數(shù)的定義及性質 （ 1）單變量正態(tài)分布 單變量正態(tài)分布概率密度函數(shù) ，有兩個參數(shù) 和 完全決定，常簡記為 。 211( ) e x p22xpx ???????? ??????? ??????????( ) ( )E x x p x d x? ?????? ?2 2 2( ) ( ) ( )E x x p x d x? ? ???????? ? ? ??? ?期望 方差 ()p x??2( , )N ??2( , )N ??第 3章 Bayes決策理論