【正文】 i jjR P E i? ? ? ? ? ? ? ????? ? ????xxi?x1 , 2 , ,( ) m i n ( ) k i kiaRR? ? ? ????xx1 2 3 4 5, , , ,? ? ? ? ? ??第 3章 Bayes決策理論 返回本章首頁 綜上，可知該規(guī)則的進行步驟為： （ 1）根據 已知 ，計算出后驗概率； （ 2）利用計算出的后驗概率及決策表（專家根據經驗確定），計算條件風險 （ 3）最小風險決策 1()( ) ( )( ) ( )( ) ( )jjjjj ciiiPpPpPpP??????????????? ?xxxxx1( ) ( , ) ( ) 1 , 2 , ,ci i j jjR P i a? ? ? ? ?????x x 1 , 2 , ,( ) m i n ( )kiiaRR????xx第 3章 Bayes決策理論 返回本章首頁 這樣按最小風險的 Bayes決策規(guī)則，采取的決策將隨 的取值而定，引入函數 ，表示對 的決策?？匆粋€一般的決策表。但實際上有時需要考慮一個比錯誤率更為廣泛的概念 —— 風險，舉例說明。以兩類模式為例。 返回本章首頁 1 2 11 2 2( ) ( ) ( ) ( ) PPPP? ? ?? ? ?? ??? ???xxxxx1221( ) ()( ) PPeP??????? ???xxxxxx()Pe x()Pe第 3章 Bayes決策理論 平均錯誤概率 從式可知，如果對每次觀察到的特征值 ， 是盡可能小的話，則上式的積分必定是盡可能小的這就證實了最小錯誤率的 Bayes決策法則。 合理的決策規(guī)則： 決策錯誤的概率： 返回本章首頁 1()P ?21 2 11 2 2( ) ( ) ( ) ( ) PPPP? ? ?? ? ???? ?? 12( ) m i n [ ( ) , ( ) ]P e P P???第 3章 Bayes決策理論 先驗概率和條件概率密度函數均已知 鐵螺絲出現的概率 —— 銅螺絲出現的概率 —— 鐵螺絲出現的概率 —— 銅螺絲出現的概率 —— —— 螺絲背光源照射后反射光的亮度特征 求取后驗概率： 返回本章首頁 1()P ?2 1P ?x 2x21( ) ( )()( ) ( )jjjjjjpPPpP????????xxxx第 3章 Bayes決策理論 對待分類模式的特征我們得到一個觀察值 ， 合理的決策規(guī)則： 決策錯誤的條件概率（隨機變量 的函數）： 模式特征 是一個隨機變量，在應用 Bayes法則時，每當觀察到一個模式時，得到特征 ，就可利用后驗概率作出分類的決策，同時也會帶來一定的錯誤概率。分兩種情況討論： （ 1）先驗概率已知； （ 2）先驗概率和條件概率密度函數均已知。 假設某工廠生產兩種大小，外形都相同的螺絲釘，一種是銅的，一種是鐵的。為此，我們可以建立一個能得到最小錯誤率的決策方法。綜上，我們引出統(tǒng)計決策的方法。因此，考慮樣本不確定性的模式識別方法是非常重要 的。第 3章 Bayes決策理論 第 3章 Bayes決策理論 最小錯誤概率的 Bayes決策 最小風險的 Bayes決策 NeymanPearson決策 最小最大決策 Bayes分類器和判別函數 正態(tài)分布時的 Bayes決策法則 離散情況的 Bayes決策 第 3章 Bayes決策理論 在上一章，我們介紹了線性判別函數，作了一個假設 —— 抽取到的模式樣本的邊界是“整齊”而不混雜的，而且 以后遇到的待分類模式基本上不超過學習樣本的分布范圍，從而利用這些樣本得到的分類邊界是無誤差的。 但是實際上因為試驗的樣本是從總體中隨機抽取的，不能保證用過去的抽取的樣本訓練得到的分類邊界對新的模式樣本也能較好地分類。另外，還有特征選擇不完善所引起的不確定性，模式數據采集和預處理和特征抽取過程中干擾和噪聲引起的不確定性。 返回本章首頁 第 3章 Bayes決策理論 對模式 識別的主要統(tǒng)計方法是 Bayes決策理論，它是用概率論的方法研究決策問題，要求 （ 1）各類別先驗概率以及條件概率密度均為已知 ，即各類別總體的概率分布是已知的； （ 2） 要決策分類的類別是一定的； 返回本章首頁 第 3章 Bayes決策理論 最小錯誤概率的 Bayes決策 在模式識別問題中，感興趣的往往是盡量減小分類錯誤的概率?？匆粋€簡單的例子。兩種產品混在一起，要求對它們自動分類。 返回本章首頁 第 3章 Bayes決策理論 先驗概率已知 鐵螺絲出現的概率 —— 銅螺絲出現的概率 —— 它們反映了我們在下一個樣品出現前對它的類別可能性的先驗知識，稱這種先于事件的概率為先驗概率。若觀察到大量的模式，對它們作出決策的平均錯誤概率 應是 的數學期望。下面從理論上給予證明。 返回本章首頁 ( ) ( ) ( )P e P e p d????? ? x x x1()Pe ?x第 3章 Bayes決策理論 返回本章首頁 212 1 1 22 1 1 1 2 21 1 2 21 1 2 2( ) ( , ) ( , )( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( ) ( )RRP e P x R P x RP x R P P x R Pp x P d x p x P d xP P e P P e??? ? ? ?? ? ? ???? ? ? ?? ? ? ???????第 3章 Bayes決策理論 返回本章首頁 結 束放映 第 3章 Bayes決策理論 最小風險的 Bayes決策 在上一節(jié)我們介紹了最小錯誤率的 Bayes決策，并且證明了應用這種決策法則時，平均錯誤概率是最小的。毋庸置疑，任何風險都會帶來一定損失。 返回本章首頁 第 3章 Bayes決策理論 返回本章首頁 第 3章 Bayes決策理論 返回本章首頁 ? ?1 2 3 4 5 , , , , ? ? ? ? ?x—— 觀察或測量到的 d 維模式特征向量； ? ?1 2 3 4 5 , , , , ? ? ? ? ?—— 狀態(tài)或模式類空間 —— 決策空間 ( , ) 1 , 2 , , 5 1 , 2 , , 5ij ij? ? ? ?? —— 損失函數，表示真實狀態(tài)為 而所采取的決策為 時所帶來的某種損失。對整個特征空間上所有 的取值采取相應的決策 所帶來的平均風險 顯然，我們對連續(xù)的隨機模式向量按最小風險 Bayes決策規(guī)則采取的一系列決策行動可以使平均風險最小。 ( ( ) ) ( )R R p d??? ? x x x xx()? xxx ()? x第 3章 Bayes決策理論 返回本章首頁 兩類情況下的最小風險 Bayes決策 損 失狀 態(tài) 2?1?1?2? 11? 12?21? 22?自 然 狀 態(tài)分 類 決 策 ( , )i j i j? ? ? ??1 1 1 1 1 2 2 1 2 12 2 1 1 2 2 2 1 2 2( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) R P P R RR P P R R? ? ? ? ? ? ? ?? ? ? ? ? ? ? ???? ? ??????? ? ?????x x x x xx x x x x2 1 2 1 1 1 1 2 2 1 2 22 1 1 1 1 1 2 2 2 2 12 1 1 1 1 1 2 2 2 2 2( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )