bayes決策理論課件-文庫吧在線文庫
【正文】 1? 1?22211( | )R p X dX??? ?122( | )R p X dX? ?1?2 NeymanPearson決策所要解決的問題： 對于二類模式識別問題，保持一種錯誤概率為常數(shù) ，例如 ，而使另一種錯誤概率 達到極小。有 1?1?2? 2? ? ?|ij i j? ? ? ??j?i? ? ? ? ? ? ?1 11 1 12 2| | |R X P X P X? ? ? ? ???? ? ? ? ? ?2 21 1 22 2| | |X P X P X? ? ? ? 這時最小風險的 Bayes決策法則就是： 如果 ， 則判定 為真正的狀態(tài)；否則 為真正的狀態(tài)。 決策表 損失的數(shù)值一般由專家根據(jù)經(jīng)驗給出。 2 2 1 1( | ) ( ) ( | ) ( )p x P p x P? ? ? ??2 11( | ) ( )R p x P dx??? 1 22( | ) ( )R p x dx? 證明： 假設 R1是 類的決策域， R2是 類的決策域，對 X分類，這時有兩種可能發(fā)生的分類錯誤： X的真實狀態(tài)是 ，卻分到 R1 ， X的真實狀態(tài)是 ，卻分到 R2 ， 錯誤率： 由 Bayes公式 有： 1? 2? 2 1 1 2( ) ( , ) ( , )P e P x R P x R??? ? ? ?1?2211 1 2 2( | ) ( ) ( | ) ( )RRp x P dx p x P dx? ? ? ?????( | ) ( )( | ) ()jjj p x PPx px??? ?1 1 1( | ) ( ) ( | ) ( )p x P p x p x? ? ??2 2 2( | ) ( ) ( | ) ( )p x P p x p x? ? ?? 則 在整個特征空間，有 所以， 當 時，把 x分到 R1， 增加積分值，可以使錯誤率減小。 因此，可以用后驗概率進行決策。假設鐵螺釘有 7萬個，銅螺釘有 3萬個，那么鐵螺釘出現(xiàn)的概率 ，銅螺釘出現(xiàn)的概率 1?2 12,??? ?17 10P ? ??? ?23 10P 如果用概率 和 來決策，規(guī)則為： 如果 則螺釘 如果 則螺釘 因為 ，所以 螺釘 。 比如， 特征選擇的不合適，特征的數(shù)量不當，特征測量的不準確，等等，使模式具有不確定性。記作 概率：在相同條件下重復進行同一試驗，如果隨著試驗次數(shù) n的增加，事件 A的頻率 僅在某個數(shù) 附近有微小變化，則稱 是事件 A的概論， 實際上， 是不容易得到的，常用 n較大時的頻率作為 A的概率 ?n/? nAf n??)(nAf n??)(p pAP ?)(pp 2. 條件概率 設 A， B是試驗 E的兩個事件，則稱 為在事件 B發(fā)生條件下事件 A的條件概率。 例如：銅螺釘和鐵螺釘?shù)谋砻媪炼仁遣煌?，以亮度作為特? ，亮度用“亮度計”來測量，每個螺釘?shù)牧炼仍诹炼扔嬌峡梢栽谝欢ǚ秶鷥冗B續(xù)取值。 ? ? ? ? ? ?2 1 1 2,P e P x R P x R??? ? ? ?1 1 2 2( ) ( )PP? ? ? ??? 211 1 2 2( | ) ( ) ( | ) ( )RRp x P dx p x P dx? ? ? ???211 1 2 2( ) ( | ) ( ) ( | )RRP p x dx P p x dx? ? ??? 由于 和 是任意取的，所以錯誤概率不一定是最小的。 n c ? ?12, , ..., c? ? ???cXd ? ?| jpX?Xj?? ?jP jX ??? ?|jPX?? ? ? ? ? ?? ?|| jjj p X PpX??? ?? ? ? ? ? ?1|c iiip X p X P???? ?? ? ? ?||ijP X p X???ij? i? 最小風險的 Bayes決策 1 決策錯誤的損失與風險 對于兩類別決策，存在兩種可能的分類錯誤： （ 1）把真實狀態(tài)為 的模式分到 類； （ 2）把真實狀態(tài)為 的模式分到 類。每當觀察到一個 X時，我們總可以選取使條件風險極小的決策。 ? ? ? ?12||R X R X???1? 2? ? ? ? ?21 11 1 12 22 2( ) | ( ) |P X P X? ? ? ? ? ?? ? ?1? 2? 最小風險的 Bayes決策和最小錯誤概率的 Bayes決策的關系： (1)在二類問題中，若有 即所謂對稱損失函數(shù)的情況，二者一致。即 min 20 0????1 2 0()L ? ? ? ?? ? ?L? ? ? ?211 2 0||RRL p X dX p X dX? ? ? ???? ? ??????? 對于二類問題，有 所以， ? ? ? ?1211| | 1RRp X dX p X dX?????? ? ? ? ?211 2 0||RRL p X dX p X dX? ? ? ???? ? ???????? ? ? ?111 2 01 | |p X dX p X dX? ? ? ?? ? ? ?? ? ? ? ? ?10 2 11 | |Rp X p X dX? ? ? ? ?? ? ? ?????? 要使 極小，對于 X，如果被積函數(shù) 將 X分到 R1，來減少 如果 ， 將 X分到 R2，來減小 。 ? 從正態(tài)總體
教學課件相關推薦
鄂ICP備17016276號-1