基于貝葉斯決策理論的分類器(1)(編輯修改稿)
2025-03-28 14:22 本頁面
【文章內容簡介】 別風險相同，即都為 lz，則 ? 則拒絕判別的條件為 ? lz ? R(ai|x) , i=1,2,,c。 aixPaxaR jcijii ,2,1),|()|()|(1??? ??wwlzcjjzjcjzc xPxPxaR lwlwl ??? ?????111 )|()|()|(5. 兩種 Bayes決策關系 ①多類問題中，若損失函數為 0 — 1時 的條件錯誤概率。采取決策表示對條件風險。；錯誤決策損失均為表示正確決策沒有損失ijcijjjcijjjjicjijixxPxPxPaxaRcjijijiawwlwl)()()(),()(12,1,1,0),(111????????????????? ?決策。最小錯誤概率決策等價于的最小風險使Bayes)(min)(Bayes)(min)(1,11,1xPxPxaRxaRjcijjcijcijjicikww ???????????? ② 兩類問題中，若有 即所謂 對稱損失函數 的情況下，這時最小風險 的 Bayes決策和最小錯誤概率的 Bayes決策方法相同。 6. 此外還有下列三種主要的決策方法： ? 聶曼－皮爾遜 決策：兩類模式中，一類錯誤率為常數，另一類錯誤率達到極小值時的決策。 ? 最大最小決策 ：考慮到先驗概率有可能改變的分類方法。選擇風險為最大時的 P(w)來設計。 ? 序貫分類決策 ：考慮特征的獲取要付出一定的代價。先用一部分特征來分類，逐步加入特征以減少分類損失。 11212212 llll －＝－167。 3 Bayes分類器和判別函數 ? c類的分類問題，就是按決策規(guī)則將 d維特征空間劃分為 c個決策區(qū)域，其邊界稱為 決策面 ，用決策面方程表示。 ? 用于表示決策規(guī)則的函數稱為判別函數 g(x) 。c個類就有 c個由 d個特征組成的單值函數，即判別函數 g(x) 。 1. Bayes決策中的判別函數 gi(x)=P(wi|x) 最小錯誤概率的決策規(guī)則 gi(x)= R(ai|x) 最小風險的決策規(guī)則 決策規(guī)則： gi(x) gj(x) 所有 i≠j 則 x∈ wi ? 兩類 情況下，設 ? 最小錯誤率的 Bayes決策規(guī)則的四種等價形式 后驗概率 類條件概率密度 函數與先驗概率 似然比 似然比取對數 ? 多類 情況下，設 ? 最小錯誤率的 Bayes決策規(guī)則的四種等價形式 2. 決策面方程 ? 各決策域 R被決策面所分割，這些決策面是特征空間中的點、直線、超曲面， 相鄰 的兩個決策域在決策面上其判別函數 相等 。 ? 決策面方程應滿足 gi (x) = gj (x) gij(x) = gi(x)－ gj(x)=0 i≠j 且 i與 j為相鄰的兩類。 一維、三類 二維、二類 ? 只有兩類 的分界面： x為一維，決策面為一分界點；如圖 (a) x為二維，決策面為一曲線；如圖 (b) x為三維，決策面為一曲面； x為 d維，決策面為一超曲面 (b) 3. 分類器設計 在 d維特征空間內，劃分為 c個決策區(qū)域。 ⑴ 多類： ? 根據各類訓練集樣本 x計算得到 c個判別函數 gi，將待分樣本計算 gi，從中選擇最大值作為類決策。 ? 分類器可看成由硬件或軟件組成的一個“機器”。 ijiiiiiiiiiixijxgxgPxpxgPxpxgxPxgxgwwwwww屬于，則，對一切如果③②①：三種形式的判別函數。每個類有一個判別函數??????)()()(ln)|(ln)()()|()()|()()(⑵ 兩類： ? 兩類分類器可看作只是對 x計算判別函數的一個“機器”，根據計算結果的符號將 x分類。 ）（設－；否則設＋屬于，則如果決策規(guī)則③②①同樣有三種形式：判別函數1)1(0)()()(ln)|()|(ln)()()|()()|()()|()|()()()()()(21212122112121wwwwwwwwwxxgPPxpxpxgPxpPxpxgxPxPxgxgxgxgxg?????????例 4 對例 1和例 2分別列出判別函數和決策面方程 例 1. 判別函數 決策面方程 例 2. 判別函數 決策面方程： )|()|()()()|()()|()(212211wwwxpxpxgPxpPxpxg????0)|()|(9)(,0)( 21 ???? ww xpxpxgxg )|()|()()()|()()|()|()|()|()|()(212222112121212112wwwwlwwlwlwlxpxpxPxpPxpxPxPxaRxaRxg????????0)|(6)|(9)( 21 ??? ww xpxpxg167。 4 正態(tài)分布的 Bayes決策 ? 大量隨機變量服從正態(tài)分布 , 而且數學上容易處理 , 因此以正態(tài)分布為例來說明。 ⑴單變量的正態(tài)分布概率密度函數 ? 性質： p(x)由 m, s 2確定。隨機變量 x 集中在均值 m附近 , 其分散度正比于標準差 s, 95%樣本落入 |x m| 2s范圍內。 ???????????????dxxpxdxxxpxExxp)()()(}{])(21exp [21)(222msmsms?方差均值),(~)( 2smNxp記為⑵ 多元 (維 )正態(tài)分布的概率密度函數 非對角線上的元素協方差方差，對角線上的元素對稱矩陣，并且正定的行列式是的逆矩陣，是,)])([(222222122222212212122
教學課件相關推薦
鄂ICP備17016276號-1