基于貝葉斯決策理論的分類器(1)(編輯修改稿)
2025-03-28 14:22 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 別風(fēng)險(xiǎn)相同，即都為 lz，則 ? 則拒絕判別的條件為 ? lz ? R(ai|x) , i=1,2,,c。 aixPaxaR jcijii ,2,1),|()|()|(1??? ??wwlzcjjzjcjzc xPxPxaR lwlwl ??? ?????111 )|()|()|(5. 兩種 Bayes決策關(guān)系 ①多類問(wèn)題中，若損失函數(shù)為 0 — 1時(shí) 的條件錯(cuò)誤概率。采取決策表示對(duì)條件風(fēng)險(xiǎn)。；錯(cuò)誤決策損失均為表示正確決策沒(méi)有損失ijcijjjcijjjjicjijixxPxPxPaxaRcjijijiawwlwl)()()(),()(12,1,1,0),(111????????????????? ?決策。最小錯(cuò)誤概率決策等價(jià)于的最小風(fēng)險(xiǎn)使Bayes)(min)(Bayes)(min)(1,11,1xPxPxaRxaRjcijjcijcijjicikww ???????????? ② 兩類問(wèn)題中，若有 即所謂 對(duì)稱損失函數(shù) 的情況下，這時(shí)最小風(fēng)險(xiǎn) 的 Bayes決策和最小錯(cuò)誤概率的 Bayes決策方法相同。 6. 此外還有下列三種主要的決策方法： ? 聶曼－皮爾遜 決策：兩類模式中，一類錯(cuò)誤率為常數(shù)，另一類錯(cuò)誤率達(dá)到極小值時(shí)的決策。 ? 最大最小決策 ：考慮到先驗(yàn)概率有可能改變的分類方法。選擇風(fēng)險(xiǎn)為最大時(shí)的 P(w)來(lái)設(shè)計(jì)。 ? 序貫分類決策 ：考慮特征的獲取要付出一定的代價(jià)。先用一部分特征來(lái)分類，逐步加入特征以減少分類損失。 11212212 llll －＝－167。 3 Bayes分類器和判別函數(shù) ? c類的分類問(wèn)題，就是按決策規(guī)則將 d維特征空間劃分為 c個(gè)決策區(qū)域，其邊界稱為 決策面 ，用決策面方程表示。 ? 用于表示決策規(guī)則的函數(shù)稱為判別函數(shù) g(x) 。c個(gè)類就有 c個(gè)由 d個(gè)特征組成的單值函數(shù)，即判別函數(shù) g(x) 。 1. Bayes決策中的判別函數(shù) gi(x)=P(wi|x) 最小錯(cuò)誤概率的決策規(guī)則 gi(x)= R(ai|x) 最小風(fēng)險(xiǎn)的決策規(guī)則 決策規(guī)則： gi(x) gj(x) 所有 i≠j 則 x∈ wi ? 兩類 情況下，設(shè) ? 最小錯(cuò)誤率的 Bayes決策規(guī)則的四種等價(jià)形式 后驗(yàn)概率 類條件概率密度 函數(shù)與先驗(yàn)概率 似然比 似然比取對(duì)數(shù) ? 多類 情況下，設(shè) ? 最小錯(cuò)誤率的 Bayes決策規(guī)則的四種等價(jià)形式 2. 決策面方程 ? 各決策域 R被決策面所分割，這些決策面是特征空間中的點(diǎn)、直線、超曲面， 相鄰 的兩個(gè)決策域在決策面上其判別函數(shù) 相等 。 ? 決策面方程應(yīng)滿足 gi (x) = gj (x) gij(x) = gi(x)－ gj(x)=0 i≠j 且 i與 j為相鄰的兩類。 一維、三類 二維、二類 ? 只有兩類 的分界面： x為一維，決策面為一分界點(diǎn)；如圖 (a) x為二維，決策面為一曲線；如圖 (b) x為三維，決策面為一曲面； x為 d維，決策面為一超曲面 (b) 3. 分類器設(shè)計(jì) 在 d維特征空間內(nèi)，劃分為 c個(gè)決策區(qū)域。 ⑴ 多類： ? 根據(jù)各類訓(xùn)練集樣本 x計(jì)算得到 c個(gè)判別函數(shù) gi，將待分樣本計(jì)算 gi，從中選擇最大值作為類決策。 ? 分類器可看成由硬件或軟件組成的一個(gè)“機(jī)器”。 ijiiiiiiiiiixijxgxgPxpxgPxpxgxPxgxgwwwwww屬于，則，對(duì)一切如果③②①：三種形式的判別函數(shù)。每個(gè)類有一個(gè)判別函數(shù)??????)()()(ln)|(ln)()()|()()|()()(⑵ 兩類： ? 兩類分類器可看作只是對(duì) x計(jì)算判別函數(shù)的一個(gè)“機(jī)器”，根據(jù)計(jì)算結(jié)果的符號(hào)將 x分類。 ）（設(shè)－；否則設(shè)＋屬于，則如果決策規(guī)則③②①同樣有三種形式：判別函數(shù)1)1(0)()()(ln)|()|(ln)()()|()()|()()|()|()()()()()(21212122112121wwwwwwwwwxxgPPxpxpxgPxpPxpxgxPxPxgxgxgxgxg?????????例 4 對(duì)例 1和例 2分別列出判別函數(shù)和決策面方程 例 1. 判別函數(shù) 決策面方程 例 2. 判別函數(shù) 決策面方程： )|()|()()()|()()|()(212211wwwxpxpxgPxpPxpxg????0)|()|(9)(,0)( 21 ???? ww xpxpxgxg )|()|()()()|()()|()|()|()|()|()(212222112121212112wwwwlwwlwlwlxpxpxPxpPxpxPxPxaRxaRxg????????0)|(6)|(9)( 21 ??? ww xpxpxg167。 4 正態(tài)分布的 Bayes決策 ? 大量隨機(jī)變量服從正態(tài)分布 , 而且數(shù)學(xué)上容易處理 , 因此以正態(tài)分布為例來(lái)說(shuō)明。 ⑴單變量的正態(tài)分布概率密度函數(shù) ? 性質(zhì)： p(x)由 m, s 2確定。隨機(jī)變量 x 集中在均值 m附近 , 其分散度正比于標(biāo)準(zhǔn)差 s, 95%樣本落入 |x m| 2s范圍內(nèi)。 ???????????????dxxpxdxxxpxExxp)()()(}{])(21exp [21)(222msmsms?方差均值),(~)( 2smNxp記為⑵ 多元 (維 )正態(tài)分布的概率密度函數(shù) 非對(duì)角線上的元素協(xié)方差方差，對(duì)角線上的元素對(duì)稱矩陣，并且正定的行列式是的逆矩陣，是,)])([(222222122222212212122
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1