基于貝葉斯決策理論的分類器(1)-wenkub
2023-03-29 14:22:30 本頁面
【正文】 率，可從訓(xùn)練集樣本中估算出來。 ? 當(dāng)各類別之間出現(xiàn)混淆現(xiàn)象時(shí)，則分類困難。 ? Bayes決策理論是用概率統(tǒng)計(jì)方法研究決策問題。 1 引言 ? 模式識(shí)別是根據(jù)對(duì)象特征值將其分類。 1 引言 167。 2 Bayes決策理論 最小錯(cuò)誤率的貝葉斯決策 最小風(fēng)險(xiǎn)的貝葉斯決策 167。 d個(gè)特征組成特征向量 x=[x1, ⒈ 為什么可用 Bayes決策理論分類？ ⑴樣本的不確定性： ①樣本從總體中抽取， 特征值 都是 隨機(jī)變量， 在相同條件下重復(fù)觀測(cè)取值不同， 故 x為隨機(jī)向量。 這時(shí)需要采用 統(tǒng)計(jì)方法 ，對(duì)模式樣本的統(tǒng)計(jì)特性進(jìn)行觀測(cè)，分析屬于哪一類的概率最大。 例如，兩類 10個(gè)訓(xùn)練樣本，屬于 w1為 2個(gè)，屬于 w2為 8個(gè)，則先驗(yàn)概率 P(w1) = ， P(w2) = 。 ⑶ 后驗(yàn)概率 P(wi|x) 定義為某個(gè)樣本 x, 屬于 wi 類的概率 , i=1, ? 如果用先驗(yàn)概率 P(wi) 來確定待分樣本 x的類別 , 依據(jù)顯然是非常不充分的，須用類條件概率密度 p(x|wi)來修正。 167。 cjixPerro rPxxPxPiijcji,2,1,)]|(min[)(),|(max)|(,2,1???????w誤差概率則決策規(guī)則x0 ? 判定錯(cuò)誤區(qū)域及錯(cuò)誤率 真實(shí)狀態(tài) w2，而把模式 x判定屬于 w1類 真實(shí)狀態(tài) w1，而把模式 x判定屬于 w2類 ? 平均錯(cuò)誤率 P(e) ? 決策規(guī)則實(shí)際上對(duì)每個(gè) x都使 p(e|x)取小者，移動(dòng)決策面 t 都會(huì)使錯(cuò)誤區(qū)域增大，因此 平均錯(cuò)誤率最小。 Rc ， P(e) 由c (c1)項(xiàng)組成，計(jì)算量大。這里沒有 考慮錯(cuò)誤分類帶來的損失 。時(shí)，采取的決策為當(dāng)真實(shí)狀態(tài)為表示④損失函數(shù)拒絕決策下標(biāo)組成個(gè)決策由③決策空間組成類個(gè)自然狀態(tài)由②狀態(tài)空間，維隨機(jī)向量是①ijjiacicTdacjaiacaaaaaAaciaaAccxxxxdxwlwl,2,1,2,1),()(1},{,2,1,},{)(],[212121????????????????? 一般用決策表或損失矩陣表示上述三者關(guān)系。 ? 由于 x是隨機(jī)向量的觀察值，不同的 x采取不同決策 ai ，其條件風(fēng)險(xiǎn)的大小是不同的。 ? 如果采取每個(gè)決策行動(dòng) ai使 條件風(fēng)險(xiǎn) R(ai|x)最小，則對(duì)所有的 x作出決策時(shí)，其 期望風(fēng)險(xiǎn) R也必然 最小。 ? 兩類時(shí)最小風(fēng)險(xiǎn) Bayes決策規(guī)則的另兩種形式： 21121121221221212221211121)()()()()()|()()|()(wwwwllllwwwwwllwll；否則則決策，如果；否則則決策，如果PPxpxpxlxPxP???????)|()|()|()|()|()|(22212122121111xPxPxaRxPxPxaRwlwlwlwl????例 2：條件同例 1，利用決策表， 按最小風(fēng)險(xiǎn) Bayes決策分類。 )|(,)|(10160)|(,)|()(,)(21222112112121??????????xPxPxpxpPPwwllllwwww得到后驗(yàn)概率：例已知：22112122122111),|()|()|()|()|()|()|(wwlwlwl??????? ??xxaRxaRxPxaRxPxPxaR jjj所以由于條件風(fēng)險(xiǎn) 例 3： 現(xiàn)有兩類問題，比較兩種 Bayes決策?？赡苄源蟮? 類可產(chǎn)生更小的誤差。,c。最小錯(cuò)誤概率決策等價(jià)于的最小風(fēng)險(xiǎn)使Bayes)(min)(Bayes)(min)(1,11,1xPxPxaRxaRjcijjcijcijjicikww ???????????? ② 兩類問題中，若有 即所謂 對(duì)稱損失函數(shù) 的情況下，這時(shí)最小風(fēng)險(xiǎn) 的 Bayes決策和最小錯(cuò)誤概率的 Bayes決策方法相同。 ? 序貫分類決策 ：考慮特征的獲取要付出一定的代價(jià)。 ? 用于表示決策規(guī)則的函數(shù)稱為判別函數(shù) g(x) 。 一維、三類 二維、二類 ? 只有兩類 的分界面： x為一維，決策面為一分界點(diǎn)；如圖 (a) x為二維，決策面為一曲線；如圖 (b) x為三維，決策面為一曲面； x為 d維，決策面為一超曲面 (b) 3. 分類器設(shè)計(jì) 在 d維特征空間內(nèi)，劃分為 c個(gè)決策區(qū)域。每個(gè)類有一個(gè)判別函數(shù)??????)()()(ln)|(ln)()()|()()|()()(⑵ 兩類： ? 兩類分類器可看作只是對(duì) x計(jì)算判別函數(shù)的一個(gè)“機(jī)器”，根據(jù)計(jì)算結(jié)果的符號(hào)將 x分類。隨機(jī)變量 x 集中在均值 m附近 , 其分散度正比于標(biāo)準(zhǔn)差 s, 95%樣本落入 |x m| 2s范圍內(nèi)。 ? 指數(shù)項(xiàng)為常數(shù)的 x點(diǎn) 即為 等概率密度。矩陣的本征值長度與兩邊②矩陣的本征向量方向。 若兩個(gè)隨機(jī)變量 xi和 xj間 對(duì)多元正態(tài)的任意兩個(gè)分量 xi和 xj來說兩者等價(jià)。,xd)T各分量是相互獨(dú)立的正態(tài)分布隨機(jī)變量。 ????????????2200ss?????)(ln2 ||||)( 22iii Pxxg wsm ???? 212 )()()(||||ijdjjiTii xxxx mmmm ?????? ??)(ln||ln212ln2))()((21)( 1 iiTiiii Pdxxxg w?mm ????????? ?212 /I, ss ???? ?idi歐氏距離平方 ： ? Bayes 決策 ： ① P(wi)= P(wj) 先驗(yàn)概率相等 測(cè)量從待分類向量 x到每一類均值向量的歐氏距離 ， 把 x分到距離最近的類 ， mi是從訓(xùn)練樣本集中得到的 。 因此 ， 如果待分類的向量 x 同兩類均值向量的歐氏距離相等 ， 則最小錯(cuò)誤概率 Bayes決策把這模式歸入先驗(yàn)概率大的那類 。,c gk(x)＝ max gi(x) 則決策 x∈ wk )(ln)2(2 1)( 2 iiTiTiTi Pxxxxg w
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1