bayes決策理論ppt課件(已修改)
2025-05-17 08:15 本頁(yè)面
【正文】 第三章 Bayes決策理論 ? 最小錯(cuò)誤概率的 Bayes決策 ? 最小風(fēng)險(xiǎn)的 Bayes決策 ? NeymanPearson決策 ? Bayes分類器和判別函數(shù) ? 正態(tài)分布時(shí)的 Bayes決策法則 引言 模式特征的不確定性 進(jìn)行模式識(shí)別，首先要提取和選擇模式特征，使這些特征組成的特征向量能很好地代表這個(gè)事物。但是，在實(shí)際問(wèn)題中，由于技術(shù)或經(jīng)濟(jì)上的原因，使得提取和選擇的特征不一定能準(zhǔn)確地描述這個(gè)模式。 比如， 特征選擇的不合適，特征的數(shù)量不當(dāng)，特征測(cè)量的不準(zhǔn)確，等等，使模式具有不確定性。 因此，我們應(yīng)當(dāng)把模式向量看成隨機(jī)變量。 處理隨機(jī)變量用什么方法呢？ 概率論與數(shù)理統(tǒng)計(jì) 頻率：如果在 n次重復(fù)試驗(yàn)中，事件 A發(fā)生了 次，則稱比值 是事件 A在這 n次試驗(yàn)中發(fā)生的頻率。記作 概率：在相同條件下重復(fù)進(jìn)行同一試驗(yàn)，如果隨著試驗(yàn)次數(shù) n的增加，事件 A的頻率 僅在某個(gè)數(shù) 附近有微小變化，則稱 是事件 A的概論， 實(shí)際上， 是不容易得到的，常用 n較大時(shí)的頻率作為 A的概率 ?n/?nAf n??)(nAf n??)(ppAP ?)(pp2. 條件概率 設(shè) A， B是試驗(yàn) E的兩個(gè)事件，則稱 為在事件 B發(fā)生條件下事件 A的條件概率。 3. Bayes公式 含義：假設(shè) 是某個(gè)過(guò)程的 n個(gè)事件， 是各事件出現(xiàn)的概率，稱為先驗(yàn)概率。如果這個(gè)過(guò)程得到一個(gè)結(jié)果 B，由于 B的出現(xiàn)，而對(duì)各事件 的概率要做出重新認(rèn)識(shí)。 )|( BAP??? njjjiiiABPAPABPAPBAP1)|()()|()()|( ni ,2,1 ??)( iAP)( iAPniA i ,2,1, ?? 最小錯(cuò)誤概率的 Bayes決策 假設(shè)某個(gè)工廠生產(chǎn)兩種尺寸和外形都相同的螺釘 ,一種是鐵的 ,一種是銅的 ,兩種產(chǎn)品混在一起 ,要求對(duì)它們進(jìn)行自動(dòng)分類。 設(shè) 鐵的類別狀態(tài)用 表示； 銅的類別狀態(tài)用 表示； 因?yàn)槭孪阮悇e狀態(tài)是不確定的，所以 是隨機(jī)變量。假設(shè)鐵螺釘有 7萬(wàn)個(gè)，銅螺釘有 3萬(wàn)個(gè)，那么鐵螺釘出現(xiàn)的概率 ，銅螺釘出現(xiàn)的概率 1?2?12,??? ?1 7 0 .710P ? ??? ?2 3 0 .310P ? ?? 如果用概率 和 來(lái)決策，規(guī)則為： 如果 則螺釘 如果 則螺釘 因?yàn)? ，所以 螺釘 。 所有螺釘都分到鐵螺釘這一類，決策錯(cuò)誤概率為。 用先驗(yàn)概率決策存在的問(wèn)題？ 與待識(shí)別對(duì)象的特征沒(méi)有建立聯(lián)系，沒(méi)有利用待識(shí)別對(duì)象本身的信息 ? ?1P ? ? ?2P ?? ? ? ?12PP??? 1??? ? ? ?12PP??? 2??? ? ? ?120 .7 0 .3PP??? ? ??1?? 先用一個(gè)模式特征 來(lái)分類，如果這個(gè)特征對(duì)分類是有效的，那么 的概率分布就與類別狀態(tài) 是有聯(lián)系的。 例如：銅螺釘和鐵螺釘?shù)谋砻媪炼仁遣煌?，以亮度作為特? ，亮度用“亮度計(jì)”來(lái)測(cè)量，每個(gè)螺釘?shù)牧炼仍诹炼扔?jì)上可以在一定范圍內(nèi)連續(xù)取值。由于每個(gè)螺釘?shù)牧炼瓤赡苁遣煌?，所? 是一個(gè)連續(xù)的隨機(jī)變量。 xx, 1, 2i i? ?xx 對(duì) 的概率分布記為 對(duì) 的概率分布記為 那么 和 的差別 反映了 和 的類別狀態(tài)的差別 反映了兩類模式的差別。 概 率 密 度P （ x |w1)P （ x |w2)亮 度x1x2x 1? ? ?1|px ?x 2? ? ?2|px ?? ?1|px ? ? ?2|px ? 1? 2?X有對(duì)屬于銅螺釘?shù)姆植迹? 也有對(duì)屬于鐵螺釘?shù)姆植? 假設(shè)已經(jīng)知道了 ， ， ， 如何求 利用 Bayes公式： 式中 Bayes公式表明 ,可以通過(guò)特征的觀察值 ，把先驗(yàn)概率 轉(zhuǎn)化為后驗(yàn)概率 。 ? ? ? ? ? ?? ?|| jjj p x PPx px??? ?? ? ? ? ? ?1|ciiip x p x P???? ?? ?| jpx ?? ?jP ? ? ?|jPx?? ?1P ? ? ?2P ? ? ?1|px ? ? ?2|px ?1( | )Px? 2( | )Px? 圖 (a)所示時(shí)，后驗(yàn)概率 隨亮度的變化情況。 因此，可以用后驗(yàn)概率進(jìn)行決策。 ? ?|jPx?概 率 密 度P （ x |w 1 )P （ x |w 2 )亮 度B a y e s 公 式概 率xP ( w 1 |x )P ( w 2 | x )w 1 w 2決策規(guī)則： 如果 ，則決策 ； 如果 ，則決策 ； 這個(gè)決策規(guī)則被稱為最小錯(cuò)誤概率的 Bayes決策。 為什么說(shuō)這個(gè)決策規(guī)則具有最小錯(cuò)誤概率呢？ ? ? ? ?12||P x P x???? ? ? ?21||P x P x???1?2?3. 最小錯(cuò)誤概率的解釋 在用上述規(guī)則決策時(shí) ,有兩種可能發(fā)生的錯(cuò)誤分類 將真實(shí)屬于 分到 將真實(shí)屬于 分到 觀察到的 x值不同 ,那么后驗(yàn)概率就不同 ,從而分類錯(cuò)誤概率也
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1