02貝葉斯決策理論-展示頁(yè)
2024-10-20 20:29本頁(yè)面
【正文】 兩類(lèi)錯(cuò)誤率,在很多實(shí)際問(wèn)題中，兩類(lèi)并不是同等的，比如在疾病的診斷中，假陽(yáng)性是指誤診，而假陰性則為漏診，假陽(yáng)（陰）性率是指假陽(yáng)（陰）性樣本占整個(gè)陰性（陽(yáng)性）樣本的比例。 如果p(x | ?1)=p(x | ?2 ) ，則x不提供任何信息，決策結(jié)果完全取決于先驗(yàn)概率 如果P(?1) =P(?2) ，兩種類(lèi)別等概率出現(xiàn)，決策規(guī)則取決于似然度p(x | ?j)。 判別函數(shù)的選擇并不唯一，可以為gi(x)的任意單調(diào)增函數(shù)f(gi(x))。 最小錯(cuò)誤率貝葉斯決策中，可令gi(x)=P(ωi|x)。 思考：相比于直接利用先驗(yàn)概率的決策，貝葉斯決策的錯(cuò)誤率是否減小了？,分類(lèi)器，判別函數(shù)和決策面,特征分類(lèi)器有多種表示形式，最常用的是判別函數(shù)。,貝葉斯決策,如果 P(?1 | x) P(?2 | x)，則決策為?1 ， 否則決策為?2 。 在這一規(guī)則下的錯(cuò)誤率為 P(error | x) = P(?1 | x) 決策為 ?2 P(error | x) = P(?2 | x) 決策為 ?1 。 這一決策規(guī)則的好壞取決于先驗(yàn)概率P(ω1)，P(ω2)的相對(duì)大小，如果P(ω1)P(ω2)，則這一決策規(guī)則的錯(cuò)誤率就比較小，如果P(ω1)=P(ω2)，則錯(cuò)誤率將達(dá)到50% 可以證明錯(cuò)誤率是P(ω1)，P(ω2)中小的那個(gè),加入后驗(yàn)信息,多數(shù)情況下，我們不會(huì)只依據(jù)先驗(yàn)信息來(lái)做分類(lèi)決策 假定我們利用光澤度來(lái)提高分類(lèi)效果，由于不同的魚(yú)會(huì)有不同的光澤度，我們?nèi)匀话阉硎緸橐粋€(gè)隨機(jī)變量 令x為一個(gè)連續(xù)值的隨機(jī)變量，其分布取決于魚(yú)的種類(lèi)，并表示為p(x|ω)，這就是條件概率密度，也就是魚(yú)的種類(lèi)為ω 時(shí)x的概率密度函數(shù)。為了減少分類(lèi)的錯(cuò)誤率，合理的決策規(guī)則應(yīng)該是： 如果P(ω1)P(ω2)，則決策為ω1 ，否則決策為ω2 。它受很多因素的影響，比如一年中的時(shí)節(jié)和所在的區(qū)域等等。 如果要分類(lèi)的魚(yú)中鱸魚(yú)和鮭魚(yú)的數(shù)目相等，則我們認(rèn)為下一次出現(xiàn)鱸魚(yú)和鮭魚(yú)的可能性一樣。第二章 貝葉斯決策理論,2.1 引言 2.2 最小錯(cuò)誤率貝葉斯決策 2.3最小風(fēng)險(xiǎn)貝葉斯決策 2.4正態(tài)分布下的貝葉斯決策,2.1引言,統(tǒng)計(jì)決策理論是根據(jù)每一類(lèi)總體的概率分布決定未知類(lèi)別的樣本屬于哪一類(lèi) 貝葉斯決策是統(tǒng)計(jì)決策理論的基本方法，它的基本假定是分類(lèi)決策是在概率空間中進(jìn)行的，并且以下概率分布是已知的 每一類(lèi)的概率分布 類(lèi)條件概率密度,繼續(xù)考慮鱸魚(yú)和鮭魚(yú)的例子,假定傳送帶上送過(guò)來(lái)的魚(yú)的種類(lèi)是隨機(jī)的，令ω表示魚(yú)的種類(lèi)，且為鱸魚(yú)時(shí)ω=ω1，為鮭魚(yú)時(shí)ω=ω2。由于我們無(wú)法確定性地預(yù)測(cè)魚(yú)的種類(lèi)，因此ω為隨機(jī)變量。一般的，假定已知出現(xiàn)鱸魚(yú)的概率P(ω1)和出現(xiàn)鮭魚(yú)的概率P(ω2)，則P(ω1)+ P(ω2)=1.這是我們?cè)跊Q策之前已知的先驗(yàn)知識(shí)，因此稱(chēng)為先驗(yàn)概率分布,只依賴(lài)先驗(yàn)概率的決策,先驗(yàn)概率反映了我們?cè)隰~(yú)真正出現(xiàn)之前就已經(jīng)具有的關(guān)于鱸魚(yú)和鮭魚(yú)的出現(xiàn)的可能性的知識(shí)。 假定在某個(gè)魚(yú)還沒(méi)有出現(xiàn)的時(shí)刻我們就不得不做出一種分類(lèi)決策，這時(shí)我們擁有的信息只有兩種魚(yú)的先驗(yàn)概率。,分類(lèi)決策的分析,如果只對(duì)一條魚(yú)做分類(lèi)決策，則前面的決策規(guī)則是合理的，如果要對(duì)連續(xù)出現(xiàn)的多條魚(yú)重復(fù)這一決策規(guī)則，就略顯怪異了：盡管我們知道會(huì)出現(xiàn)的魚(yú)有兩種，但我們只是重復(fù)同一決策。,類(lèi)條件概率密度函數(shù),光澤度的類(lèi)條件概率密度函數(shù)反應(yīng)了兩種魚(yú)之間光澤度的差異,后驗(yàn)概率,假定我們知道先驗(yàn)概率P(ωj)和類(lèi)條件概率密度p(x| ωj),j=1,2，并且測(cè)得一條魚(yú)的光澤度為x，那么如何在分類(lèi)決策中利用這一信息呢？ 由于聯(lián)合概率分布滿(mǎn)足 可得貝葉斯公式 其中 P(ωj|x)就是類(lèi)別關(guān)于光澤度的后驗(yàn)概率,貝葉斯公式,貝葉斯公式的直觀(guān)理解 Posterior = (Likelihood x Prior) / Evidence 貝葉斯公式表明通過(guò)觀(guān)測(cè)x的值可以將
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1