02貝葉斯決策理論-文庫吧資料
2025-01-18 02:31本頁面
【正文】 率密度函數(shù)定義為 })(21exp{2 1)( 2? ??? ??? xxp ? ????? dxxxpxE )(}{? ???? ?? dxxpx )()(22 ??正態(tài)分布的重要性質(zhì) ? 正態(tài)分布可以由均值 μ和方差 σ完全確定 ? 正態(tài)分布與熵之間有著深刻的聯(lián)系， ? 熵度量的是從一個分布中隨機(jī)抽取樣本時的不確定性 ? 可以證明，在給定均值和方差的前提下，正態(tài)分布的熵是最大的 ( ( ) ) ( ) l n ( ) .H p x p x p x dx?? ? ㈡ 多元正態(tài)分布 ⒈多元正態(tài)分布的概率密度函數(shù) ?? ?????? iiiE iii dxxpxdpxxE d )()(}{ xx?)}()(21exp{||)2(1)( 1212μxμxx ?????? ?Tdp?( ) ( )dEE x x p x dx? ?? ?1 1 1( ) ... ( ) ... ...i i i dp x p x dx dx dx dx????? ? ? ?? ??● 協(xié)方差的各分量為： ? ?111 1 d ddd1 1 1 1 1 1 d dd d 1 1 d d d d[ ] = { ( ) ( ) }[ ( ) ( ) ] [ ( ) ( ) ][ ( ) ( ) ] [ ( ) ( ) ]TijExE x xxE x x E x xE x x E x x?????? ? ? ?? ? ? ?? ? ? ??????? ? ????? ???? ? ? ??????? ? ? ???x μ x μ? ?????????????jijijjiijjii2),())(()])([(dxdxxxpxxxxEij?????● 協(xié)方差矩陣總是非負(fù)定陣。 12P ( | x) 18 , P ( | x) 82 .????21 1 12 212 21 1R ( | x) ( | x) ( | x) 2.R ( | x) ( | x) 8.jjjPPP? ? ? ? ?? ? ??? ? ????12R ( | x) R( | x)???分析 ? 同樣的數(shù)據(jù)，因為對兩類錯誤帶來的風(fēng)險的認(rèn)識不同，得出了與前面相反的結(jié)論。 P(ω1)=， P(ω2)=, 未知細(xì)胞 x滿足 P(x|ω1)=， P(x|ω2)=。決策步驟 ? 利用貝葉斯公式計算后驗概率 ? 利用決策表，計算條件風(fēng)險 ? 在各種風(fēng)險中選擇風(fēng)險最小的決策，即 1( x | ) P ( )( | x) , 1 , , .( x | ) P ( )jjj ciiipP j cp?????????1( | x) ( , ) ( | x) , 1 , , .ci i j jjR P i k? ? ? ? ???1 , ,a r g m in ( | x) .iik R????特殊情形 ? 在樣本和決策都是兩類的情形下，最小風(fēng)險貝葉斯決策為： 其中， ? 顯然，當(dāng) 時，最小風(fēng)險貝葉斯決策就變?yōu)樽钚″e誤率貝葉斯決策。A最小風(fēng)險貝葉斯決策 ? 對于某個樣本 x，它屬于各個狀態(tài)的后驗概率是 對它采取決策 的期望損失是 ? 設(shè)有某一個決策規(guī)則 ，它對所有可能樣本 x采取決策所造成的期望損失是 P ( | x) , 1 , ,j jc? ?, 1 , ,i ik? ?1( | x) [ ( , ) | x] ( , ) P ( | x) , , .ci i j i j jjR E i 1, k? ? ? ? ? ? ? ??? ? ??(x)? ( ) ( ( x) | x) p( x) dxRR??? ?最小風(fēng)險貝葉斯決策的決策規(guī)則 ? 最小風(fēng)險貝葉斯決策的決策規(guī)則即是最小化期望風(fēng)險 R(α)。 1 2 0m in ( ) ( ( ) ) .P e P e? ? ?? ? ? ? 在實際問題中，我們關(guān)心的可能不是分類的錯誤率本身，而是它所帶來的風(fēng)險 – 在鱸魚和鮭魚的例子中，把鱸魚錯判為鮭魚和把鮭魚錯判為鱸魚的損失是不一樣的 – 在癌細(xì)胞的識別中，把正常細(xì)胞誤判為癌細(xì)胞和把癌細(xì)胞誤判為正常細(xì)胞的代價也是不一樣的 ? 因此，不考慮不同錯誤所帶來的不同風(fēng)險而將它們一視同仁，在很多情況下是不恰當(dāng)?shù)? ? 所謂最小風(fēng)險貝葉斯決策，就是考慮各種錯誤造成損失不同時的一種最優(yōu)決策 問題描述 ? 令 為 c個類組成的狀態(tài)空間，樣本 為 d維隨機(jī)向量，對隨機(jī)向量 x可能采取的決策組成了決策空間 設(shè)對于實際狀態(tài)為 ωj的向量 x,采取決策 αi所帶來的損失為 λ(αi, ωj),i=1,…k, j=1,…c. ? λ(αi, ωj),i=1,…k, j=1,…c 稱為損失函數(shù)，通常用表格給出，在應(yīng)用中需要根據(jù)問題的背景知識確定。 – 比如，在鱸魚和鮭魚的例子中，可能政府會強(qiáng)制性規(guī)定，鮭魚錯分為鱸魚的比例不得超過 1% – 對某些重要疾病的診斷，我們希望確保漏診率低于一個水平 ε0(比如 %). ? 這種限定一類錯誤率而使另一類錯誤率最小的決策規(guī)則稱作 NeymanPearson決策規(guī)則?？偟腻e誤率是兩類錯誤率的加權(quán)平均。 ? 在統(tǒng)計學(xué)上，假陽性又被稱為第一類錯誤 (TypeI Error)，假陰性被稱為第二類錯誤 (TypeII Error)。前者是指在真正的陽性樣本中有多少能被檢測出來，而后者是指在陰性樣本中有多少比例沒有被誤判。 解： 1( ) ? ?P 2( ) 12( | ) , ( | ) x p x????111 21211 2 1( | ) ( ) ( | ) 8 ( | ) ( )( | ) 1 ( | ) 2( | ) 8 ( | ) 2jjjp x PPxp x PP x P xP x P x x???????? ? ???? ? ?? ? ?? ? ?? ? ? ? ??決策例子 最小錯誤率 的討論 ? 以一維情況為例討論基于最小
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1