02貝葉斯決策理論(編輯修改稿)
2024-10-25 00:52 本頁面
【文章內(nèi)容簡介】 維隨機(jī)向量，對隨機(jī)向量x可能采取的決策組成了決策空間 設(shè)對于實(shí)際狀態(tài)為ωj的向量x,采取決策αi所帶來的損失為λ(αi, ωj),i=1,…k, j=1,…c. λ(αi, ωj),i=1,…k, j=1,…c 稱為損失函數(shù)，通常用表格給出，在應(yīng)用中需要根據(jù)問題的背景知識確定。,最小風(fēng)險(xiǎn)貝葉斯決策,對于某個(gè)樣本x，它屬于各個(gè)狀態(tài)的后驗(yàn)概率是 對它采取決策 的期望損失是 設(shè)有某一個(gè)決策規(guī)則 ，它對所有可能樣本x采取決策所造成的期望損失是,最小風(fēng)險(xiǎn)貝葉斯決策的決策規(guī)則,最小風(fēng)險(xiǎn)貝葉斯決策的決策規(guī)則即是最小化期望風(fēng)險(xiǎn)R(α)。 由于R(α (x)|x)和p(x)都是非負(fù)的，且p(x)是已知的，因此要使R(α)最小，就要對所有x使R(α (x)|x)最小，因此，最小風(fēng)險(xiǎn)貝葉斯決策就是： 若 則,決策步驟,利用貝葉斯公式計(jì)算后驗(yàn)概率 利用決策表，計(jì)算條件風(fēng)險(xiǎn) 在各種風(fēng)險(xiǎn)中選擇風(fēng)險(xiǎn)最小的決策，即,特殊情形,在樣本和決策都是兩類的情形下，最小風(fēng)險(xiǎn)貝葉斯決策為： 其中， 顯然，當(dāng) 時(shí)，最小風(fēng)險(xiǎn)貝葉斯決策就變?yōu)樽钚″e(cuò)誤率貝葉斯決策。,幾種等價(jià)形式,決策例子,在前面例子的基礎(chǔ)上，利用下面的決策表，按最小風(fēng)險(xiǎn)貝葉斯決策重新進(jìn)行分類決策。,P(ω1)=0.9， P(ω2)=0.1, 未知細(xì)胞x滿足P(x|ω1)=0.2， P(x|ω2)=0.4。,決策例子,解：已計(jì)算出的后驗(yàn)概率為 條件風(fēng)險(xiǎn) 由于 ，決策為ω2，即判別待識別細(xì)胞為異常細(xì)胞。,分析,同樣的數(shù)據(jù)，因?yàn)閷深愬e(cuò)誤帶來的風(fēng)險(xiǎn)的認(rèn)識不同，得出了與前面相反的結(jié)論。 由于決策表是人為確定的，決策表的不同會導(dǎo)致決策結(jié)果的不同，因此，在實(shí)際應(yīng)用中，需要認(rèn)真分析所研究問題的內(nèi)在特點(diǎn)和分類的目的，與應(yīng)用領(lǐng)域的專家共同設(shè)計(jì)出適當(dāng)?shù)臎Q策表，才能做出更有效的決策。,2.3 正態(tài)分布時(shí)的統(tǒng)計(jì)決策,正態(tài)分布概率密度函數(shù)的定義及性質(zhì) 多元正態(tài)概型下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面,正態(tài)分布的重要性,正態(tài)分布是所有分布中最受關(guān)注的分布 數(shù)學(xué)上易于分析 物理上的合理性：適合于給定類別ωi的特征x是某個(gè)單值向量μi的隨機(jī)擾動的情形（根據(jù)中心極限定理，大量微小的，獨(dú)立的隨機(jī)擾動加和的累積效應(yīng)會導(dǎo)致高斯分布） 很多模式（比如魚，手寫字符，語音等）都可以看成一個(gè)理想模式被大量隨機(jī)過程所擾動的結(jié)果，因此正態(tài)分布是描述實(shí)際概率分布的理想模型,2.3.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì),㈠單變量正態(tài)分布 ●單變量正態(tài)分布概率密度函數(shù)定義為,正態(tài)分布的重要性質(zhì),正態(tài)分布可以由均值μ和方差σ完全確定 正態(tài)分布與熵之間有著深刻的聯(lián)系， 熵度量的是從一個(gè)分布中隨機(jī)抽取樣本時(shí)的不確定性 可以證明，在給定均值和方差的前提下，正態(tài)分布的熵是最大的,㈡ 多元正態(tài)分布 ⒈多元正態(tài)分布的概率密度函數(shù),●協(xié)方差的各分量為：,●協(xié)方差矩陣總是非負(fù)定陣。 ●對于任意隨機(jī)向量x，xT∑x是∑的二次型。如果對x≠0的一切x 有 xT∑x≥0 都成立，則稱∑為非負(fù)定陣。 ●若xT∑x0，則∑為正定陣。 ●對于正定矩陣，各階主子式非零（包括|∑|≠0）。,2.多元正態(tài)分布的性質(zhì) ⑴參數(shù)μ和∑對分布的決定性 ⑵等密度點(diǎn)的軌跡為一超橢球面 ⑶不相關(guān)性等價(jià)于獨(dú)立性 ⑷邊緣分布和條件分布的正態(tài)性 ⑸線性變換的正態(tài)性 ⑹線性組合的正態(tài)性,⑴參數(shù)μ和∑對分布的決定性,多元正態(tài)分布被均值向量μ和協(xié)方差矩陣∑所完全確定。,均值向量μ由d個(gè)分量組成。 協(xié)方差矩陣∑由于其對稱性故其獨(dú)立元素有,p(x)~N(μ,∑),多元正態(tài)分布概率密度函數(shù)常記為,⑵等密度點(diǎn)的軌跡為一超橢球面,從正態(tài)分布總體中抽取的樣本大部分落在由μ和∑所確定的一個(gè)區(qū)域里。下圖給出了從一個(gè)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1