02貝葉斯決策理論(參考版)
2025-01-16 02:31本頁(yè)面
【正文】 ? 若決策域 Ri與 Rj相鄰 ， 則 決策面 應(yīng)滿足 gi(x)－ gj(x)=0 ? 即 xT(Wi－ Wj)x+(wi－ wj)Tx+wi0－ wj0=0 ? 由上式所決定的決策面為超二次曲面 ，隨著 ∑i，μi， P(ωi)的不同而呈現(xiàn)為某種超二次曲面，如超球面、超橢球面、超拋物面、超雙曲面或超平面。 ? 一般來(lái)說(shuō)， w與 μiμj方向不同，因此決策面不垂直于 μi與 μj的連線。 ? 如果決策域 Ri和 Rj相鄰 ， 則決策面方程應(yīng)滿足： gi(x)－ gj(x)=0 即 wT(x― x0)=0 其中 w=∑1(μi－ μj) )()()()()(ln)(2110 jijiTjijijiPPμμμμμμμμx ??????? ???若各類的先驗(yàn)概率相等 ，則 ? 此時(shí) x0點(diǎn)為 μi與 μj連線的中點(diǎn) ， 根據(jù)前面的討論 ， 決策面應(yīng)通過(guò)這一點(diǎn) ， 如圖 。 ㈡ 第二種情況 ∑i=∑ ? 由 ∑i =∑2 =… =∑c =∑， 即 ∑與 i無(wú)關(guān) ， 所以 ， 其判別函數(shù) （ 1） 可簡(jiǎn)化為 )(ln)()(21)( 1 iiiTii Pg ??????? ? μxμxx? 若 c類先驗(yàn)概率都相等 則判別函數(shù)可進(jìn)一步簡(jiǎn)化為 ? 這時(shí)其決策規(guī)則為：為了對(duì)觀察 x進(jìn)行分類 ， 只要計(jì)算出 x到每類的均值點(diǎn) μi的 Mahalanobis距離平方 ， 最后把 x歸于最小的類別 。 ?當(dāng) P(ωi)不等于 P(ωj)時(shí)，如圖所示。 ? 線性分類器的決策面是由線性方程 )(max)( xx iik gg ?若： 則決策 x∈ ωk。 ? 判別函數(shù)為線性函數(shù)的分類器稱為 線性分類器(linear machine)。 21 , 2. ..m in iic x ?? ?若要對(duì)觀察 x進(jìn)行分類，只要計(jì)算 x到各類均值 μi的歐氏距離平方 ，然后把 x歸于具有 的類。 i =1， … ， c 其中， ⒉ 先驗(yàn)概率 P(ωi)=P(ωj)時(shí)的情況 )(ln)2(21)(2 iiTiTiTi Pg ?? ????? μμxμxxx02 )(ln)2(21)(iTiiiTiTii wPg ??????? xwμμxμx ??ii μw 21??這種分類器稱為 最小距離分類器 。下面再分二種情況討論。 α? 根據(jù)最小錯(cuò)誤率貝葉斯判別函數(shù) ， 在多元正態(tài)概型(p(x|ωi)~N(μi， ∑i),i=1,… ， c)下就可以立即寫出其相應(yīng)的表達(dá)式 。 1? 211?2111121141122221141241222221121121121122221141141221121)()(2)()(2???????? ?????????????????????????????????????????????xxxx 同理可以推出 x2的邊緣分布為 ? 對(duì)于給定 x1的條件下 x2的分布 ， 有定義 p(x2|x1) = p(x1,x2 ) / p(x1) ),(~)( 22222 ??Nxp )}(||2exp {}]()[(||2exp {||)2()|(222112112112122221121211112?????????????????????xKxxxxp})]()[(||2exp{||)2()|( 2222222121122221212221 ??????? ??????? xxxxp同理可以寫出給定 x2條件下 x1的分布 : ⑸ 線性變換的正態(tài)性 ? 若對(duì) x用 線性變換矩陣 A(A是非奇異 (|A|≠0)的 )作線性變換， y = Ax ? 則 y服從以均值向量為 Aμ， 協(xié)方差矩陣為 A∑AT的多元正態(tài)分布 。 ⑷ 邊緣分布和條件分布的正態(tài)性 ? 多元正態(tài)分布的邊緣分布和條件分布仍然是正態(tài)分布 。 ? 在正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性 。 ? 若 xi和 xj相互獨(dú)立 ， 則它們之間一定不相關(guān)；反之則不一定成立 。 ■ 一般情況下相關(guān)與獨(dú)立的關(guān)系 ? 獨(dú)立性是比不相關(guān)性更強(qiáng)的條件 ， 獨(dú)立性要求 p(xi,xj)= p(xi) p(xj) 對(duì)于 xi和 xj都成立 。E{xj} ? 則定義隨機(jī)變量 xi和 xj是不相關(guān)的。 ? 可以證明對(duì)應(yīng)于 Mahalanobis距離為超橢球的體積是 ddVV ?21|| ??? 其中 Vd是 d維單位超球體的體積。所以等密度點(diǎn)軌跡是 x到 μ的Mahalanobis距離為常數(shù)的超橢球面。 )}()(21exp{||)2(1)( 1212μxμxx ?????? ?Tdp? ■ 當(dāng)指數(shù)項(xiàng)為常數(shù)時(shí)，密度 p(x)值不變，因此等密度點(diǎn)應(yīng)是此式的指數(shù)項(xiàng)為常數(shù)的點(diǎn)，即應(yīng)滿足 常數(shù)???? ? )()( 1 μxμx T■ 可以 證明上式的解是一個(gè)超橢球面，且它的主軸方向由 ∑陣的特征向量所決定，主軸的長(zhǎng)度與相應(yīng)的協(xié)方差矩陣 ∑的本征值成正比。 下圖給出了 從一個(gè)以均值 μ為中心的二維高斯分布中取出的樣本 。 2)1(22 ???? ddddd? 均值向量 μ由 d個(gè)分量組成 。 ● 對(duì)于正定矩陣，各階主子式非零（包括|∑|≠0）。如果對(duì) x≠0的一切 x 有 xT∑x≥0 都成立，則稱 ∑為非負(fù)定陣。 正態(tài)分布時(shí)的統(tǒng)計(jì)決策 ? 正態(tài)分布概率密度函數(shù)的定義及性質(zhì) ? 多元正態(tài)概型下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面 正態(tài)分布的重要性 ? 正態(tài)分布是所有分布中最受關(guān)注的分布 – 數(shù)學(xué)上易于分析 – 物理上的合理性：適合于給定類別 ωi的特征 x是某個(gè)單值向量 μi的隨機(jī)擾動(dòng)的情形（根據(jù)中心極限定理，大量微小的，獨(dú)立的隨機(jī)擾動(dòng)加和的累積效應(yīng)會(huì)導(dǎo)致高斯分布） – 很多模式（比如魚，手寫字符，語(yǔ)音等）都可以看成一個(gè)理想模式被大量隨機(jī)過(guò)程所擾動(dòng)的結(jié)果，因此正態(tài)分布是描述實(shí)際概率分布的理想模型 ㈠ 單變量正態(tài)分布 ● 單變量正態(tài)分布概
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1