基于貝葉斯決策理論的分類器(1)-資料下載頁
2025-03-10 14:22本頁面
【正文】 關(guān)的 線性判別函數(shù) ， 組成 線性分類器 。 ? 對待分類的樣本 x,分別計(jì)算 gi(x),i=1,2,,c gk(x)＝ max gi(x) 則決策 x∈ wk )(ln)2(2 1)( 2 iiTiTiTi Pxxxxg wmmms ?????02 )(ln)2(21)(iTiiiTiTii wxWPxxg ??????? wmmms )(ln21,1)(2020iiTiiiiiTiiPwWwxWxgwmmsms??????其中i ? 決策面方程 相鄰決策面方程是由上述線性方程所確定的一個超平面 ， 且討論的是方差相等 ， 協(xié)方差為 0這樣一種特殊情況 ， 即 。 ? 這個方程確定了決策面是通過 x0并 正交 于向量 W的一個超平面 。 由于 W=mi－ mj 所以超平面正交于均值向量 mi與 mj之間的聯(lián)線 。 )()()(ln||||)(210)(0)()(200jijijijijiTjiPPxWxxWxgxgmmwwmmsmmmm???????????其中Ii 2s?? ? 若先驗(yàn)概率相等 超平面通過 mi與 mj聯(lián)線的 中點(diǎn) ，且與聯(lián)線正交。 ? 若先驗(yàn)概率不相等，則 x0 不在中點(diǎn)， 超平面向先驗(yàn)概率小的方向移動。 ? 若 s2 ||mimj||2,則先驗(yàn)概率對決策面的影響就比較小。 ? d 維特征空間，交界面呈球狀分布，其判別邊界為 d1維的平面，垂直于中心線。 )(21)()(0 jijixPPmmww???一維 二維 三維 ⑵ Si＝ S S與 i無關(guān)。 各類的協(xié)方差矩陣相等 S1＝ S2＝ ＝ Sc=S。幾何上相當(dāng)于各類樣本集中于以該類均值 mi點(diǎn)為中心的同樣大小和形狀的超橢球體中。 ? 判別函數(shù) ： 若 c類先驗(yàn)概率相等，則 ? Bayes決策 ： 計(jì)算 x到每類均值點(diǎn) mi的馬氏距離平方 r2, 將 x分到距離最近的類中去，或歸于 r2最小的類。 )(ln)()(21)( 1 iiTii Pxxxg wmm ?????? ?)()()( 12 iTii xxrxg mm ????? ?? 展開后 , 忽略與 i無關(guān)項(xiàng) xTS1x，則判別函數(shù) 線性判別函數(shù)，因此決策面仍是一個超平面。 ? 相鄰決策面方程 ? W不在 (mimj)方向上， 超平面通過 x0點(diǎn)但不與均值向量連線正交。 )(0)(0)()(10jiTjiWxxWxgxgmm ????????其中)(ln21,)(1010iiTiiiiiTiiPwWwxWxgwmmm ??????????其中)()()( )](/)(ln[)(21 10 jijiTjijijippx mmmmmmwwmm ??????? ?? 若先驗(yàn)概率相等，則交點(diǎn)在均值向量聯(lián)線的中點(diǎn)； ? 若先驗(yàn)概率不相等則向小先驗(yàn)概率方向移動 (左圖 )。 ? 若先驗(yàn)概率相差較大，判別邊界不會落入球狀高斯分布的中心點(diǎn)之間 (右圖 )。 P(ω1)＝ P(ω2)＝ P(ω1)＝ P(ω2)＝ 例 5 兩類二維正態(tài)分布的分類問題 已知： 協(xié)方差 ∑ 相同，均值向量不同 。 要求：根據(jù) Bayes決策，對樣本 x=[, ]T分類。 分別計(jì)算對兩個均值向量的馬氏距離，得 ? 應(yīng)屬于距離近的類， x＝ [,]T屬于第一類。 ? ? ? ? TT 21 ?????????? mm][)()(),(][)()(),(2122211112??????????????????????????????????????????????mmmmmmxxxrxxxrTT⑶ Si≠Sj 這是多維正態(tài)分布的一般情況。 ? 判別函數(shù) 這是 x的一個非線性二次形式。 ? 若決策域 Rj和 Rj毗鄰 則決策面方程 。 0)()( ?? xgxg ji)(ln||ln2121)(21)(ln||ln21)()(21)(101101iiiiTiiiiiiiiTiiTiiiiTiiPwdwddWwxwxWxPxxxgwmmmwmm???????????????????????????維向量矩陣其中? 其決策面是二次曲線 (橢圓、雙曲線、拋物線、一對直線 )， Bayes分類器是二次曲線分類器。 0)()(0)()(00 ????????jiTjijiTjiwwxwwxWWxxgxg∑i≠∑j 二維 一維 三維 若 兩類 二維正態(tài)分布的決策面問題，由 協(xié)方差 S和均值向量 m 可根據(jù)判別函數(shù)和決策面方程計(jì)算決策面。 0)()(0)()(00 ????????jiTjijiTjiwwxwwxWWxxgxg⑵決策面方程 )(ln||ln2121)(21)(ln||ln21)()(21)(101101iiiiTiiiiiiiiTiiTiiiiTiiPwwddWwxwxWxPxxxgwmmmwmm???????????????????????????其中⑴判別函數(shù) ? 根據(jù)決策面方程得到的二次曲線分別是 橢圓和雙曲線。 ? ? ? ?右圖，左圖，不同時的決策面。和：例????????????????????????????????????.2.10,10,0),()(621212121TTPP mmww計(jì)算得到的決策面 作業(yè) ： ( )( )12121220 ln21 wl wls PPx ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1