周志華-機器學習-西瓜書-全書16章-ppt-chap07貝葉斯分類器-在線瀏覽
2024-09-25 21:10本頁面
【正文】 的訓練樣本估計獲得。 ?樸素貝葉斯分類器 (Na239。 ? ?? ? ? ? ? ? ? ?? ?1 2 1 2 1 31 2 1 3 2 211 2 111 2 1| Y = | Y = | Y = | Y =|, , , , , , =, Ymmmi i i im m ix x xPX x x x x x xx x x xc P X c P X X c P X X X cP X X X X c??? ? ? ? ? ? ? ?? ? ? ?? ?? ? ? ? ? ? ? ? ? ?121 2 1 2 33| Y = | Y = | Y = | Y = | Y =, , , i i i m imm iP X c P X c P X c P X cx x x x x x xP X c? ? ? ? ? ?樸素貝葉斯分類器 ?估計 后驗概率 主要困難：類條件概率 是所有屬性上的 聯(lián)合概率 難以從有限的訓練樣本估計獲得。ve Bayes Classifier)采用了“屬性 條件獨立性 假設” (attribute conditional independence assumption)：每個屬性 獨立地 對分類結果發(fā)生影響。 樸素貝葉斯分類器 樸素貝葉斯分類器 由于 對所有類別來說 相同，因此 基于式 ()的貝葉斯 判定準則有 ? 這就是 樸素貝葉斯分類器的 表達式 樸素 貝葉斯分類器 ? 樸素貝葉斯分類器的訓練器的訓練過程就是基于訓練集 估計類先驗概率 并為每個屬性估計條件概率 。 拉普拉斯修正 ?若某個屬性值在訓練集中沒有與某個類同時出現(xiàn)過，則直接計算會出現(xiàn)問題， . 比如“敲聲 =清脆”測試例，訓練集中沒有該樣例，因此連乘式計算的概率值為 0，無論其他屬性上明顯像好瓜，分類結果都是“好瓜 =否”，這顯然不 合理 。 章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 半樸素貝葉斯分類器 ?為了降低貝葉斯公式中估計后驗概率的困難，樸素貝葉斯分類器采用的屬性條件獨立性假設；對屬性條件 獨立 假設進行一定 程度的 放松 ，由此產(chǎn)生了一類稱為“半樸素貝葉斯分類器 ” (semina239。ve Bayes classifiers) ?半樸素貝葉斯分類器最常用的一種策略：“獨依賴估計” (OneDependent Estimator,簡稱 ODE)，假設每個屬性在類別之外最多僅依賴一個其他屬性，即 ? 其中 為屬性 所依賴的 屬性 ，稱為 的 父屬性 ?對每個屬性 ，若其父屬性 已知，則可估計概值 ，于是問題的關鍵轉化為如何確定每個屬性的 父 屬性 SPODE ?最 直接 的做法是假設所有屬性都依賴于 同一 屬性，稱為 “超父 ” (superpare)，然后通過交叉驗證等模型選擇方法來確定超父屬性，由此形成了 SPODE (SuperParent ODE)方法。 TAN ?TAN (Tree augmented Na239。 ? 計算任意兩個 屬性 之間的條件 互信息 (CMI： conditional mutual information) ? 以屬性為結點構建 完全圖 ，任意兩個結點之間邊的權重設為 ? 構建此完全圖的最大帶權生成樹 以每個屬性為節(jié)點 (nodenode)， CMI為邊(edgeedge)形成一張圖。即找到一個節(jié)點之間的連接規(guī)則，這個規(guī)則滿足 三個 條件： ； ； (CMI)總和最大 最大帶權生成樹 再把節(jié)點連接關系設置為 有向 ，即從父節(jié)點指向子節(jié)點。ve Bayes) [Friedman et al., 1997] 則在最大帶權生成樹 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基礎上，通過以下步驟將屬性間依賴關系簡約為圖 (c)。 AODE ?AODE (Averaged OneDependent Estimator) [Webb et al. 2022] 是一種基于集成學習機制、且更為強大的分類器。 貝葉斯網(wǎng) ?貝葉斯網(wǎng) (Bayesian work)亦稱“信念網(wǎng)” (brief work)，它借助 有向無環(huán)圖 (Directed Acyclic Graph, DAG)來刻畫屬性間的依賴關系，并使用條件概率表 (Conditional Probability Table, CPT)來表述 屬性的聯(lián)合概率分布 。給定父結點集，貝葉斯網(wǎng) 假設 每個 屬性與他的 非后裔 屬性獨立 。 貝葉斯網(wǎng)有效地表達了 屬性間 的條件獨立性。將屬性 的聯(lián)合概率分布定義為圖 的 聯(lián)合概率分布 定義為：顯然， 和 在 給定 的取值時 獨立， 和 在給定 的取值時獨立，記為 和 。 記 為 同父結構 2x? ? ? ? ? ? ? ?? ?? ?? ?? ? ? ? ? ?? ?1 2 31 2 3 1 2 1 3 12 1 3 11 2 3213111P , , =P P PPPP , ,PPPPx x x x x x x xx x x xx x xx x xxxx? ? ?從 網(wǎng) 絡 結 構 得 知 隨 機 變 量 X ,X ,X 聯(lián) 合 分 布? ? ?
環(huán)評公示相關推薦
鄂ICP備17016276號-1