貝葉斯網(wǎng)貝葉斯分類器(編輯修改稿)
2025-09-12 00:11 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 別數(shù) ， Ni 表示 第 i 個(gè)屬 性 可 能的 取 值數(shù) 拉普拉斯修正 * 樸素貝葉斯分類器 樸素貝葉斯分類器 分類器使用 樸素貝葉斯分類器的使用 ? 若 對(duì)預(yù) 測(cè) 速 度 要求高 ，則對(duì)給定的數(shù)據(jù)集， ? 預(yù)計(jì)算所 有 概 率估 值 ，使 用 時(shí) “ 查 表 ” ? 若數(shù)據(jù)更替 頻繁 ? 不 進(jìn)行 任 何 訓(xùn) 練 ， 收 到 預(yù) 測(cè)請(qǐng) 求 時(shí) 再 根 據(jù)當(dāng)前數(shù)據(jù)集進(jìn)行 估值 (懶惰 學(xué)習(xí) , lazy learning) ? 若 數(shù)據(jù) 丌 斷 增加 ? 基于現(xiàn)有估 值 ， 對(duì) 新樣 本 的屬性值 涉 及 的 概率 估 值 進(jìn) 行 修正 (增量 學(xué)習(xí) , incremental learning) 圖形繪制 圖片處理 圖表設(shè)計(jì) 典型案例 * 貝葉斯決策論 1 3 4 6 Chapter 7 * 2 5 極大似然估計(jì) 樸素貝葉斯分類器 半樸素貝葉斯分類器 貝葉斯網(wǎng) EM算法 機(jī)器學(xué)習(xí) SPODE amp。 TAN * 半樸素貝葉斯分類器 半樸素貝葉斯分類器 AODE 半樸素貝葉斯分類器（ semina239。ve Bayes classifiers） ? 樸 素貝 葉 斯 分 類器 的 “ 屬 性獨(dú) 立 性 假 設(shè) ” 在 現(xiàn) 實(shí) 中往 往 難 以 成立 ? 半樸素貝葉斯分類器 (semina239。ve Bayes classifier) 基 本思 路 ： 適 當(dāng)考 慮 一 部 分屬 性 間 的 相互 依 賴 信 息 ? 最常用策略 ： 獨(dú)依賴估 計(jì) (OneDependent Estimator, ODE) 假設(shè)每 個(gè) 屬 性 在類別 之 外 最 多僅依 賴 一 個(gè) 其他屬性 ?????? 為 xi 的 “ 父屬性 ” ?? ?? ?? ∝ ??(??) ?? ???? ??,??????)????=1 如果確定了父屬性，那么 ?? ????|??,?????? =????,??????,???? +1????,?????? +???? ?? ????|?? =????,???? +1???? +???? 關(guān)鍵是 如 何 確 定每個(gè)節(jié)點(diǎn)的父屬性 ? SPODE amp。 TAN * 半樸素貝葉斯分類器 半樸素貝葉斯分類器 AODE 兩種常用方法 ? SPODE (SuperParent ODE)： 假設(shè)所有屬性都依賴于同一屬性，稱為 “ 超父 ” (Super Parent)， 然后通過交叉驗(yàn)證等模型選擇方法來確定超父屬性 ? TAN (Tree Augmented na239。ve Bayes)： 以屬性間的條件 ” 互信息 ”(mutual information) 為邊的權(quán)重，構(gòu)建完 全圖，再利用最大帶權(quán)生成樹算法，僅保留強(qiáng)相關(guān)屬性間的依賴性 SPODE amp。 TAN * 半樸素貝葉斯分類器 半樸素貝葉斯分類器 AODE AODE (Averaged OneDependent Estimator) ? 嘗試 將每 個(gè) 屬性 作 為超 父 構(gòu)建 SPODE ? 將擁 有足 夠 訓(xùn)練 數(shù) 據(jù)支 撐 的 SPODE 集成 起 來 作為 最 終結(jié)果 其中 是在第 i 個(gè)屬性上取值為 xi 的樣本的集合， m’ 為閾值常數(shù) (默認(rèn)為 30) 表示類別為 c 且在第 i 和第 j 個(gè)屬性上取值分別為 xi 和 xj 的樣本集合 ?? ?? ?? ∝ ??(??,????) ??(????|??,????)????=1????=1|??????|≥??′ ?????? ?? ??,???? = ????,???? +1?? +?? ???? ?? ????|??,???? =????,????,???? +1????,???? +???? ????,????,???? Geoff Webb 澳 大利亞 Monash大學(xué) SPODE amp。 TAN * 半樸素貝葉斯分類器 半樸素貝葉斯分類器 AODE 高階依賴 ? 訓(xùn)練 樣本 非 常充分 ? 性能可能提升 ? 有限訓(xùn)練樣本 ? 高階聯(lián)合概率估計(jì)困難 考慮屬性間的高階依賴 ，需要其他辦法 能否通過考慮屬性間的高階依賴來進(jìn)一步提升泛化性 能 ？ 例如最簡(jiǎn)單 的做法 ： ODE ? kDE 將父 屬性 pai 替換 為包含 k 個(gè)屬 性的集合 障礙 ： 隨著 k 的增加， 準(zhǔn)確 估計(jì) 所需的樣 本 數(shù) 量將以指數(shù)增加 ?? ???? ??,??????) ?????? 圖形繪制 圖片處理 圖表設(shè)計(jì) 典型案例 * 貝葉斯決策論 1 3 4 6 Cha
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1