8決策樹(shù)與adaboost(編輯修改稿)
2025-02-01 07:36 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 在一個(gè)多項(xiàng)式的學(xué)習(xí)算法能夠?qū)W習(xí)它，并且正確率很高，那么，這個(gè)概念是強(qiáng)可學(xué)習(xí)的； ? 一個(gè)概念如果存在一個(gè)多項(xiàng)式的學(xué)習(xí)算法能夠?qū)W習(xí)它，并且學(xué)習(xí)的正確率僅比隨機(jī)猜測(cè)略好，那么，這個(gè)概念是弱可學(xué)習(xí)的； ? 強(qiáng)可學(xué)習(xí)與弱可學(xué)習(xí)是等價(jià)的。 ? 在學(xué)習(xí)中，如果已經(jīng)發(fā)現(xiàn)了“弱學(xué)習(xí)算法”，能否將他提升為“強(qiáng)學(xué)習(xí)算法”。 18 Adaboost ? 設(shè)訓(xùn)練數(shù)據(jù)集 T={(x1,y1), (x2,y2)…(xN,yN)} ? 初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布 ? ? NiNwwD iNi ,2,1,1, 11112111 ??? ???19 Adaboost：對(duì)于 m=1,2,…M ? 使用具有權(quán)值分布 Dm的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)，得到基本分類(lèi)器 ? 計(jì)算 Gm(x)在訓(xùn)練數(shù)據(jù)集上的分類(lèi)誤差率 ? 計(jì)算 Gm(x)的系數(shù) ? ? ? ?1,1 ????：xG m ? ?? ? ? ?? ??? ????Niiimmiiimm yxGIwyxGPe1mmm ee?? 1log21?20 Adaboost：對(duì)于 m=1,2,…M ? 更新訓(xùn)練數(shù)據(jù)集的權(quán)值分布 ? 這里， Zm是規(guī)范化因子 ? 它使 Dm+1成為一個(gè)概率分布 ? ?? ?? ? NixGyZwwwDimimmmiimNmimmmm,2,1,exp,1,1,12,11,11?????????????? ? ?? ?????Niimimmim xGywZ1exp ?21 Adaboost ? 構(gòu)建基本分類(lèi)器的線性組合 ? 得到最終分類(lèi)器 ? ? ? ????Mmmm xGxf1?? ? ? ?? ? ? ? ???????? ??Mmmm xGsignxfsignxG1?22 舉例 ? 給定下列訓(xùn)練樣本，試用 AdaBoost算法學(xué)習(xí)一個(gè)強(qiáng)分類(lèi)器。 23 解 ? 初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布 ? W1i = ? ? NiNwwD iNi ,2,1,1, 11112111 ??? ???24 m=1 ? 對(duì)于 m=1 ? 在權(quán)值分布為 D1的訓(xùn)練數(shù)據(jù)上，閾值 v取 時(shí)誤差率最低，故基本分類(lèi)器為： ? ????????,1,11 xxxG25 m=1 ? G1(x)在訓(xùn)練數(shù)據(jù)集上的誤差率e1=P(G1(xi)≠yi) = ?
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1