8決策樹與adaboost(編輯修改稿)
2025-02-01 07:36 本頁面
【文章內容簡介】 在一個多項式的學習算法能夠學習它，并且正確率很高，那么，這個概念是強可學習的； ? 一個概念如果存在一個多項式的學習算法能夠學習它，并且學習的正確率僅比隨機猜測略好，那么，這個概念是弱可學習的； ? 強可學習與弱可學習是等價的。 ? 在學習中，如果已經發(fā)現(xiàn)了“弱學習算法”，能否將他提升為“強學習算法”。 18 Adaboost ? 設訓練數(shù)據(jù)集 T={(x1,y1), (x2,y2)…(xN,yN)} ? 初始化訓練數(shù)據(jù)的權值分布 ? ? NiNwwD iNi ,2,1,1, 11112111 ??? ???19 Adaboost：對于 m=1,2,…M ? 使用具有權值分布 Dm的訓練數(shù)據(jù)集學習，得到基本分類器 ? 計算 Gm(x)在訓練數(shù)據(jù)集上的分類誤差率 ? 計算 Gm(x)的系數(shù) ? ? ? ?1,1 ????：xG m ? ?? ? ? ?? ??? ????Niiimmiiimm yxGIwyxGPe1mmm ee?? 1log21?20 Adaboost：對于 m=1,2,…M ? 更新訓練數(shù)據(jù)集的權值分布 ? 這里， Zm是規(guī)范化因子 ? 它使 Dm+1成為一個概率分布 ? ?? ?? ? NixGyZwwwDimimmmiimNmimmmm,2,1,exp,1,1,12,11,11?????????????? ? ?? ?????Niimimmim xGywZ1exp ?21 Adaboost ? 構建基本分類器的線性組合 ? 得到最終分類器 ? ? ? ????Mmmm xGxf1?? ? ? ?? ? ? ? ???????? ??Mmmm xGsignxfsignxG1?22 舉例 ? 給定下列訓練樣本，試用 AdaBoost算法學習一個強分類器。 23 解 ? 初始化訓練數(shù)據(jù)的權值分布 ? W1i = ? ? NiNwwD iNi ,2,1,1, 11112111 ??? ???24 m=1 ? 對于 m=1 ? 在權值分布為 D1的訓練數(shù)據(jù)上，閾值 v取 時誤差率最低，故基本分類器為： ? ????????,1,11 xxxG25 m=1 ? G1(x)在訓練數(shù)據(jù)集上的誤差率e1=P(G1(xi)≠yi) = ?
法律信息相關推薦
鄂ICP備17016276號-1