baggingboosting-資料下載頁(yè)
2025-10-09 04:45本頁(yè)面
【導(dǎo)讀】評(píng)估分類(lèi)法的準(zhǔn)確率。劃分為兩個(gè)獨(dú)立的數(shù)據(jù)集：。將數(shù)據(jù)集分為k個(gè)子集；用k-1個(gè)子集作訓(xùn)練集，1個(gè)子集作測(cè)試集，然。后k次交叉驗(yàn)證；將該學(xué)習(xí)算法使用多次,得出預(yù)測(cè)函數(shù)。序列,進(jìn)行投票;最后結(jié)果準(zhǔn)確率將得到提高.也可通過(guò)得票的平均值用于連續(xù)值的預(yù)測(cè)。Bagging要求“不穩(wěn)定”的分類(lèi)方法；結(jié)果的顯著的變動(dòng)。是否可以將弱學(xué)習(xí)算法提升為強(qiáng)學(xué)習(xí)算法。加關(guān)注這些樣本。在一定的權(quán)重條件下訓(xùn)練數(shù)據(jù)，得出。每個(gè)分類(lèi)法Ct的投票價(jià)值為log[1/βt]. 即訓(xùn)練錯(cuò)誤率隨γt的增大呈指數(shù)級(jí)的減小.如果T值太大,Boosting會(huì)導(dǎo)致過(guò)適應(yīng)。解釋以上試驗(yàn)現(xiàn)象;較大的負(fù)邊界表示可信度高的錯(cuò)誤的預(yù)測(cè)。性增加,降低總誤差.Boosting易受到噪音的影響;AdaBoost可以用來(lái)鑒別異常;具有最高權(quán)重的樣本即為異常.Bagging:隨機(jī)選擇,各輪訓(xùn)練集相互獨(dú)立。Bagging:沒(méi)有權(quán)重;可以
【正文】 Bagging:沒(méi)有權(quán)重 ?？梢圆⑿猩? ? Boosting:有權(quán)重 。只能順序生成 Bagging,boosting,and 介紹 ? 在大多數(shù)應(yīng)用中，準(zhǔn)確率比運(yùn)算速度更為重要，因?yàn)橛?jì)算機(jī)的性?xún)r(jià)比提高很快。 ? bagging和 boosting都可以有效地提高分類(lèi)的準(zhǔn)確性。 ? 在大多數(shù)數(shù)據(jù)集中， boosting的準(zhǔn)確性比bagging高。 ? 在有些數(shù)據(jù)集中， boosting會(huì)引起退化。 Overfit ? Bagging和 boosting方法的要求： 最基本的是分類(lèi)方法的不穩(wěn)定性。即：訓(xùn)練集的小變動(dòng)能夠使得分類(lèi)模型顯著變動(dòng)。 Bagging試驗(yàn)： ? 效果實(shí)驗(yàn)： CART， T=50， 7個(gè)中等大小的數(shù)據(jù)集，使用 bagging后的平均錯(cuò)誤率為使用單個(gè)分類(lèi)法的57%94%. dataset Boosting試驗(yàn) : ? 平均 T= ,訓(xùn)練準(zhǔn)確率可以達(dá)到T=10時(shí)的訓(xùn)練準(zhǔn)確率 . ? 但 T= ,總的錯(cuò)誤率卻比 T=10時(shí)的錯(cuò)誤率高 改變 boosting投票權(quán)重 (1) ? : log [ 1 / βt ] ? 替代 : ?????????SitiSititNNxH k21)(??age? student? credit rating? no yes fair excellent =30 30 … … k … 改變 boosting投票權(quán)重 (2) x1,x2,…,x n S baggingamp。boosting 應(yīng)用前景 ? Inter上的文本過(guò)濾 ? 圖像數(shù)據(jù)庫(kù)中的圖像識(shí)別 ? 手寫(xiě)體字符識(shí)別 ? 語(yǔ)音識(shí)別 研究方向 ? Bagging和 boosting非常相似 ,是否存在統(tǒng)一的理論框架 . ? Boosting發(fā)生 overfit的條件
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1