boosting原理及在分類上的應(yīng)用-資料下載頁
2025-08-23 15:00本頁面
【導(dǎo)讀】以上種種因素，如何綜合考慮？預(yù)測明天是晴是雨？Boosting：basedon“Nobodyisperfect”，bine. 更加符合自然界的現(xiàn)實。機器學(xué)習(xí)系統(tǒng)結(jié)構(gòu)表示。弱學(xué)習(xí)機強學(xué)習(xí)機Boosting. Step4:對此次的弱學(xué)習(xí)機給出權(quán)重。Step5:轉(zhuǎn)到Step2,直到循環(huán)到達一定次數(shù)或者某度量標(biāo)。沒有先驗知識的情況下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集。每次循環(huán)一后提高錯誤樣本的分布概率，分錯樣本在訓(xùn)練集中所占。在強學(xué)習(xí)機的組合中增加一個加權(quán)的弱學(xué)習(xí)機，使準(zhǔn)確率提高，損。{-1,+1}為第t次循環(huán)時的Weaklearner，對每個樣本。反映了stronglearner對樣本的假設(shè)是否正確。采用什么樣的函數(shù)形式？
【正文】 布 Dt+1滿足條件 ( Dt+1*Ut = 0 )，那么所求得的未知分布估計值具有如下形式： 物理意義：在只掌握部分信息的情況下要對分布作出判斷時，應(yīng)該選取符合約束條件但熵值取得最大的概率分布。從先驗分布到未知分布的計算應(yīng)該取滿足已知條件，不確定度（熵）變化最小的解。 應(yīng)用 —人臉識別 應(yīng)用 —人臉識別 16*16人臉圖像預(yù)處理歸一化直方圖均衡G a m m a 變換特征選擇P C A ( 特征臉)小波變換Boosting訓(xùn)練器訓(xùn)練集特征向量輸入（1 ） 直方圖計算（2 ） 選擇準(zhǔn)確率最高的一維作為弱學(xué)習(xí)機（3 ） 根據(jù)公式計算相應(yīng)的權(quán)重，調(diào)整樣本分布（4 ） 轉(zhuǎn)向（3 ）直到到達規(guī)定的循環(huán)次數(shù) 輸出加權(quán)組合后的分類器Boosting訓(xùn) 練器內(nèi)部結(jié)構(gòu)應(yīng)用 —文本分類 應(yīng)用 —文本分類 預(yù)處理格式標(biāo)準(zhǔn)化中文切詞過濾噪聲詞特征選擇詞頻法最大增益法表示成以詞為特征的特征向量訓(xùn)練集特征向量輸入（1 ） 直方圖計算（2 ） 選擇準(zhǔn)確率最高的一維作為弱學(xué)習(xí)機（3 ） 根據(jù)公式計算相應(yīng)的權(quán)重，調(diào)整樣本分布（4 ） 轉(zhuǎn)向（3 ）直到到達規(guī)定的循環(huán)次數(shù) 輸出加權(quán)組合后的分類器Boosting訓(xùn) 練器內(nèi)部結(jié)構(gòu)總結(jié) ? Boosting的思想源泉： ? 三個臭皮匠，勝過諸葛亮 ? 將一系列粗略的規(guī)則加權(quán)組合起來得到高度精確的規(guī)則。 ? Boosting的數(shù)學(xué)實質(zhì)： ? 對目標(biāo)函數(shù)（損失函數(shù)）的最優(yōu)化問題。 ? Boosting的理論聯(lián)系： ? 最優(yōu)化 ? 熵映射 ? Boosting的應(yīng)用 ? 人臉識別 ? 文本分類 參考資料 ? Inter站點 ? ? ? 推薦論文 ? A Brief Introduction to Boosting ? Experiments with a New Boosting Algorithm ? Additive Logistic Regression: a Statistical View of Boosting ? The Boosting Approach to Machine Learning: an overview ? Game Theory, Online Prediction and Boosting ? Boosting as Entropy Projection ? Logistic Regression, AdaBoost and Bregman Distances 以上論文均可在 End ? Thank you! Have a good supper!
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1