[理學(xué)]第七章_特征選擇-資料下載頁
2025-10-10 00:57本頁面
【正文】 對(duì)于 SFS在特征統(tǒng)計(jì)相關(guān)性上要稍好些，但是計(jì)算量相對(duì) SFS增大許多，且在 SFS中出現(xiàn)的問題依舊難以避免。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 選取策略 （續(xù)） ? 采用啟發(fā)式的特征選擇算法（ 8種） 4. 序列后向選擇方法 （ Sequential Backward Selection） ： 它是自上而下的搜索方法，該方法在運(yùn)行之初假定整個(gè)特征集合就是所需要的優(yōu)化特征集，而后在算法的每步運(yùn)行過程中刪除一個(gè)對(duì)準(zhǔn)則函數(shù)毫無貢獻(xiàn)的特征，直到剩余特征個(gè)數(shù)符合集合基數(shù)要求。 缺點(diǎn)： 相對(duì)于 SFS計(jì)算量大。 優(yōu)點(diǎn)： 充分考慮特征之間的統(tǒng)計(jì)相關(guān)特性，因而在采用同樣合理的準(zhǔn)則函數(shù)的時(shí)候，它的實(shí)際計(jì)算性能和算法的魯棒性要大大優(yōu)于 SFS算法。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 選取策略 （續(xù)） ? 采用啟發(fā)式的特征選擇算法（ 8種） 5. 廣義序列后向選擇方法 （ Generalized Sequential Backward Selection） ： 該方法是 SBS方法的加速方法，它根據(jù)準(zhǔn)則函數(shù)在算法的每次循環(huán)當(dāng)中，一次性刪除特征一定個(gè)數(shù)的無用特征。它是一種可應(yīng)用于實(shí)際過程的快速特征選擇方法 優(yōu)點(diǎn)： 速度較快，性能相對(duì)較好。 缺點(diǎn)： 特征消除操作進(jìn)行太快，容易丟失重要的變量，導(dǎo)致找不到最優(yōu)的特征組。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 選取策略 （續(xù)） ? 采用啟發(fā)式的特征選擇算法（ 8種） 6. 增 l去 r選擇方法： 該方法允許在特征選擇過程中進(jìn)行回溯，如果 lr，則該算法是自下而上的方法，用 SFS方法將 l個(gè)特征加入到當(dāng)前特征集中，然后再用 SBS方法刪除 r個(gè)最差的特征，這種方法消除嵌套問題，因?yàn)槟骋徊将@得的特征集不一定是下一步特征集的子集，如果 lr，則算法為自上而下的方法，從一個(gè)完整特征集開始，依次刪除 r個(gè)特征，再增加 l個(gè)特征直到獲得滿足條件個(gè)數(shù)的特征。 該方法實(shí)際上是 SBS和 SFS方法的一種折衷，他的運(yùn)算速度比 SBS快，運(yùn)算效果比 SFS好。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 選取策略 （續(xù)） ? 采用啟發(fā)式的特征選擇算法（ 8種） 7. 廣義增 l去 r選擇方法： 該方法在增 l去 r選擇方法的基礎(chǔ)上，用 GSFS和GSBS分別代替 SFS和 SBS。 前面討論過的所有算法都可以看作它的特例。因而它包含極其廣泛的理論意義。 缺點(diǎn)： 操作極為復(fù)雜，難以制定實(shí)際規(guī)則加以利用。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 選取策略 （續(xù)） ? 采用啟發(fā)式的特征選擇算法（ 8種） 8. 浮動(dòng)搜索方法： 該方法改變上述一系列算法固定 l、 r的基本做法，采用浮動(dòng)的步長(zhǎng)，也就是選擇算法的不同步驟，可以采用不同的 l、 r。實(shí)際的每輪的 l、 r可以根據(jù)特征的統(tǒng)計(jì)特點(diǎn)來制定，這是一種非常實(shí)用的改良機(jī)制 總結(jié)： 上述八種方法中，一般認(rèn)為采用浮動(dòng)廣義后向選擇方法（ Floating Generalized Sequential Backward Selection, FGSBS）是較為有利于實(shí)際應(yīng)用的一種特征選擇搜索策略。它既考慮特征間的統(tǒng)計(jì)相關(guān)性特點(diǎn)，又用浮動(dòng)方法保證算法運(yùn)行的快速穩(wěn)定性。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 Homework 證明公式： ? ? ? ? ? ?1 2 1 21 2 1 2, , ,G x x G x x d x G x x? ? ? ? ? ?? ? ? ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1