機器學習中的特征選擇(ppt30頁)(編輯修改稿)
2025-02-03 21:14 本頁面
【文章內(nèi)容簡介】 內(nèi)部的特點來衡量其好壞 ，如歐氏距離 、 相關性 、 信息熵等 ? 特征子集在學習算法運行之前就被選定 ? 學習算法用于測試最終特征子集的性能 ? 特點：簡單 、 效率高 ， 但精度差 2023/2/4 13 評價函數(shù) — 封裝模型 ? 學習算法封裝在特征選擇的過程中 ， 用特征子集在學習算法上得到的挖掘 性能 作為特征子集優(yōu)劣的評估準則 。 ? 與過濾模型相比 ， 精度高 、 但效率低 。 ? 根本區(qū)別在于對學習算法的使用方式 2023/2/4 14 評價函數(shù) — 混合模型 ? 混合模型把這兩種模型進行組合 ，先用過濾模式進行初選 ， 再用封裝模型來獲得最佳的特征子集 。 2023/2/4 15 常用評價函數(shù) ?特征的評價函數(shù)分為五類： 相關性；距離；信息增益；一致性；分類錯誤率 前四種屬于過濾模型，分類錯誤率屬于封裝模型 ?從概率論的角度 相關系數(shù)： ? 值域范圍： [1, +1] ? 絕對值越大，相關性越大 ? ? ? ?? ? ? ?YXYXiii?? ??? ,c o v2023/2/4 16 常用評價函數(shù) ? 從數(shù)理統(tǒng)計的角度 (假設檢驗 ) ?T檢驗 ? 檢驗 ?與相關系數(shù)在理論上非常接近，但更偏重于有限樣本下的估計 T檢驗統(tǒng)計量： 其中， n為樣本容量， 、 為樣本均值和方差， 為總體方差。 2x 2023/2/4 17 常用評價函數(shù) ? 從信息論角度 ? 條件熵 ? 與“相關性”負相關 ? 信息增益 ? 相對信息增益 ? 互信息量 (Mutual Information) ? ? ? ? ? ?ii XYHYHXYIG || ??? ? ? ? ? ? ? ?YHXYHYHXYR I G ii /|| ??? ? ? ? ? ?? ? ? ??? dYdXYPXP YXPYXPiMI iiii,log,2023/2/4 18 常用評價函數(shù) ? IR領域的度量
環(huán)評公示相關推薦
鄂ICP備17016276號-1