[理學(xué)]第七章_特征選擇(已修改)
2025-10-26 00:57 本頁面
【正文】 特征選擇 河北大學(xué)工商學(xué)院 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 主要內(nèi)容 ?引言 ?基于互信息的特征選擇方法 ?選取策略 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 ? Thousands to millions of low level features: select the most relevant one to build better, faster, and easier to understand learning machines. X n m n’ 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 （續(xù)） ? Male/female classification ?1450 images (1000 train, 450 test), 5100 features (images 60x85 pixels) R. G. Bachrach, A. Navot, and N. Tishby, “Margin Based Feature Selection Theory and Algorithms ”, ICML04 Relief: Simba: 100 500 1000 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 （續(xù)） ? Univariate method: considers one variable (feature) at a time. ? Multivariate method: considers subsets of variables (features) together. ? Filter method: ranks features or feature subsets independently of the predictor (classifier). ? Wrapper method: uses a classifier to assess features or feature subsets. 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 （續(xù)） All features Filter Feature subset Predictor All features Wrapper Multiple Feature subsets Predictor 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 基于互信息的特征選擇方法 ? 離散情況： Shannon熵： 條件熵： 互信息： 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 基于互信息的特征選擇方法 （續(xù)） ?互信息的估計(jì)方法： 1. 直方圖法 R. Nattiti, “Using mutual information for selecting features in supervised neural learning”, IEEE Trans. Neural Networks, vol. 5, no. 4, pp. 537550, Jul. 1994. 2. Parzen窗法 N. Kwak, . Choi, “Input feature selection by mutual information based on Parzen window”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24,
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1