【正文】
strial amp。 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 基于互信息的特征選擇方法 (續(xù)) 直方圖法 (續(xù)) 熵: 條件熵: 聯(lián)合熵: 互信息: 缺點(diǎn): bin的個(gè)數(shù)多少最為合適? 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 基于互信息的特征選擇方法 (續(xù)) 直方圖法 ? 離散型隨機(jī)變量的估計(jì): ? 連續(xù)型隨機(jī)變量的估計(jì): Bin (箱柜 ): 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 基于互信息的特征選擇方法 ? 離散情況: Shannon熵: 條件熵: 互信息: 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 (續(xù)) ? Univariate method: considers one variable (feature) at a time. ? Multivariate method: considers subsets of variables (features) together. ? Filter method: ranks features or feature subsets independently of the predictor (classifier). ? Wrapper method: uses a classifier to assess features or feature subsets. 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 ? Thousands to millions of low level features: select the most relevant one to build better, faster, and easier to understand learning machines. X n m n’ 河北大學(xué)工商學(xué)院 Industrial amp。特征選擇 河北大學(xué)工商學(xué)院 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 主要內(nèi)容 ?引言 ?基于互信息的特征選擇方法 ?選取策略 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 (續(xù)) ? Male/female classification ?1450 images (1000 train, 450 test), 5100 features (images 60x85 pixels) R. G. Bachrach, A. Navot, and N. Tishby, “Margin Based Feature Selection Theory and Algorithms ”, ICML04 Relief: Simba: 100 500 1000 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10 引言 (續(xù)) All features Filter Feature subset Predictor All features Wrapper Multiple Feature subsets Predictor 河北大學(xué)工商學(xué)院 Industrial amp。 Comerricial College , Hebei University 2021/11/10