【正文】 作為 X 的類別輸出。鑒于此，往往在實際運算中，會借助 log 函數(shù)，比較 log(P(X|C0) *P(C0)) 和 log(P(X|C1) *P(C1))的大小來判斷 X 所屬類別。, 39。, 39。039。, 39。campus39。sky39。others39。campus39。決策樹利用了樹型結(jié)構(gòu)進(jìn)行決策，是經(jīng)典的 ifthen 結(jié)構(gòu)。用所有類別所有可能值包含的信息期望值表示信息熵，計算方法如下：ID3 決策樹利用了信息增益來選擇最優(yōu)特征，用這種方法選擇的特征是使得信息熵增益最大的特征。. 決策樹原理. 選擇最優(yōu)特征決策樹通過不斷選擇最優(yōu)特征劃分?jǐn)?shù)據(jù)集，對劃分后的子數(shù)據(jù)集不斷迭代得選擇最優(yōu)特征劃分，直到所有的數(shù)據(jù)集屬于同一個類別，或者沒有特征可以選擇為止。除了可以使用信息增益和信息增益比來選擇最優(yōu)劃分特征之外，基尼指數(shù)也可以用來實現(xiàn)這個目的。 第二種為如果是紅的:1, 則得到如下數(shù)據(jù)子集 {圓的:1,分類：1。類別039。為了便于理解，仍然使用表格 8所示數(shù)據(jù)集進(jìn)行說明。而且二分策略可以直接處理連續(xù)型屬性值。如圖 13所示就是一個分類樹。基尼指數(shù)：同信息增益、信息增益比作用類似，不過基尼指數(shù)相對更快假設(shè)有 N 個類，樣本屬于第 n 類的概率為Pn，則基尼指數(shù)為：若數(shù)據(jù)集按特征A取值是否等于切分點值劃分為D1和D2兩部分，則在特征A下，集合D的基尼指數(shù)為：. 回歸樹二分回歸樹也利用二分劃分?jǐn)?shù)據(jù)。 圓的:0, 分類:0}繼續(xù)劃分。圓的39。 面積 = 36, 價格 = }兩個子集。為什么要這樣做呢？因為弱分類器訓(xùn)練起來很容易，將弱分類器集成起來，往往可以得到很好的效果。這就可以充分利用不同分類算法的優(yōu)勢進(jìn)行建模。每一輪迭代的樣本權(quán)重都不相同，依賴于弱分類器的權(quán)重值和上一輪迭代的樣本權(quán)重。. 計算最優(yōu)弱分類器的權(quán)重最優(yōu)弱分類器的權(quán)重只與該弱分類器的錯誤率有關(guān)。當(dāng)樣本被正確分類時，y 和 Gm 取值一致，則新樣本權(quán)重變??；當(dāng)樣本被錯誤分類時，y 和 Gm 取值不一致，則新樣本權(quán)重變大。如使用本系列上篇文章介紹的 CART 樹中的分類樹作為弱分類器，可訓(xùn)練出提升分類樹模型。此時錯誤率為1 * = 。 x , 則 y = 1。則強分類器的錯誤率為1 / 6 = 。 x , 則 y = 1。，則最優(yōu)弱分類器為x ,則 y = 1。 x , 則 y = 1。，得弱分類器x ,則 y = 1。此時錯誤率為2 * = 。 x , 則 y = 1。聚類和分類的區(qū)別在于，待聚類的樣本標(biāo)簽是未知的，需要根據(jù)樣本分布情況，將樣本聚成不同的簇，每一簇代表相似的群體。對比 Kmeans，高斯混合的不同之處在于，樣本點屬于某簇的概率不是非零即 1 的，而是屬于不同簇有不同的概率值。這時，需要利用EM算法，即期望最大化算法求解參數(shù)。這就需要先估計每個樣本所屬的類別，然后根據(jù)每個樣本估計的類別，計算男女生兩個類別的高斯分布的參數(shù)，然后不斷迭代。Phi 服從多項式分布，指男生類別和女生類別出現(xiàn)的概率。其中，m 為樣本的個數(shù)。同時，也會有疑惑，究竟期望最大化兩步中，求解四個參數(shù)的公式從何而來呢？這就要提到最大似然估計，以及 EM（期望最大化）算法。這里不展開介紹，有興趣的讀者可以參考維基百科對 Jensen 不等式的介紹（）。由 Jensen 不等式的性質(zhì)，為了讓等式成立，需要滿足：利用貝葉斯公式，可得：M 步驟，即最大化其最緊下界，由于該最緊下界中的隱變量已在 E 步驟中求得，可以直接利用極大似然估計求解：求解過程中，對每個參數(shù)逐個求偏導(dǎo)，然后令偏導(dǎo)等于0求得該參數(shù)。因此，這里就需要對上式做一些變換，如下：這里引入 Q 函數(shù)，而且利用了 Jensen 不等式。下一節(jié)介紹利用 EM 算法如何估計高斯混合模型的參數(shù)。只不過，在混合高斯模型中，需要計算高斯分布的參數(shù)：均值 mu,方差 sigma 和男女生類別概率 phi。注意這里是概率，而不是像 Kmeans 中確定每個樣本點屬于男女生哪個類，取值是0或1，而非概率。如上一節(jié)中所介紹，如果我們知道每條樣本所屬的類別后，可以很容易得計算出男女生兩個類所對應(yīng)的高斯分布的參數(shù)。高斯混合分布首先將該問題轉(zhuǎn)換為包含隱變量（即每條樣本屬于不同類別的概率）和模型參數(shù)（即男女生兩個高斯分布的參數(shù)）的極大似然估計問題。不斷迭代這兩個步驟，當(dāng)聚類中心不再發(fā)生變化或者達(dá)到最大迭代次數(shù)時結(jié)束。分類模型根據(jù)樣本標(biāo)簽和樣本數(shù)據(jù)訓(xùn)練分類模型，如 SVM，決策樹等模型；關(guān)聯(lián)規(guī)則挖掘頻繁項集之間的共現(xiàn)規(guī)則。 x , 則 y = 1。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 x , 則 y = 1。 x , 則 y = 1。此時錯誤率為1 * = 。G1(x)為x ,則 y = 1。此時錯誤率為3 * = 。，得弱分類器x ,則 y = 1。為方便說明，本文所用弱分類器為形如x,則y=1，否則y=1的簡單分類算法。w 是樣本權(quán)重。取錯誤率最低的弱分類器為當(dāng)前迭代的最優(yōu)弱分類器。G(x) = sign( * f(x) + * g(x) + * z(x) ). AdaBoost原理AdaBoost 的核心就是不斷迭代訓(xùn)練弱分類器，并計算弱分類器的權(quán)重。本文將重點介紹用 AdaBoost 進(jìn)行分類的算法原理。本文將要介紹的是分類模型中的另一種模型，AdaBoost（adaptive boosting），即自適應(yīng)提升算法。按最優(yōu)特征劃分?jǐn)?shù)據(jù)集以特征面積 = 21 為切分點，將數(shù)據(jù)切分為{面積 = 20,價格 = 。類別 039。 第二種為如果是紅的:1, 則有如下數(shù)據(jù)子集 {圓的:1,分類：1。圖 14 回歸樹示例. CART 樹原理. 分類樹二分分類樹利用二分劃分?jǐn)?shù)據(jù)。不同之處是劃分方法。這就導(dǎo)致了劃分過于迅速，從而影響分類結(jié)果。類別139。紅的39。表格 8 示例數(shù)據(jù)集圓的紅的分類111100010000100. ID3決策樹選擇最優(yōu)特征表格 8數(shù)據(jù)集的信息熵為:1/5 * log(1/5) 4/5 * log(4/5) = 1. 按特征圓的劃分?jǐn)?shù)據(jù)集，則信息熵為：3/5 * H(D1) + 2/5 * H(D0)= 3/5 * [1/3 * log(1/3) – 2/3 * log(2/3)] + 2/5 * [2/2 * log(2/2)]= 則信息增益為： – = 2. 按特征紅的劃分?jǐn)?shù)據(jù)集，則信息熵為：2/5 * H(D1) + 3/5 * H(D0)= 2/5 * [1/2 * log(1/2) – 1/2 * log(1/2)] + 3/5 * [3/3 * log(3/3)]= 則信息增益為： – =綜上所述，由于按特征紅的比按特征圓的劃分的信息增益大，所以特征紅的為最優(yōu)劃分特征。為信息增益 g(D,A) 與數(shù)據(jù)集 D 關(guān)于特征 A 的取值的熵 HA(D) 的比值，即其中,其中，n 是特征 A 取值的個數(shù)。信息增益比可以很好的解決這個問題。我們都知道物理中的熵用來衡量混亂程度，熵越大說明越混亂，熵越小說明越單一。不圓的不是蘋果。而CART決策樹，即分類回歸樹，直接支持連續(xù)型屬性值。book39。book39。game39。student39。, 39。, 39。039。表格 4 示例訓(xùn)練數(shù)據(jù)集類別訓(xùn)練文本139。至此，通過 P(X|C0) *P(C0) 和P(X|C1) *P(C1)的大小比較，可得 X 所屬類別。. 樸素貝葉斯原理樸素貝葉斯模型主要利用貝葉斯公式進(jìn)行展開。樸素貝葉斯模型主要應(yīng)用在文本分類方面。由于元素 b 也是頻繁項，所以{c,b}也是頻繁項集。不斷迭代，直到條件 FP 樹中只包含一個頻繁項為止。接著，將出現(xiàn)次數(shù)小于最小支持度 2 的元素（即 e）在數(shù)據(jù)集中刪除，并將數(shù)據(jù)集按出現(xiàn)次數(shù)由高到低排序，得表格 2。}，該規(guī)則的置信度為 ?，F(xiàn)實場景中可以用來發(fā)現(xiàn)很多規(guī)律，下面舉個例子。}的支持度為 ，則{39。, 39。牛奶39。面包39。雞蛋39。關(guān)聯(lián)規(guī)則可以用來發(fā)現(xiàn)很多有趣的規(guī)律。通俗來說，就是如果 A 發(fā)生了，那么 B 也很有可能會發(fā)生。主流的頻繁項集挖掘算法有 Apriori 和 FPgrowth。還可用于制定打折促銷活動，給買了啤酒和尿布的客戶打折，也可以增加銷量。關(guān)聯(lián)分析分為頻繁項集挖掘和關(guān)聯(lián)規(guī)則挖掘。那么問題來了，如何選擇 alpha1 和 alpha2 呢？選擇違背下列 KKT 條件推導(dǎo)結(jié)果的 alpha 作為 alpha1： 為了讓每次變化盡可能大，alpha2 的選擇滿足如下式子最大，即步長最大化：其中 E 是上面提到過的預(yù)測值和真實值差值的絕對值，也就是誤差值。較常用的核函數(shù)是高斯核，高斯核可以將低維空間映射到無窮維。首先求解關(guān)于拉格朗日函數(shù)的極小化問題。圖 3 樣本數(shù)關(guān)于w*x + b的取值符號定義幾何間隔中最小的為：由此，可以得到間隔最大化問題的目標(biāo)函數(shù)：并遵循如下約束條件： 做如下變換：則目標(biāo)函數(shù)轉(zhuǎn)換為：相應(yīng)的約束條件變?yōu)椋? 做如下變換：可得目標(biāo)函數(shù)和約束條件變?yōu)椋? 由于 w, b 成倍數(shù)變化并不會影響超平面的公式，所以：此時得到最終的間隔最大化的目標(biāo)函數(shù)和約束條件如下：但是，到這里并沒有真正得結(jié)束。圖 2 線性不可分問題3. SVM 基本原理SVM原理分為軟間隔最大化、拉格朗日對偶、最優(yōu)化問題求解、核函數(shù)、序列最小優(yōu)化SMO等部分。這其中有很多原因，比如數(shù)據(jù)預(yù)處理的效果、訓(xùn)練集的大小、特征值的選擇、參數(shù)設(shè)置以及核函數(shù)的選擇等因素。2. 關(guān)于 SVM 的簡介支持向量是距離分類超平面近的那些點，SVM的思想就是使得支持向量到分類超平面的間隔最大化。聚類是將大量不帶標(biāo)簽的數(shù)據(jù)根據(jù)距離聚集成不同的簇，每一簇數(shù)據(jù)有共同的特征。如年齡 40 歲以上、工科、研究生以上學(xué)歷，這類人薪資水平是高收入；年齡 2030 歲、文科、大專學(xué)歷，這類人的薪資水平是低收入；現(xiàn)有一位 23 歲大專文科人士，求該人的薪資水平是哪類？根據(jù)分類建模，就可以知道這個人的薪資水平很可能是低收入。支持向量機即 support vector machine(簡稱 SVM)，是機器學(xué)習(xí)領(lǐng)域經(jīng)典的分類算法。但是使用過SVM的朋友都知道，調(diào)用SVM算法的測試準(zhǔn)確度并不一定都很高。類別型數(shù)據(jù)即男、 女這類由字符串表示某類信息的數(shù)據(jù)，需將這類數(shù)據(jù)轉(zhuǎn)換成離散型數(shù)據(jù)如 2。所以當(dāng)?shù)?i條數(shù)據(jù)被正確分類時，y 取值和 w*x+b 取值的正負(fù)一致，幾何間隔為正；當(dāng)被錯誤分類時，y 取值和 w*x+b 取值的正負(fù)相反，幾何間隔為負(fù)。原最優(yōu)化問題的對偶問題為：. 最優(yōu)化問題求解到此為止，已經(jīng)將目標(biāo)函數(shù)和約束條件轉(zhuǎn)換成了極大極小化拉格朗日函數(shù)的問題了。那么為什么是映射到高維后的內(nèi)積運算呢？這是因為在上節(jié)中我們得到了如下目標(biāo)函數(shù)： 正是因為該目標(biāo)函數(shù)中包含自變量的內(nèi)積運算，而映射到高維空間后的內(nèi)積運算又恰好可以通過核函數(shù)在低維空間中直接求得，故而有了核函數(shù)的由來。假設(shè)選出了兩個自變量分別是 alpha1 和 alpha2，