【正文】 作為 X 的類別輸出。鑒于此，往往在實際運算中，會借助 log 函數，比較 log(P(X|C0) *P(C0)) 和 log(P(X|C1) *P(C1))的大小來判斷 X 所屬類別。, 39。, 39。039。, 39。campus39。sky39。others39。campus39。決策樹利用了樹型結構進行決策，是經典的 ifthen 結構。用所有類別所有可能值包含的信息期望值表示信息熵，計算方法如下：ID3 決策樹利用了信息增益來選擇最優(yōu)特征，用這種方法選擇的特征是使得信息熵增益最大的特征。. 決策樹原理. 選擇最優(yōu)特征決策樹通過不斷選擇最優(yōu)特征劃分數據集，對劃分后的子數據集不斷迭代得選擇最優(yōu)特征劃分，直到所有的數據集屬于同一個類別，或者沒有特征可以選擇為止。除了可以使用信息增益和信息增益比來選擇最優(yōu)劃分特征之外，基尼指數也可以用來實現這個目的。 第二種為如果是紅的:1, 則得到如下數據子集 {圓的:1,分類：1。類別039。為了便于理解，仍然使用表格 8所示數據集進行說明。而且二分策略可以直接處理連續(xù)型屬性值。如圖 13所示就是一個分類樹?；嶂笖担和畔⒃鲆?、信息增益比作用類似，不過基尼指數相對更快假設有 N 個類，樣本屬于第 n 類的概率為Pn，則基尼指數為：若數據集按特征A取值是否等于切分點值劃分為D1和D2兩部分，則在特征A下，集合D的基尼指數為：. 回歸樹二分回歸樹也利用二分劃分數據。 圓的:0, 分類:0}繼續(xù)劃分。圓的39。 面積 = 36, 價格 = }兩個子集。為什么要這樣做呢？因為弱分類器訓練起來很容易，將弱分類器集成起來，往往可以得到很好的效果。這就可以充分利用不同分類算法的優(yōu)勢進行建模。每一輪迭代的樣本權重都不相同，依賴于弱分類器的權重值和上一輪迭代的樣本權重。. 計算最優(yōu)弱分類器的權重最優(yōu)弱分類器的權重只與該弱分類器的錯誤率有關。當樣本被正確分類時，y 和 Gm 取值一致，則新樣本權重變?。划敇颖颈诲e誤分類時，y 和 Gm 取值不一致，則新樣本權重變大。如使用本系列上篇文章介紹的 CART 樹中的分類樹作為弱分類器，可訓練出提升分類樹模型。此時錯誤率為1 * = 。 x , 則 y = 1。則強分類器的錯誤率為1 / 6 = 。 x , 則 y = 1。，則最優(yōu)弱分類器為x ,則 y = 1。 x , 則 y = 1。，得弱分類器x ,則 y = 1。此時錯誤率為2 * = 。 x , 則 y = 1。聚類和分類的區(qū)別在于，待聚類的樣本標簽是未知的，需要根據樣本分布情況，將樣本聚成不同的簇，每一簇代表相似的群體。對比 Kmeans，高斯混合的不同之處在于，樣本點屬于某簇的概率不是非零即 1 的，而是屬于不同簇有不同的概率值。這時，需要利用EM算法，即期望最大化算法求解參數。這就需要先估計每個樣本所屬的類別，然后根據每個樣本估計的類別，計算男女生兩個類別的高斯分布的參數，然后不斷迭代。Phi 服從多項式分布，指男生類別和女生類別出現的概率。其中，m 為樣本的個數。同時，也會有疑惑，究竟期望最大化兩步中，求解四個參數的公式從何而來呢？這就要提到最大似然估計，以及 EM（期望最大化）算法。這里不展開介紹，有興趣的讀者可以參考維基百科對 Jensen 不等式的介紹（）。由 Jensen 不等式的性質，為了讓等式成立，需要滿足：利用貝葉斯公式，可得：M 步驟，即最大化其最緊下界，由于該最緊下界中的隱變量已在 E 步驟中求得，可以直接利用極大似然估計求解：求解過程中，對每個參數逐個求偏導，然后令偏導等于0求得該參數。因此，這里就需要對上式做一些變換，如下：這里引入 Q 函數，而且利用了 Jensen 不等式。下一節(jié)介紹利用 EM 算法如何估計高斯混合模型的參數。只不過，在混合高斯模型中，需要計算高斯分布的參數：均值 mu,方差 sigma 和男女生類別概率 phi。注意這里是概率，而不是像 Kmeans 中確定每個樣本點屬于男女生哪個類，取值是0或1，而非概率。如上一節(jié)中所介紹，如果我們知道每條樣本所屬的類別后，可以很容易得計算出男女生兩個類所對應的高斯分布的參數。高斯混合分布首先將該問題轉換為包含隱變量（即每條樣本屬于不同類別的概率）和模型參數（即男女生兩個高斯分布的參數）的極大似然估計問題。不斷迭代這兩個步驟，當聚類中心不再發(fā)生變化或者達到最大迭代次數時結束。分類模型根據樣本標簽和樣本數據訓練分類模型，如 SVM，決策樹等模型；關聯規(guī)則挖掘頻繁項集之間的共現規(guī)則。 x , 則 y = 1。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 x , 則 y = 1。 x , 則 y = 1。此時錯誤率為1 * = 。G1(x)為x ,則 y = 1。此時錯誤率為3 * = 。，得弱分類器x ,則 y = 1。為方便說明，本文所用弱分類器為形如x,則y=1，否則y=1的簡單分類算法。w 是樣本權重。取錯誤率最低的弱分類器為當前迭代的最優(yōu)弱分類器。G(x) = sign( * f(x) + * g(x) + * z(x) ). AdaBoost原理AdaBoost 的核心就是不斷迭代訓練弱分類器，并計算弱分類器的權重。本文將重點介紹用 AdaBoost 進行分類的算法原理。本文將要介紹的是分類模型中的另一種模型，AdaBoost（adaptive boosting），即自適應提升算法。按最優(yōu)特征劃分數據集以特征面積 = 21 為切分點，將數據切分為{面積 = 20,價格 = 。類別 039。 第二種為如果是紅的:1, 則有如下數據子集 {圓的:1,分類：1。圖 14 回歸樹示例. CART 樹原理. 分類樹二分分類樹利用二分劃分數據。不同之處是劃分方法。這就導致了劃分過于迅速，從而影響分類結果。類別139。紅的39。表格 8 示例數據集圓的紅的分類111100010000100. ID3決策樹選擇最優(yōu)特征表格 8數據集的信息熵為:1/5 * log(1/5) 4/5 * log(4/5) = 1. 按特征圓的劃分數據集，則信息熵為：3/5 * H(D1) + 2/5 * H(D0)= 3/5 * [1/3 * log(1/3) – 2/3 * log(2/3)] + 2/5 * [2/2 * log(2/2)]= 則信息增益為： – = 2. 按特征紅的劃分數據集，則信息熵為：2/5 * H(D1) + 3/5 * H(D0)= 2/5 * [1/2 * log(1/2) – 1/2 * log(1/2)] + 3/5 * [3/3 * log(3/3)]= 則信息增益為： – =綜上所述，由于按特征紅的比按特征圓的劃分的信息增益大，所以特征紅的為最優(yōu)劃分特征。為信息增益 g(D,A) 與數據集 D 關于特征 A 的取值的熵 HA(D) 的比值，即其中,其中，n 是特征 A 取值的個數。信息增益比可以很好的解決這個問題。我們都知道物理中的熵用來衡量混亂程度，熵越大說明越混亂，熵越小說明越單一。不圓的不是蘋果。而CART決策樹，即分類回歸樹，直接支持連續(xù)型屬性值。book39。book39。game39。student39。, 39。, 39。039。表格 4 示例訓練數據集類別訓練文本139。至此，通過 P(X|C0) *P(C0) 和P(X|C1) *P(C1)的大小比較，可得 X 所屬類別。. 樸素貝葉斯原理樸素貝葉斯模型主要利用貝葉斯公式進行展開。樸素貝葉斯模型主要應用在文本分類方面。由于元素 b 也是頻繁項，所以{c,b}也是頻繁項集。不斷迭代，直到條件 FP 樹中只包含一個頻繁項為止。接著，將出現次數小于最小支持度 2 的元素（即 e）在數據集中刪除，并將數據集按出現次數由高到低排序，得表格 2。}，該規(guī)則的置信度為 ?，F實場景中可以用來發(fā)現很多規(guī)律，下面舉個例子。}的支持度為 ，則{39。, 39。牛奶39。面包39。雞蛋39。關聯規(guī)則可以用來發(fā)現很多有趣的規(guī)律。通俗來說，就是如果 A 發(fā)生了，那么 B 也很有可能會發(fā)生。主流的頻繁項集挖掘算法有 Apriori 和 FPgrowth。還可用于制定打折促銷活動，給買了啤酒和尿布的客戶打折，也可以增加銷量。關聯分析分為頻繁項集挖掘和關聯規(guī)則挖掘。那么問題來了，如何選擇 alpha1 和 alpha2 呢？選擇違背下列 KKT 條件推導結果的 alpha 作為 alpha1： 為了讓每次變化盡可能大，alpha2 的選擇滿足如下式子最大，即步長最大化：其中 E 是上面提到過的預測值和真實值差值的絕對值，也就是誤差值。較常用的核函數是高斯核，高斯核可以將低維空間映射到無窮維。首先求解關于拉格朗日函數的極小化問題。圖 3 樣本數關于w*x + b的取值符號定義幾何間隔中最小的為：由此，可以得到間隔最大化問題的目標函數：并遵循如下約束條件： 做如下變換：則目標函數轉換為：相應的約束條件變?yōu)椋? 做如下變換：可得目標函數和約束條件變?yōu)椋? 由于 w, b 成倍數變化并不會影響超平面的公式，所以：此時得到最終的間隔最大化的目標函數和約束條件如下：但是，到這里并沒有真正得結束。圖 2 線性不可分問題3. SVM 基本原理SVM原理分為軟間隔最大化、拉格朗日對偶、最優(yōu)化問題求解、核函數、序列最小優(yōu)化SMO等部分。這其中有很多原因，比如數據預處理的效果、訓練集的大小、特征值的選擇、參數設置以及核函數的選擇等因素。2. 關于 SVM 的簡介支持向量是距離分類超平面近的那些點，SVM的思想就是使得支持向量到分類超平面的間隔最大化。聚類是將大量不帶標簽的數據根據距離聚集成不同的簇，每一簇數據有共同的特征。如年齡 40 歲以上、工科、研究生以上學歷，這類人薪資水平是高收入；年齡 2030 歲、文科、大專學歷，這類人的薪資水平是低收入；現有一位 23 歲大專文科人士，求該人的薪資水平是哪類？根據分類建模，就可以知道這個人的薪資水平很可能是低收入。支持向量機即 support vector machine(簡稱 SVM)，是機器學習領域經典的分類算法。但是使用過SVM的朋友都知道，調用SVM算法的測試準確度并不一定都很高。類別型數據即男、 女這類由字符串表示某類信息的數據，需將這類數據轉換成離散型數據如 2。所以當第 i條數據被正確分類時，y 取值和 w*x+b 取值的正負一致，幾何間隔為正；當被錯誤分類時，y 取值和 w*x+b 取值的正負相反，幾何間隔為負。原最優(yōu)化問題的對偶問題為：. 最優(yōu)化問題求解到此為止，已經將目標函數和約束條件轉換成了極大極小化拉格朗日函數的問題了。那么為什么是映射到高維后的內積運算呢？這是因為在上節(jié)中我們得到了如下目標函數： 正是因為該目標函數中包含自變量的內積運算，而映射到高維空間后的內積運算又恰好可以通過核函數在低維空間中直接求得，故而有了核函數的由來。假設選出了兩個自變量分別是 alpha1 和 alpha2，