【正文】 alpha = * ln((1 – ) / ) = 更新樣本權(quán)重x = 0, 1, 2, 3, 5時，y分類正確，則樣本權(quán)重為： * exp() = x = 4時，y分類錯誤，則樣本權(quán)重為： * exp() = * 5 + = 規(guī)范化后，x = 0, 1, 2, 3, 5時，樣本權(quán)重更新為： / = x = 4時, 樣本權(quán)重更新為： / = 綜上，新的樣本權(quán)重為(, , , , , )。此時強分類器為G(x) = * G1(x)。G1(x)為x ,則 y = 1。 x , 則 y = 1。則強分類器的錯誤率為1 / 6 = 。. 第二輪迭代 選擇最優(yōu)弱分類器，得弱分類器x ,則 y = 1。 x , 則 y = 1。 * 4 = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。此時錯誤率為1 * = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 * 4 = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 * 3 = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。此時錯誤率為2 * = 。，則最優(yōu)弱分類器為x ,則 y = 1。 x , 則 y = 1。 計算最優(yōu)弱分類器的權(quán)重alpha = * ln((1 –) / ) = 。 更新樣本權(quán)重x = 0, 1, 5時，y分類正確，則樣本權(quán)重為： * exp() = x = 4 時，y分類正確，則樣本權(quán)重為： * exp() = x = 2,3時，y分類錯誤，則樣本權(quán)重為： * exp() = 新樣本權(quán)重總和為 * 3 + + * 2 = 規(guī)范化后，x = 0, 1, 5時，樣本權(quán)重更新為： / = x = 4時, 樣本權(quán)重更新為： / = x = 2, 3時, 樣本權(quán)重更新為： / = 綜上，新的樣本權(quán)重為(, , , , , )。此時強分類器為G(x) = * G1(x) + * G2(x)。G1(x)為x ,則 y = 1。 x , 則 y = 1。G2(x)為x ,則 y = 1。 x , 則 y = 1。按G(x)分類會使x=4分類錯誤，則強分類器的錯誤率為1 / 6 = 。. 第三輪迭代 選擇最優(yōu)弱分類器，得弱分類器x ,則 y = 1。 x , 則 y = 1。 + = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。此時錯誤率為1 * = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 * 2 + + = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。 * 3 = 。，得弱分類器x ,則 y = 1。 x , 則 y = 1。此時錯誤率為2 * = 。，則最優(yōu)弱分類器為x ,則 y = 1。 x , 則 y = 1。 計算最優(yōu)弱分類器的權(quán)重alpha = * ln((1 –) / ) = 更新樣本權(quán)重x = 2, 3時，y分類正確，則樣本權(quán)重為： * exp() = x = 4 時，y分類正確，則樣本權(quán)重為： * exp() = x = 0, 1, 5時，y分類錯誤，則樣本權(quán)重為： * exp() = 新樣本權(quán)重總和為 * 2 + + * 3 = 規(guī)范化后，x = 2, 3時，樣本權(quán)重更新為： / = x = 4時, 樣本權(quán)重更新為： / = x = 0, 1, 5時, 樣本權(quán)重更新為： / = 綜上，新的樣本權(quán)重為(, , , , , )。此時強分類器為G(x) = * G1(x) + * G2(x) + * G3(x)。G1(x)為x ,則 y = 1。 x , 則 y = 1。G2(x)為x ,則 y = 1。 x , 則 y = 1。G3(x)為x ,則 y = 1。 x , 則 y = 1。按G(x)分類所有樣本均分類正確，則強分類器的錯誤率為0 / 6 = 0。則停止迭代，最終強分類器為G(x) = * G1(x) + * G2(x) + * G3(x)。9. 高斯混合模型基本原理. 高斯混合簡介在本系列的前六篇中，筆者分別介紹了分類，關(guān)聯(lián)規(guī)則兩種模型。分類模型根據(jù)樣本標簽和樣本數(shù)據(jù)訓(xùn)練分類模型，如 SVM，決策樹等模型；關(guān)聯(lián)規(guī)則挖掘頻繁項集之間的共現(xiàn)規(guī)則。在本篇中，筆者將介紹另一類模型, 聚類。聚類和分類的區(qū)別在于，待聚類的樣本標簽是未知的，需要根據(jù)樣本分布情況，將樣本聚成不同的簇，每一簇代表相似的群體。聚類模型中比較經(jīng)典的模型當屬高斯混合模型和 Kmeans 模型。這兩個模型的思想有相似之處。Kmeans 模型先隨機初始化聚類中心，然后計算所有樣本到k個聚類中心的距離，將樣本歸入離其最近的一個聚類中心所在的簇。然后對形成的每個簇，重新計算聚類中心，計算方式為簇內(nèi)所有樣本點的均值。有了新的聚類中心后，重新計算所有樣本到 k 個聚類中心的距離，將樣本歸入離其最近的聚類中心所在的簇。不斷迭代這兩個步驟，當聚類中心不再發(fā)生變化或者達到最大迭代次數(shù)時結(jié)束。Kmeans 將樣本分到離其最近的聚類中心所在的簇，也就是每個樣本數(shù)據(jù)屬于某簇的概率非零即 1。對比 Kmeans，高斯混合的不同之處在于，樣本點屬于某簇的概率不是非零即 1 的，而是屬于不同簇有不同的概率值。高斯混合模型假設(shè)所有樣本點是由 K 個高斯分布混合而成的，如統(tǒng)計一個班級里所有同學的身高，這些身高就是由男生身高和女生身高這兩個高斯分布混合而成的。假設(shè)我們已知班上所有同學的性別，如下圖所示，那么可以很容易根據(jù)樣本身高和樣本類別求得男生身高和女生身高這兩個高斯分布的參數(shù)。圖 15 身高分布但是，現(xiàn)實中很多時候我們往往無法得知采樣樣本是來自哪個類，如下圖所示。從下圖可以看出，身高在 150cm 到 180cm 之間分布。圖 16 未知類別身高分布當我們只有身高數(shù)據(jù)的時候，如何將身高數(shù)據(jù)聚成男女生兩個簇？這就是高斯混合分布可以解決的問題。高斯混合分布首先將該問題轉(zhuǎn)換為包含隱變量（即每條樣本屬于不同類別的概率）和模型參數(shù)（即男女生兩個高斯分布的參數(shù)）的極大似然估計問題。由于該極大似然估計問題中包含隱變量和模型參數(shù)，所以無法用傳統(tǒng)的求偏導(dǎo)的方法求得。這時，需要利用EM算法，即期望最大化算法求解參數(shù)。. 高斯混合原理和 Kmeans 模型類似，高斯混合模型主要分為兩步，Expectation（期望）和 Maximization（最大化）。在本節(jié)中主要介紹高斯混合模型這兩步的原理，至于這兩步的計算公式是如何得到的，會在下一節(jié)介紹。. Expectation (期望)考慮男女生身高這個例子，假設(shè)有 20 個身高樣本數(shù)據(jù)，但是并不知道每個樣本數(shù)據(jù)是來自男生還是女生。在這種情況下，求如何將這 20 個身高數(shù)據(jù)聚成男女生兩大類。假設(shè)男女生身高服從高斯分布。如上一節(jié)中所介紹，如果我們知道每條樣本所屬的類別后，可以很容易得計算出男女生兩個類所對應(yīng)的高斯分布的參數(shù)。但是，往往我們不知道每個樣本所屬的類別。這就需要先估計每個樣本所屬的類別，然后根據(jù)每個樣本估計的類別，計算男女生兩個類別的高斯分布的參數(shù)，然后不斷迭代。大體思想和 Kmeans 是一致的。參考 Kmeans，首先會隨機初始化聚類中心，Kmeans 中的這個聚類中心對應(yīng)到高斯混合模型中就是男女生兩個簇的高斯分布參數(shù)。隨機初始化模型參數(shù)后，Kmeans 會根據(jù)每個樣本點到簇中心的距離決定每個樣本屬于哪個簇。對應(yīng)到高斯混合模型中，就是 Expectation（期望）這一步。在高斯混合模型期望這一步中，需要求解的是每個樣本點屬于男女生兩類的概率。注意這里是概率，而不是像 Kmeans 中確定每個樣本點屬于男女生哪個類，取值是0或1，而非概率。在本節(jié)中先給出求解每個樣本點屬于男女生兩類的概率計算公式，具體計算公式的推導(dǎo)過程會在下一節(jié)介紹其中，mu、sigma 指高斯分布的均值和方差（如果是二維以上，則是協(xié)方差）。Phi 服從多項式分布，指男生類別和女生類別出現(xiàn)的概率。這兩個概率和為1。在這一步中，假設(shè)三個參數(shù)都是已知的，只有每個樣本點屬于男女生兩類的概率是未知的，這個概率可以通過已知的這三個參數(shù)計算得出。上面的公式利用了經(jīng)典的貝葉斯公式求解。. Maximization (最大化)最大化用來求解各個聚類結(jié)果對應(yīng)的高斯分布的參數(shù)，即期望步驟中提到的 mu ,sigma 和 phi 三個參數(shù)。這一步類似于 Kmeans 中根據(jù)每個樣本點所屬的簇，重新計算不同簇的聚類中心。只不過，在混合高斯模型中，需要計算高斯分布的參數(shù)：均值 mu,方差 sigma 和男女生類別概率 phi。這三個參數(shù)的計算公式如下，具體計算公式的推導(dǎo)過程會在下一節(jié)中介紹。其中，m 為樣本的個數(shù)。W 為期望步驟中求得的每個樣本點屬于男女生兩類的概率。可以看出，這一步利用期望步驟中求得的 w，來更新三個模型參數(shù)。這種參數(shù)估計的思想，先隨機初始化模型參數(shù)（每個類別對應(yīng)的高斯分布的均值，方差，和每個類別的概率），然后利用模型參數(shù)更新隱變量（每個樣本屬于男女生兩類的概率）。不斷迭代這兩步，直到收斂或者達到最大迭代次數(shù)為止。這就是EM算法的思想。下一節(jié)介紹利用 EM 算法如何估計高斯混合模型的參數(shù)。. 利用 EM 算法估計高斯混合的參數(shù)通過上文的介紹，讀者對高斯混合模型原理有了一定的了解。同時，也會有疑惑，究竟期望最大化兩步中，求解四個參數(shù)的公式從何而來呢？這就要提到最大似然估計，以及 EM（期望最大化）算法。最大似然估計，即求使得觀察到的數(shù)據(jù)出現(xiàn)的概率最大化對應(yīng)的參數(shù)值。假設(shè)觀察到的樣本數(shù)據(jù)都是獨立的，則它們出現(xiàn)的概率為每個樣本的概率乘積。為了方便計算，對這個概率乘積加上 log，得到 log 似然函數(shù)：其中 theta 是三個模型參數(shù)，即每個聚類對應(yīng)高斯分布的均值 mu，方差 sigma，男女生兩個類別的概率 phi。我們還知道，在這個問題中，有一個隱變量，即每個樣本屬于不同類別的概率，將該隱變量的各個取值求和，可得：可以通過求解上式的最大值得到各個參數(shù)的解。不同于其他最大似然估計問題，上式無法直接對各個參數(shù)求偏導(dǎo)從而得到各個參數(shù)的值。因此，這里就需要對上式做一些變換，如下：這里引入 Q 函數(shù)，而且利用了 Jensen 不等式。Jensen 不等式利用了凹函數(shù)的不等式性質(zhì)。這里不展開介紹，有興趣的讀者可以參考維基百科對 Jensen 不等式的介紹（）。由上式，可以得到 log 似然函數(shù)的下界。由此，可以通過求似然函數(shù)的最緊下界，然后最大化其最緊下界這兩個步驟迭代求得 log 似然函數(shù)的最大值。而提到的求似然函數(shù)的最緊下界，就是 EM 算法的 E 步驟。最大化其最緊下界，就是 M 步驟。E 步驟，即求似然函數(shù)的最緊下界，需要讓上面的不等式中的等式成立。由 Jensen 不等式的性質(zhì)，為了讓等式成立，需要滿足：利用貝葉斯公式，可得：M 步驟，即最大化其最緊下界，由于該最緊下界中的隱變量已在 E 步驟中求得，可以直接利用極大似然估計求解：求解過程中，對每個參數(shù)逐個求偏導(dǎo)，然后令偏導(dǎo)等于0求得該參數(shù)。最終三個參數(shù)的解為：47 / 47