bigdata數(shù)據(jù)挖掘培訓3(編輯修改稿)
2025-01-28 00:48 本頁面
【文章內容簡介】 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 32 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 42 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 52 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 6隨機選擇初始質心（例 2） 2 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 1y2y3y4y5但是，隨機選擇的初始質心，未必能得到最優(yōu)的結果 隨機選擇初始質心（例 2） 2 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 12 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 22 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 32 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 42 1 . 5 1 0 . 5 0 0 . 5 1 1 . 5 200 . 511 . 522 . 53xyI t e r a t i o n 5k均值的優(yōu)點 ?簡單、有效 ?可用于各種數(shù)據(jù)類型 ?（但并非適合所有數(shù)據(jù)類型） k均值的局限（缺點） ? 不能處理： ? 不同尺寸的簇 ? 不同密度的簇 ? 非球形的簇 ? 對含離群點的數(shù)據(jù)聚類時也有問題 不同尺寸的簇 Original Points Kmeans (3 Clusters) 不同密度的簇 Original Points Kmeans (3 Clusters) 非球形的簇 Original Points Kmeans (2 Clusters) 克服 Kmeans 的局限 Original Points Kmeans Clusters 一種方法是使用更多的簇（較小的簇集） . 發(fā)現(xiàn)簇集的子簇 , 但是需要將子簇合并 . 克服 Kmeans 的局限 Original Points Kmeans Clusters 克服 Kmeans 的局限 Original Points Kmeans Clusters K中心點方法 ?在簇集中找到簇中最中心位置的點，也就是中心點 ? PAM (圍繞中心點的劃分 , 1987) ?最初隨機選定 k個中心點后，反復試圖尋找更好的中心點，分析所有可能的對象對。 ? PAM 適合于小數(shù)據(jù)集，但是在大數(shù)據(jù)集上效果不佳 ? CLARA (Kaufmann Rousseeuw, 1990) ? CLARANS (Ng Han, 1994):隨即抽樣 對比 k中心與 k均值 ?當存在噪聲和離群點時， k中心法更魯棒 ? k中心法的執(zhí)行代價高于 k均值法 小結與回顧 ?聚類分析 ?同一數(shù)據(jù)，不同聚類方法可導致不同結果 ?距離的度量 ?基于劃分的聚類 ? k均值法 K均值方法 ?給定 k : ? k個點作為初始的質心 ? ? 3. 將每個點指派到最近（相似）的簇集 ? 4. 重新計算每個簇的均值，即更新質心 ? 不再發(fā)生變化 . K均值方法 ?例 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 10k均值的優(yōu)點 ?簡單、有效 ?可用于各種數(shù)據(jù)類型 ?（但并非適合所有數(shù)據(jù)類型） k均值的局限（缺點） ? 不能處理： ? 不同尺寸的簇 ? 不同密度的簇 ? 非球形的簇 ? 對含離群點的數(shù)據(jù)聚類時也有問題 聚類分析 ? 什么是聚類分析 ? ? 聚類分析中的數(shù)據(jù)類型 ? 主要的聚類方法分類 ? 劃分方法 ? 層次方法 層次聚類 Hierarchical Clustering: Nested Clusters Dendrogram 樹狀圖 1 2 3 4 5 6 1 2 3 4 5 3 6 2 5 4 100 . 0 50 . 10 . 1 50 . 2層次方法 ?將嵌套定義的簇集組成一棵層次形式的樹 ?按照分裂方式可分為： ?凝聚的 ? 把每個點都作為一個簇，開始聚類 ? 每一步合并兩個最近的簇，直到只剩下一個簇 ?分裂的 ? 所有的點看做一個簇 ? 每一步，分裂一個簇， 直到每個點都是一個簇 層次聚類方法 ? 利用相似度或距離矩陣作為聚類標準 . 這種方法不需要提供k值，但是必須提供中止條件 Step 0 Step 1 Step 2 Step 3 Step 4 b d c e a a b d e c d e a b c d e Step 4 Step 3 Step 2 Step 1 Step 0 凝聚的 (AGNES) 分裂的 (DIANA) AGNES (凝聚的層次聚類 ) ? Kaufmann and Rousseeuw (1990) ? 將具有最少相異性的點合并 ? 將這些簇合并成越來越大的簇 ? 直到所有終結條件被滿足 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 10DIANA (分裂的層次聚類 ) ? Kaufmann and Rousseeuw (1990) ?與 AGNES剛好相反 ?直到每個對象自成一簇 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 10基本層次凝聚聚類 ? 基本算法簡單直接： 1. 計算相似度矩陣（或鄰近矩陣） 2. 以每個點為一個簇 3. Repeat 4. 合并最近的兩個簇 5. 更新相似度矩陣 6. Until 僅剩下一個簇 ? 關鍵操作 : 計算兩個簇間的相
法律信息相關推薦
鄂ICP備17016276號-1