bigdata數(shù)據(jù)挖掘培訓3-資料下載頁
2025-01-10 00:48本頁面
【正文】 縮代表點 ?按照某個收縮因子 ?向簇中心收縮代表點 . ?代表點決定了簇集的形狀 x y x y CURE 不能處理不同密度的簇 Original Points CURE CHAMELEON基于圖的 ? CHAMELEON:采用動態(tài)模型的算法， by G. Karypis, . Han and V. Kumar’99 ? 通過動態(tài)模型衡量相似性 ? 如果兩個簇集的互聯(lián)性和相似度與簇內(nèi)部對象間的互聯(lián)性和相似度高度相關，則合并這兩個簇。 ? 算法分作兩步 ? 1. 通過一個圖劃分算法將數(shù)據(jù)對象聚類成大量相對較小的子聚類 ? 的結(jié)果簇 CHAMELEON算法的大致框架 構(gòu)造稀疏圖 劃分圖 合并劃分 最終的簇集 Data Set Experimental Results: CHAMELEON Experimental Results: CHAMELEON Experimental Results: CURE (10 clusters) Experimental Results: CURE (15 clusters) Experimental Results: CHAMELEON Experimental Results: CURE (9 clusters) Experimental Results: CURE (15 clusters) 小結(jié) ?層次聚類 ?凝聚的和分裂的 ?簇間距離：最小、最大、均值、中心點 ?最近鄰與單連接 ?最遠鄰與全連接 ? CURE， CHAMELEON 聚類分析 ? 什么是聚類分析 ? ? 聚類分析中的數(shù)據(jù)類型 ? 主要的聚類方法分類 ? 劃分方法 ? 層次方法 ? 基于密度的方法 基于密度的簇集方法 ? 主要特征 : ? 發(fā)現(xiàn)任意形狀的簇集 ? 處理噪聲 ? 單次掃描 ? 需要密度參數(shù)作為中止條件 ? 若干相關研究 : ? DBSCAN: Ester, et al. (KDD’96) ? OPTICS: Ankerst, et al (SIGMOD’99). ? DENCLUE: Hinneburg D. Keim (KDD’98) ? CLIQUE: Agrawal, et al. (SIGMOD’98) 基于密度的聚集：背景知識 ? 兩個參數(shù) : ? Eps: 鄰域半徑 ? MinPts: 對象領域中至少包含的最小對象數(shù)目 ? NEps(p): {q 屬于 D | dist(p,q) = Eps} ? 直接可達 :在下面條件滿足情況下，我們稱點 p侍從對象 q 關于 . Eps, MinPts 直接可達的 ? 1) p 屬于 NEps(q) ? 2) 核心對象條件 : |NEps (q)| = MinPts p q MinPts = 5 Eps = 1 cm 基于密度的聚集：背景知識 (II) ? 密度可達 : ? 當存在一個對象鏈 p1, …, pn, p1 = q, pn = p ，其中 pi+1 是 pi直接密度可達的情況下，點 p從點 q關于 Eps, MinPts ? 密度相關 ? 點 p 和點 q 是關于 . Eps, MinPts對象相關的，當存在一個點 o， 使得 p 和 q 都是從 o 關于 . Eps和 MinPts密度可達的 . p q p1 p q o DBSCAN: 基于高密度連接區(qū)域的密度聚類方法 ? 基于密度的簇集 : 簇被定義為密度相連點的最大集合 ? 可以在帶有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的聚類。 Core Border Outlier Eps = 1cm MinPts = 5 DBSCAN: 算法 ? 隨機的選擇點 p ? 尋找所有從點 p 關于 Eps and ? 如果 p 是核心點 ,那么一個簇集已經(jīng)生成了 ? 如果 p只是邊緣點 ,從點 p 沒有哪一個點是密度可達的，DBSCAN 訪問數(shù)據(jù)庫中下一個點 . ? 重復上述過程知道中止條件滿足 DBSCAN: Core, Border, and Noise Points DBSCAN: Sensitive to Parameters DBSCAN: Core, Border and Noise Points Original Points Point types: core, border and noise Eps = 10, MinPts = 4 When DBSCAN Works Well Original Points Clusters ? Resistant to Noise ? Can handle clusters of different shapes and sizes When DBSCAN Does NOT Work Well Original Points (MinPts=4, Eps=). (MinPts=4, Eps=) ? Varying densities ? Highdimensional data 聚類分析 ? 什么是聚類分析 ? ? 聚類分析中的數(shù)據(jù)類型 ? 主要的聚類方法分類 ? 劃分方法 ? 層次方法 ? 基于密度的方法 ? 孤立點（離群點）分析 什么是孤立點 ? ? 什么是孤立點 ? ? 與數(shù)據(jù)的其他部分不同或不一致 ? 例如 : Sports: Michael Jordon, Wayne Gretzky, ... ? 問題 ? 找到前 n個孤立點 ? 應用 : ? 監(jiān)測信用卡詐騙 ? 監(jiān)測電話詐騙 ? 分析收入極高和極低的消費者的行為 ? 醫(yī)療分析 基于統(tǒng)計的孤立點查 詢 ?對給定的數(shù)據(jù)集合假設了一個分布或概率模型 ? 進行不一致性檢驗，根據(jù) ? 數(shù)據(jù)集參數(shù) ? 分布參數(shù) ? 預期的孤立點數(shù)目 ? 缺點 ? 針對單個屬性 ? 很多情況下數(shù)據(jù)分布是未知的。 基于距離的孤立點查詢 ? 為了解決統(tǒng)計學方法的一些限制，引入了基于距離的孤立點概念 ? 我們需要在不知道數(shù)據(jù)分布的情況下處理多位數(shù)據(jù) . ? 基于距離的孤立點 : 如果數(shù)據(jù)集合 T中至少有 p部分對象與對象 O的距離大于 d，那么就稱 O為一個帶參數(shù) p和 d的基于距離的孤立點 ? 計語句你的孤立點算法 ? 基于索引的算法 ? 嵌套循環(huán)算法 ? 基于單元的算法 基于密度的方法 : LOF ? For each point, pute the density of its local neighborhood ? Compute local outlier factor (LOF) of a sample p as the average of the ratios of the density of sample p and the density of its nearest neighbors ? Outliers are points with largest LOF value p2 ? p1 ? 基于聚類的方法 ? Basic idea: ? Cluster the data into groups of different density ? Choose points in small cluster as candidate outliers ? Compute the distance between candidate points and noncandidate clusters. ? If candidate points are far from all other noncandidate points, they are outliers 基于偏離的孤立點預測 ? 通過一組對象的主要特征來識別孤立點 ? 與給出描述偏離的對象就被認為是孤立點 ? 序列異常技術 ? 模仿了人類從一系列的推測類似對象中識別異常對象的方式 ? OLAP 數(shù)據(jù)立方體技術 ? 利用在大規(guī)模多維數(shù)據(jù)中采用數(shù)據(jù)立方體來確定反常區(qū)域。 演講完畢，謝謝觀看！
法律信息相關推薦
鄂ICP備17016276號-1