數(shù)據(jù)挖掘挖掘頻繁模式關(guān)聯(lián)和相關(guān)-資料下載頁
2025-07-31 09:44本頁面
【導(dǎo)讀】基本概念和路線圖。有效的和可伸縮的頻繁項集挖掘方法。挖掘各種類型的關(guān)聯(lián)規(guī)則?；诩s束的關(guān)聯(lián)挖掘。在交易數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于。購物籃分析、交叉銷售、產(chǎn)品目錄設(shè)計、賠本銷售分析。、聚集、分類等。護(hù)理用品(商店應(yīng)該怎樣提高護(hù)理用品的銷售？*(其他商品的庫存有什么影響?在產(chǎn)品直銷中使用附加郵寄。支持度,s,一次交易中包含。置信度,c,包含{X、Y}的。那個品種牌子的啤酒與那個牌子的尿布有關(guān)系?關(guān)聯(lián)并不一定意味著相關(guān)或因果。最大模式和閉合項集。用得到的頻繁集生成關(guān)聯(lián)規(guī)則。連接:用Lk-1自連接得到候選k-項集Ck. 修剪:一個k-項集，如果他的一個k-1項集。假定Lk-1中的項按順序排列。計算支持度為什么會成為一個問題？候選集的個數(shù)非常巨大。一筆交易可能包含多個候選集。ade不在L3中，刪除acde
【正文】 ? 采用聚焦技術(shù)和空間數(shù)據(jù)結(jié)構(gòu)等能進(jìn)一步提高性能 (Ester et al.’95) Chapter 8. Cluster Analysis ? 什么是聚類分析 ? ? 聚類分析中的數(shù)據(jù)類型 ? 主要聚類分析方法分類 ? 劃分方法（ Partitioning Methods） ? 分層方法 ? 基于密度的方法 ? 基于表格的方法 ? 基于模型（ ModelBased）的聚類方法 ? 異常分析 ? 總結(jié) 層次方法 ? 采用距離作為衡量聚類的標(biāo)準(zhǔn)。該方法不在需要指定聚類的個數(shù)，但用戶可以指定希望得到的簇的數(shù)目作為一個結(jié)束條件。 Step 0 Step 1 Step 2 Step 3 Step 4 b d c e a a b d e c d e a b c d e Step 4 Step 3 Step 2 Step 1 Step 0 agglomerative (AGNES) divisive (DIANA) AGNES (Agglomerative Nesting) ? 由 Kaufmann 和 Rousseeuw 提出； (1990) ? 使用單鏈接方法和差異度矩陣； ? 合并那些具有最小差異度的節(jié)點； ? Go on in a nondescending fashion ? 最后所有的對象合并形成一個簇。 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 10A Dendrogram Shows How the Clusters are Merged Hierarchically Depose data objects into a several levels of nested partitioning (tree of clusters), called a dendrogram. A clustering of the data objects is obtained by cutting the dendrogram at the desired level, then each connected ponent forms a cluster. DIANA (Divisive Analysis) ? 由 Kaufmann 和 Rousseeuw 提出 (1990) ? AGNES算法的逆過程； ? 最終每個新的簇只包含一個對象； 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 10More on Hierarchical Clustering Methods ? 層次方法的主要缺點： ? 沒有良好的伸縮性 : 時間復(fù)雜度至少是 O(n2) ? 一旦一個合并或分裂被執(zhí)行，就不能修復(fù)； ? 綜合層次聚類和其它的聚類技術(shù)： ? BIRCH (1996): uses CFtree and incrementally adjusts the quality of subclusters ? CURE (1998): selects wellscattered points from the cluster and then shrinks them towards the center of the cluster by a specified fraction ? CHAMELEON (1999): hierarchical clustering using dynamic modeling BIRCH (1996) ? Birch: Balanced Iterative Reducing and Clustering using Hierarchies, by Zhang, Ramakrishnan, Livny (SIGMOD’96) ? 增量的構(gòu)造一個 CF樹 ? Phase 1: 掃描數(shù)據(jù)庫，建立一個初始存放于內(nèi)存的 CF樹，它可以被看作數(shù)據(jù)的多層壓縮，試圖保留數(shù)據(jù)內(nèi)在的聚類結(jié)構(gòu)； ? Phase 2: 采用某個聚類算法對 CF樹的葉子節(jié)點進(jìn)行聚類； ? 可伸縮性 : 數(shù)據(jù)集合的單邊掃描產(chǎn)生了一個基本的聚類，額外的掃描可以進(jìn)一步的改進(jìn)聚類的質(zhì)量。 ? 缺點 : 只能處理數(shù)值型數(shù)據(jù)；對于非球狀的簇不能很好的工作。 Clustering Feature Vector Clustering Feature: CF = (N, LS, SS) N: Number of data points LS: ?Ni=1=Xi SS: ?Ni=1=Xi2 0123456789100 1 2 3 4 5 6 7 8 9 10CF = (5, (16,30),(54,190)) (3,4) (2,6) (4,5) (4,7) (3,8) CF Tree CF1 child1 CF3 child3 CF2 child2 CF6 child6 CF1 child1 CF3 child3 CF2 child2 CF5 child5 CF1 CF2 CF6 prev next CF1 CF2 CF4 prev next B = 7 L = 6 Root Nonleaf node Leaf node Leaf node CURE (Clustering Using REpresentatives ) ? CURE: proposed by Guha, Rastogi amp。 Shim, 1998 ? Stops the creation of a cluster hierarchy if a level consists of k clusters ? Uses multiple representative points to evaluate the distance between clusters, adjusts well to arbitrary shaped clusters and avoids singlelink effect Drawbacks of DistanceBased Method ? Drawbacks of squareerror based clustering method ? Consider only one point as representative of a cluster ? Good only for convex shaped, similar size and density, and if k can be reasonably estimated Cure: The Algorithm ? Draw random sample s. ? Partition sample to p partitions with size s/p ? Partially cluster partitions into s/pq clusters ? Eliminate outliers ? By random sampling ? If a cluster grows too slow, eliminate it. ? Cluster partial clusters. ? Label data in disk Data Partitioning and Clustering ? s = 50 ? p = 2 ? s/p = 25 x x x y y y y x y x ?s/pq = 5 Cure: Shrinking Representative Points ? Shrink the multiple representative points towards the gravity center by a fraction of ?. ? Multiple representatives capture the shape of the cluster x y x y Thank you !!!
試題試卷相關(guān)推薦
鄂ICP備17016276號-1