【文章內(nèi)容簡介】 的質(zhì)量取決于網(wǎng)格結(jié)構(gòu)的最低層粒度。如果數(shù)據(jù)粒度比較細，處理的代價會明顯增加，而且該算法沒有考慮子單元和其他相鄰單元之間的關(guān)系。盡管該算法處理速度較快，但是可能會降低簇的質(zhì)量和精確性。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?基于模型的聚類方法試圖優(yōu)化給定的數(shù)據(jù)和某些數(shù)學模型之間的適應(yīng)性 。 給每一個聚類假定一個模型 ， 然后去尋找能夠很好的滿足這個模型的數(shù)據(jù)集 。 這樣一個模型可能是數(shù)據(jù)點在空間中的密度分布函數(shù)或者其它 。 ?它的一個潛在的假定就是：目標數(shù)據(jù)集是由一系列潛在的概率分布所決定的 。 ?在這類算法中 ， 聚類的數(shù)目也根據(jù)統(tǒng)計數(shù)字自動決定 ，噪聲和孤立點也是通過統(tǒng)計數(shù)字來分析 。 ?基于模型的聚類方法主要有三類：統(tǒng)計學方法 、 神經(jīng)網(wǎng)絡(luò)方法以及基于群的聚類方法 。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?1. 統(tǒng)計學方法 ?從統(tǒng)計學的觀點看，聚類分析是通過數(shù)據(jù)建模簡化數(shù)據(jù)的一種方法。概念聚類就是其中的一種。 ?概念聚類的絕大多數(shù)方法都采用了統(tǒng)計學的途徑，在決定概念或聚類時，使用概率度量。它將數(shù)據(jù)分成多組，對一組未標記的數(shù)據(jù)對象產(chǎn)生一個分類模式，并對每個分類模式給出其特征描述，即每組對象代表了一個概念或類。在這里，聚類質(zhì)量不再只是單個對象的函數(shù)，而是加入了如導出的概念描述的簡單性和一般性等因素。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?1. 統(tǒng)計學方法 ?COBWEB是一種典型的簡單增量概念聚類算法，以一個分類樹的形式創(chuàng)建層次聚類。它的輸入對象用“分類屬性 — 值”對來描述。 ?在給定一個新的對象后， COBWEB沿一條適當?shù)穆窂较蛳拢薷挠嫈?shù)，以尋找可以分類該對象的最好節(jié)點。該判定將對象臨時置于每個節(jié)點，并計算劃分結(jié)果的分類效用。產(chǎn)生最高分類效用的位置應(yīng)當是對象節(jié)點的一個好的選擇。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?1. 統(tǒng)計學方法 ?COBWEB可以自動修正劃分中類的數(shù)目，不需要用戶提供輸入?yún)?shù)。 ?缺點是 COBWEB基于這樣一個假設(shè)：在每個屬性上的概率分布是彼此獨立的。但這個假設(shè)并不總是成立。 ?分類樹對于偏斜的輸入數(shù)據(jù)不是高度平衡的，它可能導致時間和空間復(fù)雜性的劇烈變化。 ?COBWEB不適用于聚類大型數(shù)據(jù)庫的數(shù)據(jù)。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?2. 神經(jīng)網(wǎng)絡(luò)方法 ?神經(jīng)網(wǎng)絡(luò)以其分布式存儲、并行協(xié)同處理以及自學習等特性被用于聚類分析領(lǐng)域。 ?在聚類分析中經(jīng)常被用到的神經(jīng)網(wǎng)絡(luò)的方法有： Kohonen自組織神經(jīng)網(wǎng)絡(luò) 競爭神經(jīng)網(wǎng)絡(luò) 自組織共振神經(jīng)網(wǎng)絡(luò) ?這些方法都涉及有競爭的神經(jīng)單元。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?2. 神經(jīng)網(wǎng)絡(luò)方法 ?競爭學習（ Competitive Learning）采用了若干個單元的層次結(jié)構(gòu)，它們以一種“勝者全取”的方式對系統(tǒng)當前處理的對象進行競爭。 ?在一個簇中獲勝的單元成為活躍的，而其他單元是不活躍的。 ?各層之間的連接是激發(fā)式的，即在某個給定層次中的單元可以接收來自低一層次所有單元的輸入。 ?在一層中活動單元的布局代表了高一層的輸入模式。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?2. 神經(jīng)網(wǎng)絡(luò)方法 ?在某個給定層次中，一個簇中的單元彼此競爭，對低一層的輸出模式做出反應(yīng)。 ?一個層次內(nèi)的聯(lián)系是抑制式的，以便在任何簇中只有一個單元是活躍的。 ?獲勝的單元修正它與簇中其他單元連接上的權(quán)重，以便未來它能夠?qū)εc當前對象相似或一樣的對象做出較強的反應(yīng)。 ?如果我們將權(quán)重看作定義的一個標本，那么新的對象被分配給具有最近標本的簇。 ?結(jié)果簇的數(shù)目和每個簇中單元的數(shù)目是輸入?yún)?shù)。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?2. 神經(jīng)網(wǎng)絡(luò)方法 ?在聚類過程結(jié)束時，每個簇可以被看作一個新的“特征”，它檢測對象的某些規(guī)律性。這樣產(chǎn)生的結(jié)果簇可以被看作一個底層特征向高層特征的映射。 ?神經(jīng)網(wǎng)絡(luò)聚類方法與實際的大腦處理有很強的理論聯(lián)系。由于較長的處理時間和數(shù)據(jù)的復(fù)雜性，需要進行進一步的研究來使它適用于大型數(shù)據(jù)庫。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?3. 基于群的聚類方法 ?基于群的聚類方法是進化計算的一個分支。模擬生物界中蟻群、魚群和鳥群在覓食或逃避敵人時的行為。 ?主要分為兩類：一類是蟻群算法或蟻群優(yōu)化（ Ant Colony Optimization, ACO），另一類稱為粒子群算法（ Particle Swarm Optimization, PSO）。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?3. 基于群的聚類方法 ?蟻群算法是將數(shù)據(jù)挖掘概念和原理與生物界中蟻群行為結(jié)合起來形成的新算法。 ?基于蟻群算法的聚類方法從原理上可以分為四種： ?運用螞蟻覓食的原理，利用信息素來實現(xiàn)聚類； ?利用螞蟻自我聚集行為來聚類； ?基于螞蟻堆的形成原理實現(xiàn)數(shù)據(jù)聚類； ?運用蟻巢分類模型，利用螞蟻化學識別系統(tǒng)進行聚類。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 基于模型的聚類方法 ?3. 基于群的聚類方法 ?粒子群算法模擬了魚群或鳥群的行為。 ?PSO將群中的個體稱為 particles，整個群稱為 swarm。要將其應(yīng)用到實際的大規(guī)模數(shù)據(jù)挖掘的聚類分析中還需要做大量研究工作。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 ? kmeans聚類方法 ? kmedoids聚類方法 ? AGNES聚類方法 ? DIANA聚類方法 ? DBSCAN聚類方法 遼寧省物流航運管理系統(tǒng)工程重點實驗室 kmeans聚類方法 ?kmeans算法接受輸入量 k，然后將 n個數(shù)據(jù)對象劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高，而不同聚類中的對象相似度較小。 ?聚類相似度是利用各聚類中對象的均值所獲得一個“中心對象”（引力中心）來進行計算的。 ?kmeans算法的工作過程說明如下： ?首先從 n個數(shù)據(jù)對象任意選擇 k個對象作為初始聚類中心； ?而對于所剩下其它對象，則根據(jù)它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的聚類中心所代表的聚類； 遼寧省物流航運管理系統(tǒng)工程重點實驗室 kmeans聚類方法 ?然后再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）； ?不斷重復(fù)這一過程直到標準測度函數(shù)開始收斂為止。 ?一般都采用均方差作為標準測度函數(shù)，即準則函數(shù)。 ?k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。 ?樣本點分類和聚類中心的調(diào)整是迭代交替進行的兩個過程。 遼寧省物流航運管理系統(tǒng)工程重點實驗室 kmeans聚類方法 ?kmeans算法描述： ?輸入：聚類個數(shù) k，以及包含 n個數(shù)據(jù)對象的數(shù)據(jù)庫 ?輸出：滿足方差最小標準的 k個聚類 ?處理流程： ?Step1 從 n個數(shù)據(jù)對象任意選擇 k個對象作為初始聚類中心； ?Step2 根