【正文】 ]。seuclidean39。minkowski39。euclidean39。 ijxx?( , ) 0 ,ijd x x ?( , ) 0ijd x x ?),(),( ijji xxdxxd ?),(),(),( jkkiji xxdxxdxxd ??10/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 2 1 / 21( , ) [ ( ) ]pi j ik jkkd x x x x????1( , ) | |pi j ik jkkd x x x x????mpkmjkikji xxxxd /11]||[),( ???? () () () ||m a x),(1 jkikpkji xxxxd ?? ??() 其中 m(m0)為常數(shù)。 ijxi j7/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 值得注意的是：第 4章介紹的判別分析和聚類分析是兩種不同目的的分類方法 ， 它們所起的作用是不同的 ?？傊?，需要分類的問題很多，因此聚類分析這個(gè)有用的數(shù)學(xué)工具越來(lái)越受到人們的重視，它在許多領(lǐng)域中都得到了廣泛的應(yīng)用。 本章主要介紹譜系聚類 、 K均值聚類 、 模糊Ｃ均值聚類和模糊減法聚類及其 MATLAB實(shí)現(xiàn) ． 3/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 第 2章 數(shù)據(jù)描述性分析 數(shù)據(jù)描述性分析是從樣本數(shù)據(jù)出發(fā)，概括分析數(shù)據(jù)的集中位置、分散程度、相互關(guān)聯(lián)關(guān)系等，分析數(shù)據(jù)分布的正態(tài)或偏態(tài)特征 .描述性分析是進(jìn)行數(shù)據(jù)進(jìn)一步分析的基礎(chǔ) .對(duì)不同類型量綱的數(shù)據(jù)有時(shí)還要進(jìn)行變換，然后再作出合理分析 .本章主要介紹樣本數(shù)據(jù)的基本統(tǒng)計(jì)量、數(shù)據(jù)的可視化、數(shù)據(jù)分布檢驗(yàn)及數(shù)據(jù)變換等內(nèi)容 . 描述數(shù)據(jù)基本特征主要為集中位置和分散程度。1/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 普通高等院校計(jì)算機(jī)課程規(guī)劃教材 MATLAB數(shù)據(jù)分析方法 李柏年 吳禮斌 主編 張孔生 丁 華 參編 2/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 第六章 聚類分析 “人以類聚 , 物以群分 ” 。 聚類分析又稱群分析 ， 它是研究 （ 樣品或指標(biāo) ） 分類問題的一種多元統(tǒng)計(jì)方法， 所謂類 ， 通俗地說(shuō) ， 就是指相似元素的集合 。 距離聚類 5/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 由于要考察的物價(jià)指數(shù)很多，通常先對(duì)這些物價(jià)指數(shù)進(jìn)行分類。 上述思想正是聚類分析的基本思想 。 8/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 設(shè)有 n 個(gè)樣品的 p 元觀測(cè)數(shù)據(jù) 12( , , , ) , 1 , 2 , , .Ti i i ipx x x x i n??這時(shí)，每個(gè)樣品可看成 元空間的一個(gè)點(diǎn)，也即一個(gè) 維向量，兩個(gè)向量之間的距離記為，滿足如下條件： pp9/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 (1)(非負(fù)性 ) 且 當(dāng)且僅當(dāng) (2)(對(duì)稱性 ) (3)(三角不等式 ) 在聚類分析中最常用的是歐氏距離。 可選項(xiàng) distance有： 39。絕對(duì)距離； 39。切氏距離； 39。馬氏距離。 % 注意此時(shí) d1必須 是一個(gè)行向量，結(jié)果為實(shí)對(duì)稱矩陣 15/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 D = +004 * 0 0 0 0 0 矩陣 D中的第 3行第 2列為 12763，表示上海與 山西的歐氏距離為 12763, 其余類推 . 16/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 若想得到下三角陣，則有命令： S = tril(squareform(d1)) S=+004 * 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 17/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 歐氏距離與量綱有關(guān)，因此，有時(shí)需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處 理，如標(biāo)準(zhǔn)化等，在 Matlab中的命令是： zscore(x). d2=pdist(x,39。 %計(jì)算明氏距離 ,d3為 1行 10列 的行向量 d4=pdist(x,39。) %計(jì)算方差加權(quán)距離 . d6=pdist(x,39。 ./表示對(duì)應(yīng)元素相除， ones(N,1)表示元素全為 1的行向量，向量的長(zhǎng)度為 N。 %指標(biāo)之間的相關(guān)系數(shù) R = 22/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 x1=normc(x)。 39。 最長(zhǎng)距離 39。 加權(quán)平均距離 39。 離差平方和距離 41/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 輸出 Z是一個(gè)矩陣 (N1行， 3列 )， Z的第一列和第二列均為正整數(shù)，第 3列表示聚類的水平，每一行表示在相同的聚類水平上將個(gè)體合并成新的一類，每生成一個(gè)新的類，其編號(hào)將在現(xiàn)有基礎(chǔ)上增加 1。 42/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 3）輸出聚類結(jié)果命令 cluster，調(diào)用格式 T=cluster(z,k) 輸入 Z是一個(gè) (N1)行 3列的矩陣，由 linkage命令生成 , N是樣本容量。 % 歐氏距離 44/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 (1)類間距離為最短距離 , Matlab中的命令： (2)z1= linkage(d), 輸出結(jié)果為： z1 = +004 * % 在 1280的水平， G4,G5合成一類為 G6 % 在 1428的水平， G6,G3合成一類為 G7 % 在 3462的水平， G1,G2合成一類為 G8 % 在 10293的水平， G7,G8合成一類 45/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 譜系聚類圖： H= dendrogram(z1) 4 5 3 1 210002022300040005000600070008000900010000圖 最短距離聚類圖 46/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 (2) 當(dāng)類間距離為最長(zhǎng)距離時(shí)， Matlab中的命令： z2= linkage(d,39。), 輸出結(jié)果為 z3= +004* % 在 1280的水平， G4,G5合成一類為 G6 % 在 1533的水平， G6,G3合成一類為 G7 % 在 3462的水平， G1,G2合成一類為 G8 % 在 12098的水平， G7,G8合成一類 49/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 4 5 3 1 220224000600080001000012022圖 類平均距離聚類圖 50/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 51/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 若我們不知道實(shí)際的觀測(cè)數(shù)據(jù)，但已經(jīng)知道樣品之間的距離，那么如何在 MATLAB中實(shí)現(xiàn)相應(yīng)的聚類？ 例 歐州各國(guó)語(yǔ)言有許多相似之處，有的十分相近，以E,N,Da,Du,G,Fr,S,I,P,H,Fi分別表示英語(yǔ)、挪威語(yǔ)、丹麥語(yǔ)、荷蘭語(yǔ)、德語(yǔ)、法語(yǔ)、西班牙語(yǔ)、意大利語(yǔ)、波蘭語(yǔ)、匈牙利語(yǔ)和荷蘭語(yǔ)等 11種語(yǔ)言 .人們以任兩種語(yǔ)言對(duì) 110這十個(gè)數(shù)字拼寫中第一個(gè)字母不相同的個(gè)數(shù)定義兩種語(yǔ)言間的‘距離’ . 這種距離是廣義距離 .例如，英語(yǔ)和挪威語(yǔ)只有數(shù)字 1和 8的第一個(gè)字母不同，故這兩種語(yǔ)言間的距離定義為 11種語(yǔ)言間的距離矩陣如下： 52/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 E N Da Du G F r S I P H F iE0N 2 0Da 2 1 0Du 7 5 6 0G 6 4 5 5 0F r 6 6 6 9 7 0S 6 6 5 9 7 2 0I 6 6 5 9 7 1 1 0P 7 7 6 1 0 8 5 3 4 0H 9 8 8 8 9 1 0 1 0 1 0 1 0 0F i 9 9 9 9 9 9 9 9 9 8 053/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 54/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 解： d=[2 2 7 6 6 6 6 7 9 9 1 5 4 6 6 6 7 8 9 6 5 6 5 5 6 8 9 5 9 9 9 10 8 9 7 7 7 8 9 9 2 1 5 10 9 1 3 10 9 4 10 9 10 9 8]。 %重心距離 H2= dendrogram(z4) %譜系圖 z5=linkage(d,‘ward’)。g*39。x1x239。g*39。x1x339。g*39。x1x439。g*39。x2x339。g*39。x2x439。g*39。x3x439。試?yán)米V系聚類對(duì) Iris數(shù)據(jù) 進(jìn)行聚類． 解：從 MATLAB系統(tǒng)中導(dǎo)入樣本數(shù)據(jù)的命令 load fisheriris。輸出 IDX為 N行 1列的列向量，包含每個(gè)樣品 屬于哪一類的信息，類似于 Cluster的輸出結(jié)果。 %矩陣 x的行為個(gè)體，列為指標(biāo) [a,b]=kmeans(x,2) %分為 2類，輸出 : a為聚類的結(jié)果， b為聚類重心 , 每一行表示一個(gè)類的重心 a = [2 2 2 2 1 2 1 2 1 2 1 1]’ b = 70/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 x1=x(find(a==1),:) %提取第 1類里的樣品 x2x(find(a==2),:) %提取第 2類里的樣品 x1 = 71/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 x2 = sd1=std(x1), sd2std(x2) % 分別計(jì)算第 1類和第 2類的 標(biāo)準(zhǔn)差 sd1 = sd2 = plot(x(a==1,1),x(a==1,2),39。) %作出聚類的散點(diǎn)圖 72/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 0 . 5 0 . 5 5 0 . 6 0 . 6 5 0 . 7 0 . 7 5 0 . 8 0 . 8 5 0 . 90 . 3 50 . 40 . 4 50 . 50 . 5 5