【正文】 22/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 x1=normc(x)。 % 將 x的各列化為單位向量 J=x1‘*x1 %計(jì)算夾角余弦 J = 23/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 前面，我們介紹了兩個(gè)向量之間的距離，下面我們 介紹兩個(gè)類別之間的距離： ijd ji xx ,qp GG , qp nn ,m inpqp q iji G j GDd???設(shè) 表示兩個(gè)樣品 之間的距離， 分別表示兩個(gè)類別，各自含有 （ 1）最短距離 即用兩類中樣品之間的距離最短者作為兩類間距離 . 個(gè)樣品 . () 24/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 2）最長(zhǎng)距離 ,m a xpqp q iji G j GDd???即用兩類中樣品之間的距離最長(zhǎng)者作為兩類間距離 . () （ 3）類平均距離 1pqp q iji G j GpqDdnn??? ??即用兩類中所有兩兩樣品之間距離的平均作為 兩類間距離 . () 25/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 )()(),( qpTqpqppq xxxxxxdD ????qp xx , qp GG ,（ 4）重心距離 其中 分別是 兩類重心之間的歐氏距離作為類間距離 . () 的重心，這是用 26/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 5）離差平方和距離（ ward） 2 ( ) ( )pq Tp q p q p qpqnnD x x x xnn? ? ??顯然，離差平方和距離與重心距離的平方成正比 . () qp GG , rGqpr nnn ??rG( , )kG k p q?設(shè)有兩類 合并成新的一類 , 包含了 個(gè)樣品，如何計(jì)算 與其他類別 之間的距離，這就需要建立類間距離 的遞推公式 . 27/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 1）最短距離 m in( , )rk pk qkD D D?() （ 2）最長(zhǎng)距離 m a x( , )rk pk qkD D D?（ 3）類平均距離 pqr k p k q krrnnD D Dnn??() () 28/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 4）重心距離 2 2 2 2p q p qr k p k q k p qr r r rn n n nD D D Dn n n n? ? ?() 29/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 22()11rki p q i kr k i ix G G x Gp q kD x xn n n? ? ?? ? ? ?? ??xx證明： 21 1 1i p i q i ki i ix G x G x Gp q p q kx x xn n n n n? ? ?? ? ???? ? ?21i p i q i kpqi i ix G x G x Gr p r q knnx x xn n n n n? ? ?? ? ?? ? ?2pqp q krrnnx x xnn? ? ?2p q p qp q k kr r r rn n n nx x x xn n n n? ? ? ?2p p q qp k q kr r r rn n n nx x x xn n n n? ? ? ?2 2 22 .p q p qp k q k p qr r rn n n nD D Dn n n? ? ?30/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 5） 離差平方和距離 () 2 2 2 2p k q k kr k p k q k p qr k r k r kn n n n nD D D Dn n n n n n??? ? ?? ? ?31/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 K均值聚類 譜系聚類法是目前應(yīng)用較為廣泛的一種聚類法 . 譜系聚類是根據(jù)生物分類學(xué)的思想對(duì)研究對(duì)象進(jìn)行 分類的方法 . 在生物分類學(xué)中，分類的單位是： 門、綱、目、科、屬、種，其中種是分類的基本 單位，分類單位越小，它所包含的生物就越少，生物 之間的共同特征就越多 . 利用這種思想，譜系聚類 首先將各樣品自成一類，然后把最相似 (距離最近或 譜系聚類 32/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 相似 系數(shù)最大 )的樣品聚為小類，再將已聚合的小類按 各類之間的相似性 (用類間距離度量 )進(jìn)行再聚合，隨著相似性的減弱，最后將一切子類都聚為一大類， 從而得到一個(gè)按相似性大小聚結(jié)起來的一個(gè)譜系圖 . 1 譜系聚類的步驟 譜系聚類的步驟如下： (1) n 個(gè)樣品開始作為 n 個(gè)類 , 距離或相似系數(shù)，得到實(shí)對(duì)稱矩陣 計(jì)算兩兩之間的 33/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 11 12 121 22 2012nnn n nnd d dd d dDd d d?????????(2) 從 0D的非主對(duì)角線上找最小 (距離 )或最大元素 (相似系數(shù) )，設(shè)該元素是 pqD則將 ,pqGG合并成一個(gè)新類 ( , )r p qG G G? 在 0D 中去掉 qp G,G所在的兩行、兩列，并加上新類 rG之間的距離或相似系數(shù)，得到 與其余各類 34/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 1n? 階矩陣 1D1D2D 2D(3) 從 出發(fā)重復(fù)步驟 (2)的做法得到 ，再由 出發(fā)重復(fù)上述步驟，直到兩個(gè)樣品聚為一個(gè)大類為止 . (4) 在合并過程中要記下合并樣品的編號(hào)及兩類合并 時(shí)的水平，并繪制聚類譜系圖 . 35/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 4100D例 從例 ， 用下列方法進(jìn)行譜系聚類 . (1)最短距離， (2)最長(zhǎng)距離 . 解：我們用 1， 2， 3， 4， 5分別表示 北京 ,上海 ,安徽 , 陜西和 新疆 ，將歐氏距離矩陣除以 ，記為 0{1}{2}{3}{4}{5}D ?{ 1} { 2 } { 3 } { 4 } { 5 }0 2 0 3 3 0 5 2 8 0 4 0 9 0 0????????36/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 { } , 1 , 2 , 3 , 4 , 5iG i i??0D54 ? 45G ,G6G { 4 , 5 }? 6G 1 2 3,G G G(1)最短距離法：將各個(gè)樣品看成一類，即 ，從 可以看出各類中距離最短的是 ， 因此將 在 水平上合成一個(gè) ,計(jì)算 與 之間的最短距離，得 新類 61 41 5162 42 5263 43 53m in { , } 44 ,m in { , } 80 ,m in { , } 28 ,D d dD d dD d d????37/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 0D1D將計(jì)算結(jié)果作為第一列，從 ，剩余元素作為其余各列得到 , 中去掉第 5行 與 5列 1D ?{4,5}{1}{2}{3}{ 4 , 5 } { 1 } { 2 } { 3 }0 944 0 080 462 0 428 293 763 0????????38/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 1D 6G 3G 6G 3G 7G從 可以看到 與 的距離最小，因此在 的水平上將 與 合成一類 ,即 7 { 3 , 4 , 5 }G ? 7G12,GG，計(jì)算 與 之間的最短距離，得 7 1 6 1 5 17 2 6 2 5 2m in { , } 1 . 0 9 4 4 ,m in { , } 1 . 3 0 8 0 .D D DD D D??1D{3,4}{5}將計(jì)算結(jié)果作為第一列，從 中劃掉 與 所在的行與列，剩余元素作為其他列得 39/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 2{3 , 4 , 5}{1}{ 2}D ?{ 3 , 4 , 5 } { 1 } { 2 }01 .0 9 4 4 01 .3 0 8 0 0 .3 4 6 2 02D 12,GG 8G 87 GG ,87 GG,從 可以看出 最接近，在 的水平上合并成一類 ，至此只剩下兩類 他們之間的距離為 : 故在此水平上將 合成一類，包含了全部的五個(gè)樣品 . 40/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 2譜系聚類的 MATLAB實(shí)現(xiàn) 為了方便快捷地實(shí)現(xiàn)大樣本的聚類分析，我們將利用 MATLAB軟件實(shí)現(xiàn)譜系聚類的方法 . （ 1）譜系聚類命令 linkage。調(diào)用格式： Z = linkage (Y,method) 輸入 Y是一個(gè)距離矩陣，例如 Y是由 pdist命令生成的歐氏距離向量。 Method 是一個(gè)可選項(xiàng)，如最長(zhǎng)距離，最短距離等。 39。single39。 最短距離（缺省狀態(tài)） 39。plete39。 最長(zhǎng)距離 39。average39。 類平均距離 39。weighted39。 加權(quán)平均距離 39。centroid39。 重心距離 39。ward39。 離差平方和距離 41/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 輸出 Z是一個(gè)矩陣 (N1行， 3列 )， Z的第一列和第二列均為正整數(shù)，第 3列表示聚類的水平，每一行表示在相同的聚類水平上將個(gè)體合并成新的一類，每生成一個(gè)新的類，其編號(hào)將在現(xiàn)有基礎(chǔ)上增加 1。 （ 2）作譜系聚類圖命令 dendrogram，其調(diào)用格式 H=dendrogram(z,N) 輸入 Z是一個(gè) (N1)行 3列的矩陣，由 linkage命令生成 , N是樣本容量。輸出產(chǎn)生一個(gè)樹譜系聚類圖，每?jī)深愅ㄟ^線段連接，高度表示類間的距離。 % 此命令作出 m個(gè)樣本的圖形 ,缺省時(shí)默認(rèn)為 30。 42/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 （ 3）輸出聚類結(jié)果命令 cluster，調(diào)用格式 T=cluster(z,k) 輸入 Z是一個(gè) (N1)行 3列的矩陣，由 linkage命令生成 , N是樣本容量。 k是分類數(shù)目 . 輸出 T是一個(gè)列向量 (N行 1列 )，每一個(gè)元素均為正整數(shù)， 且最大的數(shù)字不超過 k,第 i行的數(shù)字 l表示第 i個(gè)個(gè)體屬于第 l類。 如果遇到大樣本數(shù)據(jù)，為了便于得到每一類樣本的編號(hào)， 可以利用如下命令： find(T==l) % 找出屬于第 l類的樣品編號(hào) 43/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 例 利用 MATLAB軟件對(duì)例 5個(gè)省、區(qū)、市 進(jìn)行聚類 解： x=[ ]。 d=pdist(x)。 % 歐氏距離 44/24 MATLAB數(shù)據(jù)分析方法（機(jī)械工業(yè)出版社） 第 6章 聚類分析 (1)類間距離為最短距離 , Matlab中的命令