【正文】 （ 平 ） ， D（ 重 ） D（ 平 ） ； D（ 長 ） D（ 平 ） ； 當(dāng) ， D（ 變平 ） D（ 平 ） ； 當(dāng) ， D（ 變平 ） D（ 平 ） 。 ?? ????? ? 121 kk llll（二）空間的濃縮和擴(kuò)張 定義矩陣的大小 設(shè)同階矩陣 D（ A） 和 D（ B） ， 如果 D（ A） 的每一個(gè)元素 不小于 D（ B） 的每一個(gè)元素 ， 則記為 。 2t)2()(2???? LKLKKLNNWWBtKWLWKLB KWMWLW2t60 五、 系統(tǒng)聚類法的基本性質(zhì) （ 一 ） 單調(diào)性 在聚類分析過程中 ， 并類距離分別為 l k（ k=1， 2，3， … ? ） 若滿足 ， 則稱該聚類方法具有單調(diào)性 。 )()1()(GnPGPTFGG????58 Pseudo F Statistic 0 10 20 30 40 50 60 70 80 90 100 110 120 Number of Clusters 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 59 偽 統(tǒng)計(jì)量的定義為 其中 和 分別是的類內(nèi)離差平方和 ， 是將 K和 L合并為第 M類的離差平方和 = 為合并導(dǎo)致的類內(nèi)離差平方和的增量 。 TPR G?? 12GP2R2R2R2R2R57 偽 F統(tǒng)計(jì)量的定義為 偽 F統(tǒng)計(jì)量用于評(píng)價(jià)聚為 G類的效果 。但是，分類越多，每個(gè)類的類內(nèi)的離差平方和就越小， 也就越大；所以我們只能取合適的 G，使得 足夠大，而 G本生很小，隨著 G的增加， 的增幅不大。 56 統(tǒng)計(jì)量 其中 T是數(shù)據(jù)的總離差平方和， 是組內(nèi)離差平方和。 例如我們給定 T=， 當(dāng)聚類時(shí) ， 類間的距離已經(jīng)超過了 ， 則聚類結(jié)束 。 給定閾值 —— 通過觀測(cè)聚類圖 ， 給出一個(gè)合適的閾值 T。 但是這個(gè)問題又是不可回避的 。 設(shè) Gp和 Gq 為兩個(gè) 類 分別為 Gp和 Gq的重心 ， 類與類之間的距離定義為 兩個(gè)類重心 （ 類內(nèi)樣品平均值 ） 間的平方距離 。 1)(21 2222 〈， ??? pqkqkpkr DDDD ????49 重心法 用重心法對(duì) 5個(gè)樣品進(jìn)行分類 。 離差平方和法定義類間的平方距離為 46 1G2G3G 4G 5G1G2G3G 0 0 0 18 0 32 2 0 4G5G47 2222 qprpq SSSD ???的增量：定義距離為離差平方和其中 是由 Gp和 Gq合并成的 Gr類的類內(nèi)離差平方和 。 離差平方和法的思路是 ， 當(dāng) k固定時(shí) ， 選擇使 S達(dá)到最小的分類 。 2G3G 4G 0 1 0 0 36 25 0 64 49 4 0 1G 2G3G5G1G4G5G? ?? ??pi qjGx Gxijqppq dnnD22 142 然后和被聚為新類 ， 得 ： 6G)1(D3G 4G5G3G4G 0 0 0 4 0 6G 5Gqpkqqkpprk nnDnDnD??? 222遞推公式：43 可變類平均法 類平均法的遞推公式中 ， 沒有反映 Gp類和 Gq類的距離有多大 ， 進(jìn)一步將其改進(jìn) ， 加入 D2Pq， 并給定系數(shù) ?1， 則類平均法的遞推公式改為： 用此遞推公式進(jìn)行聚類就是可變類平均法 。 首先采用絕對(duì)距離計(jì)算距離矩陣： )0(D1G2G 3G4G5G1G2G3G4G5G 0 1 0 0 6 5 0 8 7 2 0 37 然后和被聚為新類 ， 得： 0 0 6 0 8 2 0 3G5G6G4G5G6G 3G 4G}{ qpijpq GGdM a xD ??? ji XX ，：定義距離：qplDDM a xD qlplrl ，遞推公式： ?? }{38 2G3G 4G 0 1 0 0 36 25 0 64 49 4 0 用中間距離法對(duì) 5個(gè)樣品進(jìn)行分類 。 用最短距離法對(duì) 5個(gè)樣品進(jìn)行分類 。分別刪除 D（ 0） 表的第 p， q行和第 p， q列 ， 并新增一行和一列添上的結(jié)果 ， 產(chǎn)生 D（ 1） 表 。 選擇 D（ 0）表中最小的非零數(shù)，不妨假設(shè) ， 于是將 和 合并為一類，記為 。 3 系統(tǒng)聚類方法 根據(jù)樣品的特征 ， 規(guī)定樣品之間的距離 ，共有 個(gè) 。 實(shí)踐中 ， 在開始進(jìn)行聚類分析時(shí) ， 不妨試探性地多選擇幾個(gè)親疏測(cè)度指標(biāo) ， 分別進(jìn)行聚類 ， 然后對(duì)聚類分析的結(jié)果進(jìn)行對(duì)比分析 ， 以確定出合適的親疏測(cè)度指標(biāo) 。 如對(duì)大樣本的聚類問題 ， 不適宜選擇斜交空間距離 ， 因采用該距離處理時(shí) ， 計(jì)算工作量太大 。如聚類方法若選用離差平方和法 ， 則距離只能選 用歐氏距離 。 如在標(biāo)準(zhǔn)化變換之下 ， 夾角余弦實(shí)際上就是相關(guān)系數(shù)；又如若在進(jìn)行聚類分析之前已經(jīng)對(duì)變量的相關(guān)性作了處理 ， 則通常就可采用歐氏距離 ， 而不必選用斜交空間距離 。 如在經(jīng)濟(jì)變量分析中 ， 常用相關(guān)系數(shù)表示經(jīng)濟(jì)變量之間的親疏程度 。 因此我們?cè)谶M(jìn)行聚類分析時(shí) ， 應(yīng)注意親疏測(cè)度指標(biāo)的選擇 。 ? ??? niiii xxx , 21 ?x ? ??? njjjj xxx , 21 ?x? ??? ????nknk kjkink kjkiijijxxxxc1 1221c os ?28 22 1 ijij Cd ?? 五 、 距離和相似系數(shù)選擇的原則 一般說來 ， 同一批數(shù)據(jù)采用不同的親疏測(cè)度指標(biāo) ， 會(huì)得到不同的分類結(jié)果 。 滿足的條件： 完全線性關(guān)系；當(dāng)且僅當(dāng)兩變量之間為,1??ijC成立；和對(duì)一切的 jiC ij ,1|| ?成立；和對(duì)一切的 jiCC jiij ,?26 相似系數(shù)的算法 （ 1）相似系數(shù) 設(shè) 和 是第 和 個(gè)樣品的觀測(cè)值，則二者之間的相似 測(cè)度為 : ? ??? ipii xxx , 21 ?ix ),( 21 ?? jpjj xxx ?jxi j? ??? ??????? pkpk jjkiikpk jjkiikijxxxxxxxx1 1221])(][)([))((?其中 27 （ 2）夾角余弦 夾角余弦時(shí)從向量集合的角度所定義的一種測(cè)度變量之間親疏程度的相似系數(shù)。 211 12))((1 ?????? ???? ?? ?phpk hkjkikjhihijxxxxpd ?25 四、變量間親疏程度的測(cè)度 準(zhǔn)則 當(dāng)對(duì)變量進(jìn)行聚類時(shí) ， 最常見的相似系數(shù)是樣本相關(guān)系數(shù) 。 24 斜交空間距離 由于各變量之間往往存在著不同的相關(guān)關(guān)系，用正交空間的距離來計(jì)算樣本間的距離易變形，所以可以采用斜交空間距離。因此，在實(shí)際聚類分析處理中，馬氏距離也不是理想的距離。比較合理的辦法是用各個(gè)類的樣本來計(jì)算各自的協(xié)方差矩陣，同一類樣本的馬氏距離應(yīng)當(dāng)用這一類的協(xié)方差短陣來計(jì)算。 例如 ， 假設(shè)有一個(gè)二維正態(tài)總體 ， 它的分布為： 22 ?????? ????????????,002N ?????????? ?11兩點(diǎn)。 這表明 ， 馬氏距離對(duì)任何非奇異線性變換都具有不變性 。 如果假定各變量之間相互獨(dú)立 ， 即觀測(cè)變量的協(xié)方差矩陣是對(duì)角矩陣 ， 則馬氏距離就退化為用各個(gè)觀測(cè)指標(biāo)的標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)數(shù)進(jìn)行加權(quán)的歐氏距離 。 21 馬氏距離又稱為廣義歐氏距離 。 ? ? 211 2)()( ?? ?? pk jkikij xxJd?? ??? pkjkikjkikij xxxxLd1)(20 (4)馬氏距離 這是印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯(P． C． ’ Mahalanobis)所定義的一種距離 ，其計(jì)算公式為： )()(2 ji1ji xxxx ????? ?ijd 分別表示第 i個(gè)樣品和第 j樣品的 p指標(biāo)觀測(cè)值所組成的列向量 ， 即樣本數(shù)據(jù)矩陣中第 i個(gè)和第 j個(gè)行向量的轉(zhuǎn)置 ， ?表示觀測(cè)變量之間的協(xié)方差短陣 。 19 (2)杰氏距離 這是杰斐瑞和馬突斯塔 (Jffreys 8L Matusita)所定義的一種距離 ， 其計(jì)算公式為： (3)蘭氏距離 這是蘭思和維廉姆斯 (Lance SL Williams)所給定的一種距離 ， 其計(jì)算公式為： 這是一個(gè)自身標(biāo)準(zhǔn)化的量 ， 由于它對(duì)大的奇異值不敏感， 這樣使得它特別適合于高度偏倚的數(shù)據(jù) 。 ② 明氏距離的定義沒有考慮各個(gè)變量之間的相關(guān)性和重要性 。0 成立當(dāng)且僅當(dāng) j