【正文】 比較最短距離法和最長距離法的并類過程及相應(yīng)的距離矩陣可以看出 ， 每一步都有 工商管理學(xué)院信息管理教研室 ),()()( jidd ijij 對(duì)一切長短 ? 這種性質(zhì)稱為最長距離法比最短距離法擴(kuò)張；或稱最短距離法比最長距離法濃縮。 一個(gè)系統(tǒng)聚類法若能 保證 次并類時(shí)的距 是嚴(yán)格單調(diào)上升 離差平方和法都具有單調(diào)性，只有重心法和中間距離法不具有單調(diào)性。可以證明，最短距離法、最長距離法、類平均法、可變類平均法、 kD k11 ?D ?D 23 ?D ?D4321 DDDD ???? ?1,2,1, ?? mkD k ?設(shè) 表示系統(tǒng)聚類法中 離 ,如前述 5個(gè)產(chǎn)品聚類之例 ,用最短距離時(shí)有 : ， ， ， 。 p? q? ? ?其中 ， ， 和 是參數(shù) ， 不同的系統(tǒng)聚 八種系統(tǒng)聚類方法的距離參數(shù)值 方法名稱 參 數(shù) 矩陣要求 空間 性質(zhì) 最短距離法 1/2 1/2 0 1/2 各種 D 壓縮 最長距離法 1/2 1/2 0 1/2 各種 D 擴(kuò)張 中間距離法 1/2 1/2 0 歐式距離 保持 重心法 0 歐式距離 保持 類平均法 0 0 各種 D 保持 可變平均法 0 各種 D 不定 可變法 0 各種 D 擴(kuò)張 離差平方和法 0 歐式距離 壓縮 p? q? ? ?1??1??krkmm m??p?? q?041 ????rpmmrqmmrpmmrqmm2)1( ??2)1( ??rpm m)1( ??rqmm)1( ??krkpmmmm??krkqmmmm??工商管理學(xué)院信息管理教研室 系統(tǒng)聚類方法的簡單性質(zhì) (1)單調(diào)性 工商管理學(xué)院信息管理教研室 的，則稱它具有單調(diào)性。 工商管理學(xué)院信息管理教研室 三、系統(tǒng)聚類方法的統(tǒng)一和比較 系統(tǒng)聚類方法的統(tǒng)一 上述介紹的各種系統(tǒng)聚類分析方法中 ，除直接聚類法外 ， 其余八種方法的聚類的步驟完全一樣 ， 所不同的是類與類之間的距離用不同的定義方法 ， 因而得到不同的遞推公式 ， Lance和 Williams于 1967年首先給出了統(tǒng)一公式 ， 這樣為編制統(tǒng)一的計(jì)算程序提供了很大的方便 。 除上述這些系統(tǒng)聚類方法外 ， 還有幾種系 統(tǒng) 聚 類 分 析 方 法 在 SAS/STAT 軟 件 的CLUSTER過程中給出 。 這表明 Ward法定義 工商管理學(xué)院信息管理教研室 pG qG和 的距離定義為如下遞推公式： kGrG與其它類 當(dāng) 合并為 rG后 ， 可變法把 2222pqkrkqkkrqkpkkrpkrk DmmmDmmmmDmmmmD???????? 在實(shí)際應(yīng)用中，離差平方和法應(yīng)用比較廣泛，分類效果較好。經(jīng)整理可得 ? ?)()()( 1 qqpprr XmXmmX ??其中 工商管理學(xué)院信息管理教研室 )()( )()()()(2 qpTqprqppq XXXXmmmD ???當(dāng)樣品間距采用歐氏距離時(shí) ， 上式可表示為 22pqrqppq dmmmD ?的類間距離與重心法只差一個(gè)常數(shù)倍。 Ward法把兩類合并后增加的離差平方和看成類間的平方距離 ， 即令 )(2 qprpq WWWD ???pG qG和 的平方距離 ,其中 表示 ? ?qpr GGG ,?， 工商管理學(xué)院信息管理教研室 的定義，可得 qpr WWW , qpr GGG ,rW分別為 類中樣品的離差 平方和 。 )()(tiX)(tX n tW其中 ， 為 維向量 ， 個(gè)類的總離差平方和為 k? ??? ??????ktttiTmittiktt XXXXWWt1)()()(1)()()(1)()(達(dá)到極小的分類。它基于方差分析思想，如果類分得正確，則同類樣品之間的離差平方和應(yīng)當(dāng)較小，不同樣品之間的離差平方和應(yīng)當(dāng)較大。 可變法及 McQuitty相似分析法 (MCQ) 工商管理學(xué)院信息管理教研室 pG qG rG當(dāng)某步類 和 合并為 后 ， 可變法 把 距離的遞推公式定義為 kGrG與其它類 ),()(2)1( 2222 qpkDDDDpqqkpkrk ???????在 SAS/STAT軟件的 CLUSTER過程中使用 0??的遞推公式 2222 qkpkrkDDD??并把此方法稱為 McQuitty相似分析法。 0??03/1 ???? qp mm ?qp mm ?廣得到的 (當(dāng) 時(shí)就是類平均法；當(dāng) 且 時(shí)就是中間距離法 。 ),(222 qpkDmmDmmD qkrqpkrprk ??? 可變類平均法 (FLExiblebeta method) 類平均法的類間距離遞推公式中 ， 沒有反映 工商管理學(xué)院信息管理教研室 pG qG和 之間距離 pqD的影響 ， 可變類平均法 將合并后新類 距離公式進(jìn)一 kGrG與其它類 步推廣為 ),()1( 2222 qpkDDmmDmmD pqqkrqpkrprk ?????????????? 1??其中 是可變參數(shù) ， 一般取 。 顯然有 設(shè)某一類 工商管理學(xué)院信息管理教研室 )(1 )()()( qqpprr XmXmmX ??的距離是 kG),( qpk ? )(kXrG的重心為 ， 它 與新類 ? ?)()( , krrk XXdD ?如果樣品間的距離定義為歐氏距離 ， 則有 ),()()(222)()()()(2qpkDmmmmDmmDmmXXXXDpqrqrpqkrqpkrprkTrkrk??????? 類 (組 )平均法 (AVErage linkage) 重心法雖然有較好的代表性 ， 但并未充分利用各個(gè)樣品的信息 ， 有人提出用兩類樣品兩兩之間平方距離的平均作為類之間的距離 ， 即 工商管理學(xué)院信息管理教研室 ????qp GjGiijqppq dmmD,22 1采用這種類間距離的聚類方法 ,稱為類平均法 。 工商管理學(xué)院信息管理教研室 pG qG rG設(shè)某步將類 和 合并為 它們所 包 含的樣品個(gè)數(shù)分別為 pm qm rm)( qpr mmm ??)( pX )(qX )(rX， 和 。 如果將兩類間的距離定義為兩類重心間的距離 ， 這種聚類方法稱為重心法 。 工商管理學(xué)院信息管理教研室 pG qGrGrGkG當(dāng)某步類 和 合并為 后 ， 按中 間距離法計(jì)算新類 與其它類 的類間距 離 ， 遞推公式為 ),041()(21 2222 qpkDDDDpqqkpkrk ?????????上式中： 工商管理學(xué)院信息管理教研室 邊上的中線。 以下給出的聚類方法 ， 僅作為了解 。 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij工商管理學(xué)院信息管理教研室 G10 G11 G12 G13 G14 G15 G16 G17 G1 G2 G8 G3 G4 G9 G6 G5 G7 直接聚類法譜系聚類圖 0 1 2 3 4 5 6 7 根據(jù)上述步驟 ， 我們可以做出聚類過程的譜系圖 : 直接聚類法雖然簡便 ， 但在歸類過程中是劃去行和列的 ， 因而難免有信息損失 。 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第五步 ， 在第四步之后余下的元素中 ， 除對(duì)角線元素以外 ， d21=d12= ， 故將第 1區(qū)與第 2區(qū)并為一類 ， 劃去第 2行與第 2列 ， 此時(shí) ， 第 8區(qū)已歸并為一類； 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第六步 ， 在第五步之后余下的元素中 ， 除對(duì)角線元素以外 ， d65=d56= ， 故將第 5區(qū)與第 6區(qū)并為一類 ， 劃去第 6行和第 6列 ， 此時(shí) ， 第 7區(qū)已歸并為一類； 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第七步 ， 在第六步之后余下的元素中 ， 除對(duì)角線元素以外 ， d31=d13= ， 故將第 1區(qū)與第 3區(qū)并為一類 ， 劃去第 3行和第 3列 ， 此時(shí) ， 第 1， 2， 3， 4， 8， 9區(qū)已歸并為一類 。 那么 ， 經(jīng)過 m1次就可以把全部分類對(duì)象歸為一類 ， 這樣就可以根據(jù)歸并的先后順序做出聚類分析的譜系圖 。 如果其中一個(gè)分類對(duì)象已歸于一類 ， 則把另一個(gè)也歸入該類；如果一對(duì)分類對(duì)象正好屬于已歸的兩類 ， 則把這兩類并為一類 。 工商管理學(xué)院信息管理教研室 G10 G11 G12 G13 G14 G15 G16 G17 G1 G2 G8 G3 G4 G9 G5 G7 G6 譜系聚類圖 0 1 2 3 4 5 6 7 直接聚類法 直接聚類法 ， 是根據(jù)距離或相似系數(shù)矩陣的結(jié)構(gòu)一次并類得到結(jié)果 ， 是一種簡便的聚類方法 。此時(shí)，各個(gè)分類對(duì)象均被歸并為一類。 工商管理學(xué)院信息管理教研室 再按照最長距離法遞推公式計(jì)算 13G 14G15G， 與 離矩陣 D(7) ： 之間的距離 ， 可得到一個(gè)新的 3 3階距 工商管理學(xué)院信息管理教研室 G13 G14 G15 G13 0 G14 0 G15 0 第七步 ， 在第六步中所得到的新的 3 3階距離矩陣中 ， 非對(duì)角線元素中最小者為 d13,14=,故將 G13和 G14歸并為一類 ,記為 G16,即 G16={G13,G14}={(G3, (G4,G9)),(G1,(G2， G8))}。 工商管理學(xué)院信息管理教研室 再按照最長距離法遞推公式計(jì)算 1G12G6G13G11G， ， ， 與 的 5 5階距離矩陣 D(5) ： 之間的距離 ， 可得到一個(gè)新 工商管理學(xué)院信息管理教研室 G1 G6 G11 G12 G13 G1 0 G6 0 G11 0 G12 0 G13 0 第五步 ， 在第四步中所得到的新的 5 5階距離矩陣中 ， 非對(duì)角線元素中最小者為 d1,12=， 故將 G1和 G12歸并為一類 ， 記為G14， 即 G14={G1， G12}={G1， （ G2， G8） }。 再分別按照最長距離法遞 工商管理學(xué)院信息管理教研室