【正文】 (2)空間的濃縮與擴(kuò)張 以前述之例來(lái)說(shuō)明該性質(zhì) 。并類距離有單調(diào)性符合系統(tǒng)聚類法的基本思想。 如 最大似然譜系聚類(EML)、 密度估計(jì)法 (DEN)、 兩階段密度估計(jì)法 (TWO)等 。 2pqd pG qG)( pX )(qX),( )()(22 qppq XXdd ?其中 表示 , 的重心 與 的平 方： 。 k W當(dāng) 固定時(shí) ， 要選擇使 工商管理學(xué)院信息管理教研室 Ward法的基本思想是 ， 先將 ， 成一類，此時(shí) m0?W個(gè)樣品各自 然后每次將其中某兩類合 并為一類 ， 因每縮小一類離差平方和就要增加 ，每次選擇使增加最小的兩類進(jìn)行合并 ， 直至所有樣品合并為一類為止 。 離差 (距離 )平方和法 (WARD) 工商管理學(xué)院信息管理教研室 離差平方和法是 Ward(1936)提出的，也稱為 Ward法。 顯然 ， 可變類平均法是由類平均法和中間距離法適當(dāng)推 工商管理學(xué)院信息管理教研室 時(shí)就是下面介紹的可變法 )。 重心分別為 ， 和 。 4/1???rkDqkD pkDpqDpqD常取 ， 此時(shí)由初等幾何知 就是以 ， ， 為邊的三角形中 重心法 (CENtroid method) 上述的 最短距離法 、 最長(zhǎng)距離法 、 中間距離法 在定義類與類之間的距離時(shí) ， 沒(méi)有考慮每一類中所包含的 樣品個(gè)數(shù) 。 因此直接聚類法并不是最好的系統(tǒng)聚類法 。 工商管理學(xué)院信息管理教研室 例 用直接聚類法對(duì)某地區(qū)的九個(gè)農(nóng)業(yè)區(qū)進(jìn)行聚類分析 ， 距離矩陣如下： 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第一步 ， 在距離矩陣 D中 ， 除對(duì)角線元素以外 ， d49=d94= ， 故將第 4區(qū)與第 9區(qū)并為一類 ， 劃去第 9行和第 9列； 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第二步 ， 在余下的元素中 ， 除對(duì)角線元素以外 ， d75=d57= ， 故第 5區(qū)與第 7區(qū)并為一類 ， 劃掉第 7行和第 7列； 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第三步 ， 在第二步之后余下的元素之中 ，除對(duì)角線元素以外 ， d82=d28= ，故將第 2區(qū)與第 8區(qū)并為一類 ， 劃去第 8行和第8列； 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第四步 ， 在第三步之后余下的元素中 ， 除對(duì)角線元素以外 ， d43=d34= ， 故將第 3區(qū)與第 4區(qū)并為一類 ， 劃去第 4行和第 4列 ， 此時(shí) ，第 9區(qū)已歸并為一類 。 它先把各個(gè)分類對(duì)象單獨(dú)視為一類 ， 然后根據(jù)距離最小或相似系數(shù)最大的原則 ， 依次選出一對(duì)分類對(duì)象 ， 并成新類 。 工商管理學(xué)院信息管理教研室 再按照最長(zhǎng)距離法遞推公式計(jì)算 15G 16G與 陣 D(8) ： 之間的距離 ， 可得到一個(gè)新的 2 2階距離矩 工商管理學(xué)院信息管理教研室 G15 G16 G15 0 G16 0 第八步，將 G15和 G16歸并為一類。 再分別按最長(zhǎng)距離法遞推公式 工商管理學(xué)院信息管理教研室 計(jì)算 1G12G3G 6G 11G10G， ， ， ， 與 離 ， 可得到一個(gè)新的 6 6階距離矩陣 D(4) ： 之間的距 工商管理學(xué)院信息管理教研室 G1 G3 G6 G10 G11 G12 G1 0 G3 0 G6 0 G10 0 G11 0 G12 0 第四步 ， 在第三步中所得到的新的 6 6階距離矩陣中 ， 非對(duì)角線元素中最小者為 為d3,10=， 故將 G3和 G10歸并為一類 ， 記為G13， 即 G13={G3， G10}={G3， （ G4， G9） }。 綜合上述聚類過(guò)程，可以做出最短距離聚類譜系圖（如下圖所示）。 工商管理學(xué)院信息管理教研室 再按照最短距離法遞推公式計(jì)算 1G13G12G14G， ， 與 階距離矩陣 D(6) ： 之間的距離 ， 可得到一個(gè)新的4 4 工商管理學(xué)院信息管理教研室 G1 G12 G13 G14 G1 0 G12 0 G13 0 G14 0 第六步 ， 在第五步中所得到的新的 4 4階距離矩陣中 ， 非對(duì)角線元素中最小者為 d12,14=,故將 G12和 G14歸并為一類 ,記為 G15,即 G15={G12,G14}={(G2， G8),(G3,(G4， G9))}。 前例 九個(gè)農(nóng)業(yè)區(qū)之間的絕對(duì)值距離矩陣如下： 工商管理學(xué)院信息管理教研室 ???????????????????????????????0)d(D99ij 第一步 ， 在 9 9階距離矩陣 D中 ， 非對(duì)角 工商管理學(xué)院信息管理教研室 ? ?9410 , GGG ?元素中最小者是 ，故首先將第 ?d10G4區(qū)與第 9區(qū)并為一類 ， 記為 ， 即 1G 2G3G 5G 6G 7G 8G 10G分別按照最短距離法遞推公式計(jì)算 ， ， ， ， ， ， 與 之間的距離 得： D1,10=min{d14,d19}=min{,}= D2,10=min{d24,d29}=min{,｝ = D3,10=min{d34,d39}=min{,}= D5,10=min{d54,d59}=min{,}= D6,10=min{d64,d69}=min{,}= D7,10=min{d74,d79}=min{,}= D8,10=min{d84,d89}=min{,}= 工商管理學(xué)院信息管理教研室 工商管理學(xué)院信息管理教研室 1G 2G 3G 5G 6G 7G8G 10G這樣就得到 ， ， ， ， ， ， 上的一個(gè)新的 8 8階距離矩陣 D(2) ： ， G1 G2 G3 G5 G6 G7 G8 G10 G1 0 G2 0 G3 0 G5 0 G6 0 G7 0 G8 0 G10 0 第二步 ， 在上一步驟中所得到的新的8 8階距離矩陣中 ， 非對(duì)角元素中最小者為d57=， 故將 G5與 G7歸并為一類 ， 記為 G11，即 G11={G5， G7}。 下面介紹常用的幾種系統(tǒng)聚類分析方法 。 1CL1CL 0 )5(D⑩ 此時(shí)所有樣品全并成一類 ,得新的距離矩 陣 ： 并類過(guò)程至此結(jié)束 。 )2(D)3(X )4(X? ?)4()3( ,3 XXCL ?⑤ 由 可知類間距離為 ， 故合并 和 為一新類，記為： ⑥ 按最短距離法計(jì)算新類 CL3與其他類的 )3(D距離，得新的距離矩陣： 工商管理學(xué)院信息管理教研室 因此時(shí)類的總個(gè)數(shù) k=3大于 1，重復(fù)并類過(guò)程。 解：設(shè)樣品間的距離取為歐氏距離 ， 類間的距離取為類間的最短距離 ， 根據(jù)上面介紹的步驟 ， 計(jì)算如下： 工商管理學(xué)院信息管理教研室 ① 計(jì)算 5個(gè)樣品 : )5()4()3()2()1( , XXXXX兩兩間的距離，得初始的類間距離矩陣為： )1(D ② 一開(kāi)始 m個(gè)樣品各自構(gòu)成一類 ， 得 5個(gè)類： 工商管理學(xué)院信息管理教研室 ? ??????????????????020)1(D? ? )5,2,1()( ??? iXG ii即類的個(gè)數(shù) k=5。若合并后類的總個(gè)數(shù) k仍大于 1，重復(fù)④和⑤步；直到類的總個(gè)數(shù)為 1時(shí)止。 數(shù)據(jù)變換的目的是為了便于比較 、 計(jì)算上的方便或改變數(shù)據(jù)的結(jié)構(gòu) 。 系統(tǒng)聚類方法的 基本思想是： 首先定義樣品間的距離 （ 或相似系數(shù) ） 和類與類之間的距離 ，一開(kāi)始將 m個(gè)樣品各自自成一類 ， 這里類間的距離與樣品間的距離是等價(jià)的；然后將距離最近的兩類合并 ， 并計(jì)算新類與其它類的類間距離 ， 再按最小距離準(zhǔn)則并類 。 工商管理學(xué)院信息管理教研室 第四節(jié) 系統(tǒng)聚類法 系統(tǒng)聚類法是目前在實(shí)際應(yīng)用中使用最多的一類方法。 在上式中， ix和 jx分別為聚類對(duì)象（樣 品） 各要素標(biāo)準(zhǔn)化數(shù)據(jù)的平均值 。 工商管理學(xué)院信息管理教研室 夾角余弦 工商管理學(xué)院信息管理教研室 樣品 的 n個(gè)觀測(cè)值 )(iX)( jX看成 n維空間的向量 ， 則 ),( 21 inii xxx ?)(iX和 的夾角 ij?的余弦稱為兩向量的相似系數(shù) ， 即 ?????????nkjknkiknkjkikijijxxxxr12121)(c o smji ,2,1, ??工商管理學(xué)院信息管理教研室 時(shí) ， 夾角 在上式中 ， 顯然有： 1≤ )( jX=1， 說(shuō)明兩個(gè)樣 )(iX和 正交時(shí) ， ij?ij?cos≤ 1。 工商管理學(xué)院信息管理教研室 斜交空間距離 工商管理學(xué)院信息管理教研室 由于變量之間存在著不同程度的相關(guān)關(guān)系 ， 在這種情況下 ， 用正交空間距離來(lái)計(jì)算樣品間的距離 ， 易產(chǎn)生形變 ， 從而使得用聚類分析進(jìn)行分類時(shí)的譜系結(jié)構(gòu)發(fā)生變形 。 工商管理學(xué)院信息管理教研室 馬氏距離 工商管理學(xué)院信息管理教研室 樣品 和 )(iX )( jX的馬氏距離為 mji ,2,1, ??)()()( )()(1)()( jiTjiij XXSXXMd ??? ?其中 S1為樣本協(xié)差陣的逆矩陣 。 關(guān)于距離的說(shuō)明： 用 工商管理學(xué)院信息管理教研室 表示樣品 和 ijd )(iX )( jX之間的距離 ， 一 般要求： (1) ijd≥ 0,對(duì)于一切 i,j。 工商管理學(xué)院信息管理教研室 一、距離的計(jì)算 設(shè)觀測(cè)數(shù)據(jù) 工商管理學(xué)院信息管理教研室 ),2,1。,2,1(0l og*njmixxx ijijij?????? 要求 此外 ， 還有平方根變換 ， 立方根變換等 。 工商管理學(xué)院信息管理教研室 表 3— 2 某地區(qū)九個(gè)農(nóng)業(yè)區(qū)的七項(xiàng)經(jīng)濟(jì)指標(biāo)數(shù)據(jù) 工商管理學(xué)院信息管理教研室 區(qū)代號(hào) 指 標(biāo) 人均耕地 x1(畝 /人 ) 勞均耕地 x2(畝 /個(gè) ) 水田比重 x3(%) 復(fù)種指數(shù) x4(%) 糧食畝產(chǎn) x5(kg