多元統(tǒng)計(jì)分析聚類分析講義-免費(fèi)閱讀
【正文】 分析選用了三個(gè)指標(biāo)：（ 1）大學(xué)以上文化程度的人口占全部人口的比例（ DXBZ）；（ 2）初中文化程度的人口占全部人口的比例（ CZBZ） ；（ 3）文盲半文盲人口占全部人口的比例（ WMBZ），分別用來反映較高、中等、較低文化程度人口的狀況，對(duì) 30個(gè)省、市、自治區(qū)進(jìn)行分類。 ① 這時(shí)所得到的結(jié)果可能只是一個(gè)局部極小值。 二、 系統(tǒng)聚類方法的統(tǒng)一 上述八種系統(tǒng)聚類方法的步驟是完全一樣的，所不同的是類與類之間的距離有不同的定義方法，依此所給出的新類與任一類的距離公式不同。 （ 1）基本思想：來源于方差分析 如果分類合理，同類樣本點(diǎn)的離差平方和應(yīng)當(dāng)較小，而類與類之間的離差平方和應(yīng)該較大。只是遞推公式有所改變。易見，單個(gè)樣本點(diǎn)的重心是自身，兩個(gè)樣本點(diǎn)的重心就是兩點(diǎn)邊線中點(diǎn)。 4．重心 距離 法 （ 1）定義類與類之間的距離 時(shí)，為了體現(xiàn)每類所包含的樣品個(gè)數(shù) ， 給出重心法。 2．最長(zhǎng)距離法 （ 1）定義類pG與qG之間的距離為兩類最遠(yuǎn)樣本點(diǎn)之間的距離 ? ?m a x m a x | ,ipjqp q ij ij i p j qxGD d d x G x G??? ? ? ? NOTE： ① 類與類之間的最 長(zhǎng) 距離有如下的遞推公式，設(shè) rG 為由pG與qG合并所得，則 rG 與其它類( , )kG k pq? 的最 長(zhǎng) 距離 可由下式遞推得到 ? ? ? ? ? ?? ?( , ) m a x | , m a x m a x | , , m a x | ,r k r k i j i r j k i j i p j k i j i q j kD G G D d x G x G d x G x G d x G x G? ? ? ? ? ? ? ? ? ? ?m a x ( , ) , ( , )p k q kD G G D G G? ②有兩點(diǎn)不同：其一，類與類之間距離的定義方法不同；其二，計(jì)算新類與其它類距離所用的遞推公式不同。 1． 最短距離法 （ 1）定義類 pG 與 qG 之間的距離為兩類中所有樣品之間距離最小者 ? ?m i n m i n | ,ipjqp q ij ij i p j qxGD d d x G x G??? ? ? ? 最短距離法就是以 pqD 為準(zhǔn)則進(jìn)行聚類的方法。我們知道，在植物分類學(xué)中，分類的單位：門、綱、目、科、屬、種，其中種是分類的基本單位。其定義為 ? ? ? ?? ? ? ?12211( 2 ) , 1 , 2 , ,nk i i k j jkij ij nnk i i k j jkkx x x xC r i j px x x x?????? ? ?????? 其中，11 pi kikxxp ?? ?，11 pj kjkxxp ?? ?。 用聚類分析解決實(shí)際問題時(shí)，選用何種距離是十分重要的，這通常要結(jié)合有關(guān)專業(yè)的實(shí)際背景而定。 NOTE：明氏距離存在不足 ①它與各指標(biāo)的量綱有關(guān)； ②它沒有考慮指標(biāo)之間的相關(guān)性； ③要求一個(gè)向量的 n 個(gè)分量是不相關(guān)的且具有相同的方差 若考慮 p 個(gè)指標(biāo)的相關(guān)性和異方差等問題，我們可以采用方差加權(quán)距離或 Mahalanobis距離。另一方面是對(duì)變量進(jìn)行分類，即對(duì)所考察的 p個(gè)指標(biāo) ? ?12, , , pX X X X ??，根據(jù) n個(gè)觀測(cè)值12( , , , )i i i pix x x x ?? ( 1,2, , )in?及某些相似性原則將這 p個(gè)變量12, , , pX X X進(jìn)行分類 。 聚類分析的歷史還很短，由于在其發(fā)展過程中首先是著重于實(shí)用，因此相對(duì)而言理論上還不夠完善。 聚類分析 就是一種分類方法，它將一批樣品、變量（或指標(biāo)），按照它們?cè)谛再|(zhì)上相似、疏遠(yuǎn)程度進(jìn)行科學(xué)的分類。有時(shí)，只憑經(jīng)驗(yàn)和專業(yè)知識(shí)還不能進(jìn)行科學(xué)有效的分類，于是數(shù)學(xué)這一有力的工具被逐漸引入到分類學(xué)中，形成了一門新興的學(xué)科 ——數(shù)值分類學(xué)。 【教學(xué)重點(diǎn)】 1． 分類的統(tǒng)計(jì)量 ； 2． 各種聚類分析方法的闡述 。 俗語說，物以類聚、人以群分。本章要介紹的分類的方法稱為 聚類分析（ cluster analysis） ?？梢钥吹剑@種系統(tǒng)歸類過程，顯然與計(jì)算類與類之間的歸類指標(biāo)是什么有關(guān)系，同時(shí)也與歸類的方法有關(guān)系。 第 頁 3 167。設(shè)每個(gè)樣品 ix 有 p個(gè)指標(biāo)，它們的觀測(cè)值可表示為 12( , , , )i i i pix x x x ?? ( 1,2, , )in? 這時(shí)，每個(gè)樣品 ix 可看成 p維空間中的一個(gè)點(diǎn)， n個(gè)樣品就組成 p組空間中的 n 個(gè)點(diǎn)，我們很自然地用各點(diǎn)之間的距離來衡量各樣品之間的靠近程度。 3． Mahalanobis距離 ① ? ? ? ?21()ij i j i jd M x x x x??? ? ? ? 其中， ? 為 p 個(gè)指標(biāo)的協(xié)方差矩陣。設(shè) ? ?12, , ,i i nix x x ? 表示對(duì)變量 ( 1, , )iX i p? 的 n 個(gè)觀測(cè)值，常用的相似系數(shù)有： 1．夾角余弦（向量?jī)?nèi)積） 12211( 1 ) c o s , 1 , 2 , ,nk i k jkij ij nnk i k jkkxxC i j pxx? ???? ? ???? NOTE：①若將變量 iX 的 n 個(gè)觀測(cè)值 ? ?12, , ,i i i niX x x x ?? 和變量 jX 的n 個(gè)觀測(cè)值 ? ?12, , ,j j njx x x ? 看成 n 維空間中的兩個(gè)向量， (1)ijC 正好是這兩個(gè)向量夾角的余弦，這個(gè)統(tǒng)計(jì)量在圖像識(shí)別中非常有用； ② 當(dāng) (1) 1ijC ? 時(shí)，說明完全相似 ； 當(dāng) (1) 0ijC ? 時(shí)，說明完全不一樣。 3 譜系聚類法 （系統(tǒng)聚類） 譜系聚類法是目前應(yīng)用較為廣泛的一種聚類方法。本節(jié)中，我們首先引進(jìn)八種類與類之間的距離，然后再詳細(xì)介紹譜系聚類法。 第 頁 7 STEP04：對(duì) (1)D ，重復(fù)上述對(duì) (0)D 的 STEP02 和 STEP03 兩步得 (2)D 。 如果 r p qG G G? ，則任一類 kG 與新類 rG 的距離公式為： 2 2 2 21122kr kp kq pqD D D D?? ? ? 1 04 ?? ? ?② NOTE：① 當(dāng) 14???時(shí)， krD 為三角形的中線； ② 如果用最短距離法，則 kr kpDD? ；如果用最長(zhǎng)距離法，則 kr kqDD? 。 ① 在實(shí)際問題中，一般事先給定分類的數(shù)目，或給定閾值 T，要求 類與類之間的距離小于 T。 （ 3）例 子： P80續(xù)例 1。 （ 2）基本步驟 基本步驟完全等同于最短距離法。 結(jié)論： （ 1） 各種聚類方法具有共同步驟 首先定義類與類
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1