【正文】 析（ cluster analysis） 。比如利用學(xué)生成績數(shù)據(jù)就可以對(duì)學(xué)生按照理科或文科成績（或者綜合考慮各科成績）分類。后來，隨著多元分析方法的引進(jìn)，從數(shù)值分析學(xué)中逐漸分離出了聚類分析這個(gè)分支。 隨著人類社會(huì)的 發(fā)展與科學(xué)技術(shù)的進(jìn)步，對(duì)分類學(xué)的要求也越來越高。 俗語說，物以類聚、人以群分。例如，在考古學(xué)中，要將某些古生物化石進(jìn)行科學(xué)的分類；在生物學(xué)中，要根據(jù)各生物體的綜合特征進(jìn)行分類；在經(jīng)濟(jì)學(xué)中 ，為了研究不同地區(qū)城鎮(zhèn)居民的收入及消費(fèi)情況，往往需要?jiǎng)澐譃椴煌念愋腿パ芯?；在產(chǎn)品質(zhì)量管理中，也要根據(jù)各產(chǎn)品的某些重要指標(biāo)而將其分為一等品，二等品等等。 167。Equation Chapter 1 Section 1 《 多 元 統(tǒng) 計(jì) 分 析 》 Multivariate Statistical Analysis 主講：統(tǒng)計(jì)學(xué) 院 統(tǒng)計(jì) 學(xué)院 應(yīng)用統(tǒng)計(jì)學(xué)教研室 School of Statistics 注意電子文檔使用范圍 第 頁 1 第 二 章 聚類分析 【教學(xué)目的】 1． 讓學(xué)生了解 聚類 分析 的背景、基本思想 ； 2． 掌握聚類分析的基本原理與方法 ； 3． 掌握聚類分析的操作步驟和基本過程 ； 4． 學(xué)會(huì)應(yīng)用聚類分析解決實(shí)際問題 。 【教學(xué)重點(diǎn)】 1． 分類的統(tǒng)計(jì)量 ； 2． 各種聚類分析方法的闡述 。 1 概述 一、 什么是 聚類 分析 1．研究背景 在實(shí)際問題中，經(jīng)常要遇到分類的問題?？傊?，科學(xué)的分類方法無論在自然科學(xué)，還是在社會(huì)科學(xué)中，都有著極其廣泛的應(yīng)用。但什么是分類的根據(jù)呢？比如，要想把中國的縣分成若干類，就有很多種分類法；可以按照自然條件來分，比如考慮降水、土地、日照、濕度等各方面；也可以考慮收入、教育水準(zhǔn)、醫(yī)療條件、基礎(chǔ)設(shè)施等指標(biāo)；既可以用某一項(xiàng)來分類，也可以同時(shí)考慮多項(xiàng)指標(biāo)來分類。有時(shí)，只憑經(jīng)驗(yàn)和專業(yè)知識(shí)還不能進(jìn)行科學(xué)有效的分類，于是數(shù)學(xué)這一有力的工具被逐漸引入到分類學(xué)中，形成了一門新興的學(xué)科 ——數(shù)值分類學(xué)。 對(duì)于一個(gè)數(shù)據(jù)，人們既可以按照觀測(cè)值對(duì)變量（或指標(biāo)）進(jìn)行分類 (相當(dāng)于對(duì)數(shù)據(jù)中的列分類 )，也可以按照變量對(duì)觀測(cè)值（事件，樣品）來分類（相當(dāng)于對(duì)數(shù)據(jù)中的行分類）。當(dāng)然，并不一定事先假定 有多少類，完全可以按照數(shù)據(jù)本身的規(guī)律來分類。有人稱按照觀測(cè)值對(duì)變量的分類為 R型聚類，而稱按照變量對(duì)觀測(cè)值的分類稱為 Q型聚類。 聚類分析 就是一種分類方法，它將一批樣品、變量（或指標(biāo)），按照它們?cè)谛再|(zhì)上相似、疏遠(yuǎn)程度進(jìn)行科學(xué)的分類。 2．基本思想 哲學(xué)理念：物以類聚、人以群分 聚類分析的基本思想是，從一批樣品的多個(gè)指標(biāo)變量中，定義能度量樣品間或變量間 相似程度（或親疏關(guān)系）的統(tǒng)計(jì)量，在此基礎(chǔ)上求出各樣品（或變量）之間的相似程度度量值，按相似程度的大小，把樣品（或變量）逐一分類，關(guān)系密切的類聚集到一個(gè)小的分類單位，關(guān)系疏遠(yuǎn)的類聚集到一個(gè)大的分類單位，直到所有的樣品或變量都聚集完畢，把不同的類型一一劃分出來，形成一個(gè)親疏關(guān)系譜系圖，用以更直觀地顯示分類對(duì)象（樣品或變量）的差異和聯(lián)系。這一歸類過程可以用一張聚類圖（或稱譜系圖）形象地表示出來，由譜系圖來進(jìn)行分 類。 二、 聚類分析方法 值得一提的是聚類分析和第 三 章的判別分析都是研究分類問題，但二者有本質(zhì)的區(qū)別。 聚類分析的歷史還很短，由于在其發(fā)展過程中首先是著重于實(shí)用，因此相對(duì)而言理論上還不夠完善。目前，聚類統(tǒng)計(jì)量種類繁多，聚類方法也五花八門，但由于聚類分析方法能廣泛地應(yīng)用于解決實(shí)際問題，它和回歸分析，判別分析一起被稱為多元分析的三大實(shí)用方法。關(guān)于其它聚類方法，如模糊聚類法，動(dòng)態(tài)聚類法，有序樣品聚類法，分解法，加入法等等，可以參看其它的文獻(xiàn)。 2 聚類統(tǒng)計(jì) 量 聚類分析所研究的內(nèi)容包括兩個(gè)方面 ， 一是對(duì)樣品進(jìn)行分類，設(shè) n個(gè)樣品，每個(gè)樣品均用 p個(gè)指標(biāo)的觀測(cè)向量 ( 1,2, , )ix i n? 來表 征，要根據(jù) ix 間某種相似性度量，將這 n個(gè)樣品進(jìn)行分類。另一方面是對(duì)變量進(jìn)行分類，即對(duì)所考察的 p個(gè)指標(biāo) ? ?12, , , pX X X X ??，根據(jù) n個(gè)觀測(cè)值12( , , , )i i i pix x x x ?? ( 1,2, , )in?及某些相似性原則將這 p個(gè)變量12, , , pX X X進(jìn)行分類 。 對(duì)樣品進(jìn)行分類的方法稱為 Q型聚類法，所用的統(tǒng)計(jì)量用“距離”這一術(shù)語描述；對(duì)變量進(jìn)行分類的方法，稱為 R型聚類法，所用的統(tǒng)計(jì)量用“相似系數(shù)”描述。 一、 樣品間的相似性度量 —— 距離 我們將不區(qū)分樣品與它的指標(biāo)觀測(cè)值。 設(shè) ( , )ijdx x 為樣品 ix 與 jx 之間的距離，則一般要求它滿足下列三個(gè)條件 ② ： 下 面介紹幾種聚類分析中的常用距離。 NOTE：明氏距離存在不足 ①它與各指標(biāo)的量綱有關(guān)； ②它沒有考慮指標(biāo)之間的相關(guān)性； ③要求一個(gè)向量的 n 個(gè)分量是不相關(guān)的且具有相同的方差 若考慮 p 個(gè)指標(biāo)的相關(guān)性和異方差等問題，我們可以采用方差加權(quán)距離或 Mahalanobis距離。 ② 在聚類分析中，有時(shí)所用的距離并不滿足第三條，我們?cè)趶V義的角度上仍稱它為距離。 第 頁 4 1 / 2221()p ik jkij k kxxd ?????? ????? 其中， 2k? 為第 k 個(gè)指標(biāo)的方差。實(shí)際應(yīng)用中，若 2k? 與 ? 未知，可用觀測(cè)數(shù)據(jù)對(duì)其估計(jì)，一般用 2?k? 和樣本協(xié)方差陣 S 作為其估計(jì)。 用聚類分析解決實(shí)際問題時(shí)，選用何種距離是十分重要的，這通常要結(jié)合有關(guān)專業(yè)的實(shí)際背景而定。 二、 變量間的“關(guān)聯(lián)性”度量 —— 相似系數(shù) 當(dāng)對(duì) p 個(gè)指標(biāo)（或變量）進(jìn)行聚類時(shí)，用相似系數(shù)衡量變量間的關(guān)聯(lián)程度。 ijC 越接近于 1，說明變量 iX 和 jX 之間的關(guān)系越密切。 2．相關(guān)系數(shù)（相似系數(shù)） 從統(tǒng)計(jì)角度看，兩個(gè)隨機(jī)變量的相關(guān)系數(shù)是描述這兩個(gè)變量關(guān)聯(lián)性（線性關(guān)系）強(qiáng)弱的一個(gè)很有用的特征數(shù)字。其定義為 ? ? ? ?? ? ? ?12211( 2 ) , 1 , 2 , ,nk i i k j jkij ij nnk i i k j jkkx x x xC r i j px x x x?????? ? ?????? 其中，11 pi kikxxp ?? ?，11 pj kjkxxp ?? ?。 A B C D 第 頁 5 NOTE：① ( , 1, 2, , )ijr i j p?其實(shí)就是 ? ?12, , , pX X X X ??的樣本相關(guān)矩陣中的各元素； ②ijr就是零均值化后向量的夾角余弦； ③如果將原始數(shù)據(jù)標(biāo)準(zhǔn)化，則 0ix? 且 0jx?，這時(shí)有 cosij ijr ??。 第