【正文】 1 第一講 聚類分析 2 系統(tǒng)聚類分析 快速聚類 有序聚類 其它聚類分析 3 例 對 10位應(yīng)聘者做智能檢驗(yàn)。 3項(xiàng)指標(biāo) X， Y和 Z分別表示數(shù)學(xué)推理能力，空間想象能力和語言理解能力。其得分如下，選擇合適的統(tǒng)計(jì)方法對應(yīng)聘者進(jìn)行分類。 應(yīng)聘者 1 2 3 4 5 6 7 8 9 10 X 28 18 11 21 26 20 16 14 24 22 Y 29 23 22 23 29 23 22 23 29 27 Z 28 18 16 22 26 22 22 24 24 24 167。 1 什么是聚類分析 4 5 6 我們直觀地來看，這個(gè)分類是否合理？ 計(jì)算 4號(hào)和 6號(hào)得分的離差平方和： (2120)2+(2323)2+(2222)2=1 計(jì)算 1號(hào)和 2號(hào)得分的離差平方和： (2818)2+(2923)2+(2818)2=236 計(jì)算 1號(hào)和 3號(hào)得分的離差平方和為 482，由此可見一般，分類可能是合理的，歐氏距離很大的應(yīng)聘者沒有被聚在一起。 由此，我們的問題是如何來選擇樣品間相似的測度指標(biāo)，如何將有相似性的類連接起來？ 7 聚類分析根據(jù)一批樣品的許多觀測指標(biāo) ， 按照一定的數(shù)學(xué)公式具體地計(jì)算一些樣品或一些參數(shù)(指標(biāo) )的相似程度 ， 把相似的樣品或指標(biāo)歸為一類 ，把不相似的歸為一類 。 例如對上市公司的經(jīng)營業(yè)績進(jìn)行分類；據(jù)經(jīng)濟(jì)信息和市場行情，客觀地對不同商品、不同用戶及時(shí)地進(jìn)行分類。又例如當(dāng)我們對企業(yè)的經(jīng)濟(jì)效益進(jìn)行評價(jià)時(shí)，建立了一個(gè)由多個(gè)指標(biāo)組成的指標(biāo)體系，由于信息的重疊，一些指標(biāo)之間存在很強(qiáng)的相關(guān)性，所以需要將相似的指標(biāo)聚為一類，從而達(dá)到簡化指標(biāo)體系的目的。 8 一 、 變量測量尺度的類型 為了將樣本進(jìn)行分類 ， 就需要研究樣品之間的關(guān)系；而為了將變量進(jìn)行分類 ， 就需要研究變量之間的關(guān)系 。 但無論是樣品之間的關(guān)系 ， 還是變量之間的關(guān)系 ， 都是用變量來描述的 ， 變量的類型不同 ，描述方法也就不同 。 通常 ， 變量按照測量它們的尺度不同 ， 可以分為三類 。 (1)間隔尺度 。 指標(biāo)度量時(shí)用數(shù)量來表示 ， 其數(shù)值由測量或計(jì)數(shù) 、 統(tǒng)計(jì)得到 ， 如長度 、 重量 、 收入 、支出等 。 一般來說 ， 計(jì)數(shù)得到的數(shù)量是離散數(shù)量 ，測量得到的數(shù)量是連續(xù)數(shù)量 。 在間隔尺度中如果存在絕對零點(diǎn) ， 又稱比例尺度 。 167。 2 相似系數(shù)和距離 9 (2)順序尺度 。 指標(biāo)度量時(shí)沒有明確的數(shù)量表示 ， 只有次序關(guān)系 ， 或雖用數(shù)量表示 ， 但相鄰兩數(shù)值之間的差距并不相等 ， 它只表示一個(gè)有序狀態(tài)序列 。 如評價(jià)酒的味道 ，分成好 、 中 、 次三等 ， 三等有次序關(guān)系 ， 但沒有數(shù)量表示 。又如評價(jià)產(chǎn)品的質(zhì)量 ， 雖可用一 、 二 、 三等來表示 ， 但一等與二等之間 、 二等與三等之間的差距并不一定相等 。 (3)名義尺度 。 指標(biāo)度量時(shí)既沒有數(shù)量表示也沒有次序關(guān)系 ， 只有一些特性狀態(tài) ， 如眼睛的顏色 ， 化學(xué)中催化劑的種類等 。 在名義尺度中只取兩種特性狀態(tài)的變量是很重要的 ， 如電路的開和關(guān) ， 天氣的有雨和無雨 ， 人口性別的男和女 ， 醫(yī)療診斷中的 “ 十 ” 和 “ 一 ” ， 市場交易中的買和賣等都是此類變量 。 顯然 ， 對于具有多個(gè)特性狀態(tài)的變量 ， 可通過并類的方法將其轉(zhuǎn)化為二性狀態(tài)變量 。 10 二 、 數(shù)據(jù)的變換處理 所謂數(shù)據(jù)變換，就是將原始數(shù)據(jù)矩陣中的每個(gè)元素，按照某種特定的運(yùn)算把它變成為一個(gè)新值，而且數(shù)值的變化不依賴于原始數(shù)據(jù)集合中其它數(shù)據(jù)的新值。 中心化變換 中心化變換是一種坐標(biāo)軸平移處理方法 ， 它是先求出每個(gè)變量的樣本平均值 ， 再從原始數(shù)據(jù)中減去該變量的均值 ， 就得到中心化變換后的數(shù)據(jù) 。 設(shè)原始觀測數(shù)據(jù)矩陣為： ?????????????npnnppxxxxxxxxx??????212222111211X11 jijij xxx ??* ),3,2,1。,3,2,1( pjni ?? ??中心化變換的結(jié)果是使每列數(shù)據(jù)之和均為 0， 即每個(gè)變量的均值為 0， 而且每列數(shù)據(jù)的平方和是該列變量樣本方差的 (n—1)倍 ， 任何不同兩列數(shù)據(jù)之交叉乘積是這兩列變量樣本協(xié)方差的 (n—1)倍 ， 所以這是一種很方便地計(jì)算方差與協(xié)方差的變換 。 12 極差規(guī)格化變換 規(guī)格化變換是從數(shù)據(jù)矩陣的每一個(gè)變量中找出其最大值和最小值 ， 這兩者之差稱為極差 ， 然后從每個(gè)變量的每個(gè)原始數(shù)據(jù)中減去該變量中的最小值 ， 再除以極差 ， 就得到規(guī)格化數(shù)據(jù) 。 即有： jniijijij Rxxx ,2,1*)m in (???? ),3,2,1。,3,2,1( pjni ?? ??niijijnij xxR,2,1,2,1)m i n ()(m a x?? ????10 * ?? ijx13 經(jīng)過規(guī)格化變換后 ， 數(shù)據(jù)矩陣中每列即每個(gè)變量的最大數(shù)值為 1， 最小數(shù)值為 0， 其余數(shù)據(jù)取值均在 0－ 1之間；并且變換后的數(shù)據(jù)都不再具有量綱 ， 便于不同的變量之間的比較 。 標(biāo)準(zhǔn)化變換 標(biāo)準(zhǔn)化變換也是對變量的數(shù)值和量綱進(jìn)行類似于規(guī)格化變換的一種數(shù)據(jù)處理方法 。 首先對每個(gè)變量進(jìn)行中心化變換 ， 然后用該變量的標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化 。 即有： jjijij Sxxx ??* ),3,2,1。,3,2,1( pjni ?? ??????? ni jijjxxnS12)(1114 經(jīng)過標(biāo)準(zhǔn)化變換處理后 ， 每個(gè)變量即數(shù)據(jù)矩陣中每列數(shù)據(jù)的平均值為 0， 方差為 1， 且也不再具有量綱 ， 同樣也便于不同變量之間的比較 。 變換后 ， 數(shù)據(jù)短陣中任何兩列數(shù)據(jù)乘積之和是兩個(gè)變量相關(guān)系數(shù)的 （ n－ 1） 倍 ， 所以這是一種很方便地計(jì)算相關(guān)矩陣的變換 。 4． 對數(shù)變換 對數(shù)變換是將各個(gè)原始數(shù)據(jù)取對數(shù) ， 將原始數(shù)據(jù)的對數(shù)值作為變換后的新值 。 即： )l o g (* ijij xx ?15 三、樣品間親疏程度的測度 研究樣品或變量的親疏程度的數(shù)量指標(biāo)有兩種 ， 一種叫相似系數(shù) ， 性質(zhì)越接近的變量或樣品 ， 它們的相似系數(shù)越接近于 1或一 l， 而彼此無關(guān)的變量或樣品它們的相似系數(shù)則越接近于0， 相似的為一類 ， 不相似的為不同類；另一種叫距離 ， 它是將每一個(gè)樣品看作 p維空間的一個(gè)點(diǎn) ， 并用某種度量測量點(diǎn)與點(diǎn)之間的距離 ，距離較近的歸為一類 ， 距離較遠(yuǎn)的點(diǎn)應(yīng)屬于不同的類 。 變量之間的聚類即只型聚類分析 ， 常用相似系數(shù)來測度變量之間的親疏程度 。 而樣品之間的聚類即 Q型聚類分析 ， 則常用距離來測度樣品之間的親疏程度 。 16 定義距離的準(zhǔn)則 定義距離要求滿足第 i個(gè)和第 j個(gè)樣品之間的距離如下四個(gè)條件 : 。0 成立和對一切的 jidij ?。0 成立當(dāng)且僅當(dāng) jid ij ??。0 成立和對一切的 jidd jiij ?.成立和對于一切的 jiddd kjikij ??17 常用距離的算法 設(shè) 和 是第 i和 j 個(gè)樣品的觀測值，則二者之間的距離 為： gpkgjkikij xxd11 )||(?? ???? ?? pk jkikij xxd 1 2)(? ??? ipii xxx , 21 ?ix ),( 21 ?? jpjj xxx ?jx明氏距離 特別，歐氏距離 (1) 明氏距離測度 18 該距離的缺點(diǎn)明考夫斯基距離主要有以下兩個(gè)缺點(diǎn)： ① 明氏距離的值與各指標(biāo)的量綱有關(guān) ， 而各指標(biāo)計(jì)量單位的選擇有一定的人為性和隨意性 ，各變量計(jì)量單位的不同不僅使此距離的實(shí)際意義難以說清 ， 而且 ， 任何一個(gè)變量計(jì)量單位的改變都會(huì)使此距離的數(shù)值改變從而使該距離的數(shù)值依賴于各變量計(jì)量單位的選擇 。 ② 明氏距離的定義沒有考慮各個(gè)變量之間的相關(guān)性和重要性 。 實(shí)際上 ， 明考夫斯基距離是把各個(gè)變量都同等看待 ， 將兩個(gè)樣品在各個(gè)變量上的離差簡單地進(jìn)行了綜合 。 19 (2)杰氏距離 這是杰斐瑞和馬突斯塔 (Jffreys 8L Matusita)所定義的一種距離 ， 其計(jì)算公式為： (3)蘭氏距離 這是蘭思和維廉姆斯 (Lance SL Williams)所給定的一種距離 ， 其計(jì)算公式為： 這是一個(gè)自身標(biāo)準(zhǔn)化的量 ， 由于它對大的奇異值不敏感， 這樣使得它特別適合于高度偏倚的數(shù)據(jù) 。 雖然這個(gè)距離有助于克服明氏距離的第一個(gè)缺點(diǎn) ， 但它也沒有考慮指標(biāo)之間的相關(guān)性 。 ? ? 211 2)()( ?? ?? pk jkikij xxJd?? ??? pkjkikjkikij xxxxLd1)(20 (4)馬氏距離 這是印度著名統(tǒng)計(jì)學(xué)家馬哈拉諾比斯(P． C． ’ Mahalanobis)所定義的一種距離 ，其計(jì)算公式為： )()(2 ji1ji xxxx ????? ?ijd 分別表示第 i個(gè)樣品和第 j樣品的 p指標(biāo)觀測值所組成的列向量 ， 即樣本數(shù)據(jù)矩陣中第 i個(gè)和第 j個(gè)行向量的轉(zhuǎn)置 ， ?表示觀測變量之間的協(xié)方差短陣 。 在實(shí)踐應(yīng)用中 ， 若總體協(xié)方差矩陣 ?未知 ， 則可用樣本協(xié)方差矩陣作為估計(jì)代替計(jì)算 。 21 馬氏距離又稱為廣義歐氏距離 。 顯然 ， 馬氏距離與上述各種距離的主要不同就是馬氏距離考慮了觀測變量之間的相關(guān)性 。 如果假定各變量之間相互獨(dú)立 ， 即觀測變量的協(xié)方差矩陣是對角矩陣 ， 則馬氏距離就退化為用各個(gè)觀測指標(biāo)的標(biāo)準(zhǔn)差的倒數(shù)作為權(quán)數(shù)進(jìn)行加權(quán)的歐氏距離 。 因此 ，馬氏距離不僅考慮了觀測變量之間的相關(guān)性 ， 而且也考慮到了各個(gè)觀測指標(biāo)取值的差異程度 ， 消除了各個(gè)觀測指標(biāo)不同量綱的影響 。 這表明 ， 馬氏距離對任何非奇異線性變換都具有不變性 。 為了對馬氏距離和歐氏距離進(jìn)行一下比較 ， 以便更清楚地看清二者的區(qū)別和聯(lián)系 ， 現(xiàn)考慮一個(gè)例子 。 例如 ， 假設(shè)有一個(gè)二維正態(tài)總體 ， 它的分布為： 22 ?????? ????????????,002N ?????????? ?11兩點(diǎn)。和設(shè) )1,1()1,1( ??BA)( ?Md A ?20)( ?Md B ?2)( ?Ud A ?2)( ?Ud B ?23 馬氏距離雖然考慮了觀測變量之間的相關(guān)性，并且也不受觀測變量量綱不同的影響，但是在聚類分析之前，如果用全部數(shù)據(jù)計(jì)算的均值向量和協(xié)方差矩陣來計(jì)算馬氏距離，效果并不是很好。比較合理的辦法是用各個(gè)類的樣本來計(jì)算各自的協(xié)方差矩陣，同一類樣本的馬氏距離應(yīng)當(dāng)用這一類的協(xié)方差短陣來計(jì)算。然而，類的形成要依賴于樣品之間的距離，反過來樣品間合理的馬氏距離又依賴于類，這就形成了一個(gè)惡性循環(huán)。因此，在實(shí)際聚類分析處理中，馬氏距離也不是理想的距離。 。 24 斜交空間距離 由于各變量之間往往存在著不同的相關(guān)關(guān)系，用正交空間的距離來計(jì)算樣本間的距離易變形，所以可以采用斜交空間距離。 當(dāng)各變量之間不相關(guān)時(shí)，斜交空間退化為歐氏距離。