【正文】 的樣品（或變量）仍各自聚為一類，共聚成n 1類；第三步將“距離”最近的兩個類進一步聚成一類，共聚成n 2類；……，以上步驟一直進行下去，最后將所有的樣品（或變量）全聚成一類。當∣cij∣= 1時，說明變量Xi與Xj完全相似；當∣cij∣近似于1時，說明變量Xi與Xj非常密切；當∣cij∣ = 0時，說明變量Xi與Xj完全不一樣；當∣cij∣近似于0時，說明變量Xi與Xj差別很大。2．相關(guān)系數(shù) 相關(guān)系數(shù)經(jīng)常用來度量變量間的相似性。在對多元數(shù)據(jù)進行分析時，相對于數(shù)據(jù)的大小，我們更多地對變量的變化趨勢或方向感興趣。（3）要考慮研究對象的特點和計算量的大小。如歐氏距離就有非常明確的空間距離概念。 4．距離選擇的原則一般說來，同一批數(shù)據(jù)采用不同的距離公式，會得到不同的分類結(jié)果。將原始數(shù)據(jù)作線性變換后，馬氏距離不變。 2．馬氏距離設(shè)Xi與Xj是來自均值向量為m ，協(xié)方差為∑ =（＞0）的總體G中的p維樣品，則兩個樣品間的馬氏距離為馬氏距離又稱為廣義歐氏距離。如果把n個樣品看成p維空間中的n個點，則兩個樣品間相似程度就可用p維空間中的兩點距離公式來度量。Q型聚類是對樣品進行分類處理，R型聚類是對變量進行分類處理。后來隨著多元統(tǒng)計分析的發(fā)展，從數(shù)值分類學中逐漸分離出了聚類分析方法。在地質(zhì)學中，為了研究礦物勘探，需要根據(jù)各種礦石的化學和物理性質(zhì)和所含化學成分把它們歸于不同的礦石類。因此，分類學已成為人們認識世界的一門基礎(chǔ)科學。為了避免用較多的數(shù)學知識或數(shù)學上的推導，這里不追求數(shù)學上的完整性。考慮目標函數(shù) （）對（）式求導，有對（）式兩邊同乘，有 從而，的極大值為。三、線性判別函數(shù)的求法針對多個總體的情形，我們討論使目標函數(shù)（）式達到極大的求法。 針對多個總體的情形假設(shè)有個總體，其均值和協(xié)方差矩陣分別為和（）。有了線性判別函數(shù)后，對于一個新的樣品，將它的個指標值代入線性判別函數(shù)（）式中求出值，然后根據(jù)判別一定的規(guī)則，就可以判別新的樣品屬于哪個總體。于是，判定樣品來自該總體時，判別規(guī)則（）成 （）對比判別規(guī)則（），唯一的差別僅在于閾值點，（）用0作為閾值點，而這里用。二、Bayes判別的基本方法設(shè)每一個總體的分布密度為，來自總體的樣品被錯判為來自總體（）時所造成的損失記為，并且。首先應該清楚、對于任意的成立。一、Bayes判別的基本思想問題：設(shè)有個總體，其各自的分布密度函數(shù)互不相同的，假設(shè)個總體各自出現(xiàn)的概率分別為（先驗概率）。 第三節(jié) 貝葉斯（Bayes）判別法從上節(jié)看距離判別法雖然簡單，便于使用。為了更清楚的認識判別分析的實質(zhì)，以便能靈活的應用判別分析方法解決實際問題，我們有必要了解“劃分”這樣概念。該問題與兩個總體的距離判別問題的解決思想一樣。設(shè)來自總體的樣本，是來自總體的樣本，和的一個無偏估計分別為 和 的一個聯(lián)合無偏估計為 這里 此時，兩總體距離判別的判別函數(shù)為 其中。二、距離判別的思想及方法兩個總體的距離判別問題問題：設(shè)有協(xié)方差矩陣∑相等的兩個總體G1和G2，其均值分別是m1和m 2，對于一個新的樣品X，要判斷它來自哪個總體。第二、設(shè)有量度重量和長度的兩個變量與，以單位分別為kg和cm得到樣本。第二節(jié) 距離判別法一、馬氏距離的概念設(shè)維歐氏空間中的兩點和，通常我們所說的兩點之間的距離，是指歐氏距離，即 （）在解決實際問題時，特別是針對多元數(shù)據(jù)的分析問題，歐氏距離就顯示出了它的薄弱環(huán)節(jié)。判別分析內(nèi)容很豐富，方法很多。又如，在天氣預報中，我們有一段較長時間關(guān)于某地區(qū)每天氣象的記錄資料（晴陰雨、氣溫、氣壓、濕度等），現(xiàn)在想建立一種用連續(xù)五天的氣象資料來預報第六天是什么天氣的方法。我們考慮檢驗假設(shè) 構(gòu)造檢驗統(tǒng)計量為 （）其中 巴特萊特（Bartlett）建議 ，將改為，從而變?yōu)?，變換以后的記為，稱為修正的統(tǒng)計量，則近似分布。在成立時，極限分布是分布。設(shè)，令 （）則近似服從，這里不一定為整數(shù)，可用與它最近的整數(shù)來作為的自由度，且。巴特萊特（Bartlett）提出了用分布來近似。（二）多元方差分析法設(shè)有個維正態(tài)總體，從每個總體抽取獨立樣本個數(shù)分別為，每個樣品觀測個指標得觀測數(shù)據(jù)如下： 第一個總體： ，第二個總體： ，…… …… …… 第個總體： ，全部樣品的總均值向量： 各總體樣品的均值向量： ，此處 類似一元方差分析辦法，將諸平方和變成了離差陣即： 這里，我們稱為組間離差陣；為組內(nèi)離差陣；為總離差陣。其中。（一）單因素方差分析的基本思想及Wilks分布設(shè)個正態(tài)總體分別為，從個總體取個獨立樣本如下： 假設(shè)成立時，構(gòu)造檢驗統(tǒng)計量為 （） 這里稱為組間平方和； 稱為組內(nèi)平方和；稱為總平方和。對假設(shè) 進行檢驗。對此問題，假設(shè)成立時，所構(gòu)造的檢驗統(tǒng)計量為 （）其中， ， ， 給定檢驗水平，查分布表，使，可確定出臨界值，再用樣本值計算出，若，則否定，否則接受。1．針對有共同已知協(xié)差陣的情形對假設(shè) 進行檢驗。顯然，其中，因此，（二）協(xié)差陣未知時均值向量的檢驗（為已知向量）假設(shè)成立，檢驗統(tǒng)計量為 （）其中，給定檢驗水平，查分布表，使，可確定出臨界值，再用樣本值計算出，若，則否定，否則接受。設(shè)是來自維正態(tài)總體的樣本，且。記為。當假設(shè)成立時，統(tǒng)計量服從自由度為的分布，從而否定域為，為自由度為的分布上的分位點。第二節(jié) 均值向量的檢驗 一、單一變量檢驗的回顧及HotellingT2分布為了對多元正態(tài)總體均值向量作檢驗，首先需要給出HotellingT2分布的定義。 其基本思想和步驟均可歸納為： 第一，提出待檢驗的假設(shè)H0和H1； 第二，給出檢驗的統(tǒng)計量及其服從的分布； 第三，給定檢驗水平，查統(tǒng)計量的分布表，確定相應的臨界值，從而得到否定域； 第四，根據(jù)樣本觀測值計算出統(tǒng)計量的值，看是否落入否定域中，以便對待判假設(shè)做出決策（拒絕或接受）。第三章 多元正態(tài)分布均值向量和協(xié)差陣的檢驗第一節(jié) 引言 在單一變量的統(tǒng)計分析中，已經(jīng)給出了正態(tài)總體N（ m， s2） 的均值m和方差s2的各種檢驗。這里我們有必要說明一下什么是隨機矩陣的分布。2．若，且相互獨立，則。 設(shè)，且相互獨立，則由組成的隨機矩陣： （）的分布稱為非中心Wishart分布，記為。和的估計量有如下基本性質(zhì)：1．，即是的無偏估計； ，即不是的無偏估計，而，即是的無偏估計；2．，分別是，的有效估計；3．，（或）分別是，的一致估計（相合估計）。設(shè)來自正態(tài)總體容量為的樣本，每個樣品，樣本資料陣為（）式表示，即 則可由最大似然法求出和的估計量，即有 ， （）實際上，最大似然法求估計量可以這樣得到。第四節(jié) 多元正態(tài)分布的參數(shù)估計 一、多元樣本的數(shù)字特征 設(shè)樣本資料可用矩陣表示為在這里我們給出樣本均值向量、樣本離差陣、樣本協(xié)差陣以及樣本相關(guān)陣的定義。3．若，將，作如下剖分 則。這里我們需要明確的是，多元正態(tài)分布的定義不止是一種，更廣泛的可以采用特征函數(shù)來定義，也可以用一切線性組合均為正態(tài)的性質(zhì)來定義。當時，設(shè)服從二元正態(tài)分布，則，這里，分別是與的方差，是與的相關(guān)系數(shù)。根據(jù)上面的表述形式，我們可以將其推廣，給出多元正態(tài)分布的定義。若的協(xié)差陣存在，且每個分量的方差大于零，則稱隨機向量的相關(guān)陣為，其中 （）為與的相關(guān)系數(shù)。 設(shè)，稱（）為的方差或協(xié)差陣，有時把簡記為，簡記為，從而有；稱隨機向量和的協(xié)差陣為（）當時，即為。解： 同理 若個隨機變量的聯(lián)合分布等于各自的邊緣分布的乘積，則稱是相互獨立的?！尽? 試證函數(shù) 為隨機向量密度函數(shù)。多維隨機向量的統(tǒng)計特性可用它的分布函數(shù)來完整地描述。若隨機變量在有限或可列個值上取值，記，且，則稱為離散型隨機變量，稱，為的概率分布。 將個隨機變量的整體稱為維隨機向量，記為。若觀測了n個個體，稱每一個個體的p個變量為一個樣品，而全體n個樣品組成一個樣本。 表示對同一個體觀測的p個變量。為此，本章將要介紹多元正態(tài)分布的定義和有關(guān)性質(zhì)。為了更好的探討這些問題，本章我們首先論述有關(guān)隨機向量的基本概念和性質(zhì)。在高考招生工作中，我們知道每個考生的基本情況，通過分析我們不僅可以了解到學生喜歡學習的科目，還可以進一步從考生每門課程的成績，分析出學生的邏輯思維能力、形象思維能力和記憶力等等對學習成績的影響。設(shè)在某礦體中采集了60個標本，對每個標本測得20個化學成分的含量。如果對于一個新的病人，當也測得這若干項癥狀指標時，可以利用判別分析方法判定他患的是哪種病?？捎枚嘣龖B(tài)總體均值向量和協(xié)差陣的假設(shè)檢驗。在企業(yè)經(jīng)濟效益的評價中，涉及到的指標往往很多，如百元固定資產(chǎn)原值實現(xiàn)產(chǎn)值、百元固定資產(chǎn)原值實現(xiàn)利稅、百元資金實現(xiàn)利稅、百元工業(yè)總產(chǎn)值實現(xiàn)利稅、百元銷售收入實現(xiàn)利稅、每噸標準煤實現(xiàn)工業(yè)產(chǎn)值、每千瓦時電力實現(xiàn)工業(yè)產(chǎn)值、全員勞動生產(chǎn)率、百元流動資金實現(xiàn)產(chǎn)值。 多元回歸、判別分析、聚類分析、可視化分析 假設(shè)的提出及檢驗檢驗由多元總體參數(shù)表示的某種統(tǒng)計假設(shè)，能夠證實某種假設(shè)條件的合理性。問題 內(nèi)容 方法 數(shù)據(jù)或結(jié)構(gòu)性化簡 盡可能簡單地表示所研究的現(xiàn)象，但不損失很多有用的信息，并希望這種表示能夠很容易的解釋。與此同時，我們將利用在我國廣泛流行的SPSS統(tǒng)計軟件來實現(xiàn)實證分析，做到在理論的學習中體會應用，在應用的分析中加深理論。20世紀70年代初期在我國才受到各個領(lǐng)域的極大關(guān)注，并在多元統(tǒng)計分析的理論研究和應用上也取得了很多顯著成績，有些研究工作已達到國際水平，并已形成一支科技隊伍，活躍在各條戰(zhàn)線上。. Fisher 、許寶騄等人作了一系列得奠基性工作，使多元分析在理論上得到了迅速得發(fā)展。顯然，大量信息在給人們帶來方便的同時也帶來一系列問題。第一章 多元分析概述第一節(jié) 引言多元統(tǒng)計分析是運用數(shù)理統(tǒng)計方法來研究解決多指標問題的理論和方法。在信息爆炸的今天，人們已經(jīng)意識到數(shù)據(jù)最值錢的時代已經(jīng)到來。多元統(tǒng)計分析起源于上世紀初，1928年Wishart發(fā)表論文《多元正態(tài)總體樣本協(xié)差陣的精確分布》，可以說是多元分析的開端。20世紀60年代通過應用和實踐又完善和發(fā)展了理論，由于新的理論、新的方法不斷涌現(xiàn)又促使它的應用范圍更加擴大。這些方法包括判別分析、聚類分析、主成分分析、因子分析、對應分析、典型相關(guān)分析、多維標度法以及多變量的可視化分析等。多元統(tǒng)計分析方法在經(jīng)濟管理、農(nóng)業(yè)、醫(yī)學、教育學、體育科學、生態(tài)學、地質(zhì)學、社會學、考古學、環(huán)境保護、軍事科學、文學等方面都有廣泛的應用，這里我們例舉一些實際問題，進一步了解多元統(tǒng)計分析的應用領(lǐng)域，讓讀者從感性上加深對多元統(tǒng)計分析的認識。 多元回歸、典型相關(guān)、主成分分析、因子分析、相應分析、多維標度法、可視化分析 預測與決策 通過統(tǒng)計模型或最優(yōu)準則，對未來進行預見或判斷。為了研究城鎮(zhèn)居民的消費結(jié)構(gòu)，需要將相關(guān)強的指標歸并到一起，這實際就是對指標進行聚類分析。某一產(chǎn)品是用兩種不同原料生產(chǎn)的，試問此兩種原料生產(chǎn)的產(chǎn)品壽命有無顯著差異？又比如，若考察某商業(yè)行業(yè)今年和去年的經(jīng)營狀況，這時需要看這兩年經(jīng)營指標的平均水平是否有顯著差異以及經(jīng)營指標之間的波動是否有顯著差異。某醫(yī)院已有100個分別患有胃炎、肝炎、冠心病、糖尿病等的病人資料，記錄了他們每個人若干項癥狀指標數(shù)據(jù)。在地質(zhì)學中，常常要研究礦石中所含化學成分之間的關(guān)系?？脊艑W家對挖掘出來的人頭蓋骨的高、寬等特征來判斷是男或女，根據(jù)挖掘出的動物牙齒的有關(guān)測試指標，判別它是屬于哪一類動物牙齒、是哪一個時代的。顯然，如果我們只研究一個指標或是將這些指標割裂開分別研究，是不能從整體上把握研究問題的實質(zhì)的，解決這些問題就需要多元統(tǒng)計分析方法。在多元統(tǒng)計分析中， 多元正態(tài)分布占有很重要地位，本書所介紹的方法大都假定數(shù)據(jù)來之多元正態(tài)分布。第二節(jié) 基本概念一、隨機向量我們所討論的是多個變量的總體，所研究的數(shù)據(jù)是同時p個指標（變量），又進行了n次觀測得到的，我們把這個p指標表示為X1 ，X2，L，Xp，常用向量X = (X1 ， X2 ， L ， XP)39。這里“維”（或“元”）的概念，表示共有幾個分量。因此， （）簡記為X。設(shè)是一個隨機變量，稱為的概率分布函數(shù)或簡稱為分布函數(shù)，記為。 設(shè)是維隨機向量，它的多元分布函數(shù)定義為 （）記為，其中，表示維歐氏空間。一個元函數(shù)能作為中某個隨機向量的密度函數(shù)的主要條件是：（1），；（2）離散型隨機向量的統(tǒng)計性質(zhì)可由它的概率分布完全確定，連續(xù)型隨機向量的統(tǒng)計性質(zhì)可由它的分布密度完全確定。當?shù)姆植己瘮?shù)是時，的分布函數(shù)即邊緣分布函數(shù)為： 當有分布密度時（亦稱聯(lián)合分布密度函數(shù)），則也有分布密度，即邊緣密度函數(shù)為：【】。 設(shè)，若存在且有限，則稱為的均值（向量）或數(shù)學期望，有時也把和分別記為和，即，容易推得均值