【正文】 如下基本性質(zhì)：1．，即是的無偏估計； ，即不是的無偏估計，而，即是的無偏估計；2．，分別是，的有效估計；3．，（或）分別是，的一致估計（相合估計）。這里我們要注意到，根據(jù)矩陣代數(shù)理論，對于實對稱矩陣，有。設(shè)來自正態(tài)總體容量為的樣本，每個樣品，樣本資料陣為（）式表示，即 則可由最大似然法求出和的估計量，即有 ， （）實際上，最大似然法求估計量可以這樣得到。（1） 樣本均值向量定義為其中（2）樣本離差陣定義為 （）這里， （3）樣本協(xié)差陣定義為 （）這里，（4）樣本相關(guān)陣定義為 （） 其中在此，我們應(yīng)該提及的是，樣本均值向量和離差陣也可用樣本資料陣直接表示如下： 其中 由于 那么，（）式可以表示為： （）其中 二、均值向量與協(xié)差陣的最大似然估計 多元正態(tài)分布有兩組參數(shù)，均值和協(xié)差陣，在許多問題中它們是未知的，需要通過樣本來估計。第四節(jié) 多元正態(tài)分布的參數(shù)估計 一、多元樣本的數(shù)字特征 設(shè)樣本資料可用矩陣表示為在這里我們給出樣本均值向量、樣本離差陣、樣本協(xié)差陣以及樣本相關(guān)陣的定義。第二，由于，故表示和不相關(guān)，因此可知，對于多元正態(tài)變量而言，和的不相關(guān)與獨立是等價的。3．若，將，作如下剖分 則。1．若，是對角陣，則相互獨立。這里我們需要明確的是，多元正態(tài)分布的定義不止是一種，更廣泛的可以采用特征函數(shù)來定義，也可以用一切線性組合均為正態(tài)的性質(zhì)來定義。 設(shè)，則有。當(dāng)時，設(shè)服從二元正態(tài)分布，則，這里，分別是與的方差，是與的相關(guān)系數(shù)?？梢宰C明為的均值（向量），為的協(xié)差陣。根據(jù)上面的表述形式，我們可以將其推廣，給出多元正態(tài)分布的定義。令，有：那么，標(biāo)準(zhǔn)化后的隨機向量均值和協(xié)差陣分別為 即標(biāo)準(zhǔn)化數(shù)據(jù)的協(xié)差陣正好是原指標(biāo)的相關(guān)陣。若的協(xié)差陣存在，且每個分量的方差大于零，則稱隨機向量的相關(guān)陣為，其中 （）為與的相關(guān)系數(shù)。當(dāng)、為常數(shù)矩陣時，由定義可以推出協(xié)方差陣有如下性質(zhì)：（1）對于常數(shù)向量，有（2）（3）（4）設(shè)為維隨機向量，期望和協(xié)方差存在，記，為常數(shù)陣，則 這里我們應(yīng)該注意到，對于任何的隨機向量來說，其協(xié)差陣都是對稱陣，同時總是非負定（半正定）的。 設(shè)，稱（）為的方差或協(xié)差陣，有時把簡記為，簡記為，從而有；稱隨機向量和的協(xié)差陣為（）當(dāng)時，即為。這里我們應(yīng)該注意，由相互獨立，可推知任何與獨立，但反之不真。解： 同理 若個隨機變量的聯(lián)合分布等于各自的邊緣分布的乘積，則稱是相互獨立的。通過變換中各分量的次序，總可假定正好是的前個分量，其余個分量為，則，相應(yīng)的取值也可分為兩部分?！尽? 試證函數(shù) 為隨機向量密度函數(shù)。設(shè)，若存在一個非負函數(shù)，使得對一切有（）則稱為連續(xù)型隨機變量，稱為分布密度函數(shù)，簡稱為密度函數(shù)或分布密度。多維隨機向量的統(tǒng)計特性可用它的分布函數(shù)來完整地描述。一個函數(shù)能作為某個隨機變量的分布密度函數(shù)的重要條件是：（1），對一切實數(shù)；（2）。若隨機變量在有限或可列個值上取值，記，且，則稱為離散型隨機變量，稱，為的概率分布。二、多元分布先回顧一下一元統(tǒng)計中分布函數(shù)和密度函數(shù)的定義。 將個隨機變量的整體稱為維隨機向量，記為。第列的元素 ， 表示對第個變量的次觀測數(shù)值。若觀測了n個個體，稱每一個個體的p個變量為一個樣品，而全體n個樣品組成一個樣本。上面的表示便于人們用數(shù)學(xué)方法去研究p維總體的特性。 表示對同一個體觀測的p個變量。這是本章討論的重要內(nèi)容之一，在此我們介紹最常見的最大似然估計法對參數(shù)進行估計，并討論其有關(guān)的性質(zhì)。為此，本章將要介紹多元正態(tài)分布的定義和有關(guān)性質(zhì)。因此現(xiàn)實世界中許多實際問題的解決辦法都是以總體服從正態(tài)分布或近似正態(tài)分布為前提的。為了更好的探討這些問題，本章我們首先論述有關(guān)隨機向量的基本概念和性質(zhì)。例如在研究公司的運營情況時，要考慮公司的獲利能力、資金周轉(zhuǎn)能力、競爭能力以及償債能力等財務(wù)指標(biāo)；又如在研究國家財政收入時，稅收收入、企業(yè)收入、債務(wù)收入、國家能源交通重點建設(shè)基金收入、基本建設(shè)貸款歸還收入、國家預(yù)算調(diào)節(jié)基金收入、其他收入等都是需要同時考察的指標(biāo)。在高考招生工作中，我們知道每個考生的基本情況，通過分析我們不僅可以了解到學(xué)生喜歡學(xué)習(xí)的科目，還可以進一步從考生每門課程的成績，分析出學(xué)生的邏輯思維能力、形象思維能力和記憶力等等對學(xué)習(xí)成績的影響。對1000個類似的魚類樣本，如何根據(jù)測量的特征如體重、身長、鰭數(shù)、鰭長、頭寬等，我們可以利用聚類分析方法將這類魚分成幾個不同品種。設(shè)在某礦體中采集了60個標(biāo)本，對每個標(biāo)本測得20個化學(xué)成分的含量。這樣的問題就可以用多維標(biāo)度法來解決。如果對于一個新的病人，當(dāng)也測得這若干項癥狀指標(biāo)時，可以利用判別分析方法判定他患的是哪種病。如果我們收集某年各個省、自治區(qū)、直轄市農(nóng)民家庭人均純收入的數(shù)據(jù)，可以用相應(yīng)分析，揭示全國農(nóng)民人均純收入的特征以及各省、自治區(qū)、直轄市與各收入指標(biāo)的關(guān)系?？捎枚嘣龖B(tài)總體均值向量和協(xié)差陣的假設(shè)檢驗?？捎弥鞒煞址治龊鸵蜃臃治龇āＴ谄髽I(yè)經(jīng)濟效益的評價中，涉及到的指標(biāo)往往很多，如百元固定資產(chǎn)原值實現(xiàn)產(chǎn)值、百元固定資產(chǎn)原值實現(xiàn)利稅、百元資金實現(xiàn)利稅、百元工業(yè)總產(chǎn)值實現(xiàn)利稅、百元銷售收入實現(xiàn)利稅、每噸標(biāo)準(zhǔn)煤實現(xiàn)工業(yè)產(chǎn)值、每千瓦時電力實現(xiàn)工業(yè)產(chǎn)值、全員勞動生產(chǎn)率、百元流動資金實現(xiàn)產(chǎn)值。這八項指標(biāo)存在一定的線性關(guān)系。 多元回歸、判別分析、聚類分析、可視化分析 假設(shè)的提出及檢驗檢驗由多元總體參數(shù)表示的某種統(tǒng)計假設(shè)，能夠證實某種假設(shè)條件的合理性。 判別分析、聚類分析、主成分分析、可視化分析 變量之間的相關(guān)關(guān)系 變量之間是否存在相關(guān)關(guān)系，相關(guān)關(guān)系又是怎樣體現(xiàn)。問題 內(nèi)容 方法 數(shù)據(jù)或結(jié)構(gòu)性化簡 盡可能簡單地表示所研究的現(xiàn)象，但不損失很多有用的信息，并希望這種表示能夠很容易的解釋。多元分析方法從研究問題的角度可以分為不同的類，相應(yīng)有具體解決問題的方法。與此同時，我們將利用在我國廣泛流行的SPSS統(tǒng)計軟件來實現(xiàn)實證分析，做到在理論的學(xué)習(xí)中體會應(yīng)用，在應(yīng)用的分析中加深理論。為了讓人們更好的較為系統(tǒng)地掌握多元統(tǒng)計分析的理論與方法，本書重點介紹多元正態(tài)總體的參數(shù)估計和假設(shè)檢驗以及常用的統(tǒng)計方法。20世紀(jì)70年代初期在我國才受到各個領(lǐng)域的極大關(guān)注，并在多元統(tǒng)計分析的理論研究和應(yīng)用上也取得了很多顯著成績，有些研究工作已達到國際水平，并已形成一支科技隊伍，活躍在各條戰(zhàn)線上。20世紀(jì)50年代中期，隨著電子計算機得出現(xiàn)和發(fā)展，使多元分析方法在地質(zhì)、氣象、醫(yī)學(xué)、社會學(xué)等方面得到廣泛得應(yīng)用。. Fisher 、許寶騄等人作了一系列得奠基性工作，使多元分析在理論上得到了迅速得發(fā)展。這樣又給多元統(tǒng)計分析理論的發(fā)展和方法的應(yīng)用提出了新的挑戰(zhàn)。顯然，大量信息在給人們帶來方便的同時也帶來一系列問題。然而，隨著Internet的日益普及，各行各業(yè)都開始采用計算機及相應(yīng)的信息技術(shù)進行管理和決策，這使得各企事業(yè)單位生成、收集、存儲和處理數(shù)據(jù)的能力大大提高，數(shù)據(jù)量與日俱增，大量復(fù)雜信息層出不窮。第一章 多元分析概述第一節(jié) 引言多元統(tǒng)計分析是運用數(shù)理統(tǒng)計方法來研究解決多指標(biāo)問題的理論和方法。近30年來，隨著計算機應(yīng)用技術(shù)的發(fā)展和科研生產(chǎn)的迫切需要，多元統(tǒng)計分析技術(shù)被廣泛地應(yīng)用于地質(zhì)、氣象、水文、醫(yī)學(xué)、工業(yè)、農(nóng)業(yè)和經(jīng)濟等許多領(lǐng)域，已經(jīng)成為解決實際問題的有效方法。在信息爆炸的今天，人們已經(jīng)意識到數(shù)據(jù)最值錢的時代已經(jīng)到來。比如：信息量過大，超過了人們掌握、消化的能力；一些信息真?zhèn)坞y辯，從而給信息的正確應(yīng)用帶來困難；信息組織形式的不一致性導(dǎo)致難以對信息進行有效統(tǒng)一處理等等，在其中進行信息的查找真如大海撈針。多元統(tǒng)計分析起源于上世紀(jì)初，1928年Wishart發(fā)表論文《多元正態(tài)總體樣本協(xié)差陣的精確分布》，可以說是多元分析的開端。20世紀(jì)40年代在心理、教育、生物等方面有不少得應(yīng)用，但由于計算量大，使其發(fā)展受到影響，甚至停滯了相當(dāng)長得時間。20世紀(jì)60年代通過應(yīng)用和實踐又完善和發(fā)展了理論，由于新的理論、新的方法不斷涌現(xiàn)又促使它的應(yīng)用范圍更加擴大。 在20世紀(jì)末與本世紀(jì)初，人們獲得的數(shù)據(jù)正以前所未有的速度急劇增加，產(chǎn)生了很多超大型數(shù)據(jù)庫，遍及超級市場銷售、銀行存款、天文學(xué)、粒子物理、化學(xué)、醫(yī)學(xué)以及政府統(tǒng)計等領(lǐng)域，多元統(tǒng)計與人工智能和數(shù)據(jù)庫技術(shù)相結(jié)合，已在經(jīng)濟、商業(yè)、金融、天文等行業(yè)得到了成功的應(yīng)用。這些方法包括判別分析、聚類分析、主成分分析、因子分析、對應(yīng)分析、典型相關(guān)分析、多維標(biāo)度法以及多變量的可視化分析等。第二節(jié) 應(yīng)用背景二、多元統(tǒng)計分析方法的應(yīng)用 這里我們要通過一些實際的問題，解釋選擇統(tǒng)計方法和研究目的之間的關(guān)系，這些問題以及本書中的大量案例能夠使得讀者對多元統(tǒng)計分析方法在各個領(lǐng)域中的廣泛應(yīng)用有一定的了解。多元統(tǒng)計分析方法在經(jīng)濟管理、農(nóng)業(yè)、醫(yī)學(xué)、教育學(xué)、體育科學(xué)、生態(tài)學(xué)、地質(zhì)學(xué)、社會學(xué)、考古學(xué)、環(huán)境保護、軍事科學(xué)、文學(xué)等方面都有廣泛的應(yīng)用，這里我們例舉一些實際問題，進一步了解多元統(tǒng)計分析的應(yīng)用領(lǐng)域，讓讀者從感性上加深對多元統(tǒng)計分析的認識。 多元回歸分析、聚類分析、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析 分類和組合 基于所測量到的一些特征，給出好的分組方法，對相似的對象或變量分組。 多元回歸、典型相關(guān)、主成分分析、因子分析、相應(yīng)分析、多維標(biāo)度法、可視化分析 預(yù)測與決策 通過統(tǒng)計模型或最優(yōu)準(zhǔn)則，對未來進行預(yù)見或判斷。 多元總體參數(shù)估計、假設(shè)檢驗 城鎮(zhèn)居民消費水平通常用八項指標(biāo)來描述，如人均糧食支出、人均副食支出、人均煙酒茶支出、人均衣著商品支出、人均日用品支出、人均燃料支出、人均非商品支出。為了研究城鎮(zhèn)居民的消費結(jié)構(gòu)，需要將相關(guān)強的指標(biāo)歸并到一起，這實際就是對指標(biāo)進行聚類分析。如何將這些具有錯綜復(fù)雜關(guān)系的指標(biāo)綜合成幾個較少的因子，既有利于對問題進行分析和解釋，又能便于抓住主要矛盾做出科學(xué)的評價。某一產(chǎn)品是用兩種不同原料生產(chǎn)的，試問此兩種原料生產(chǎn)的產(chǎn)品壽命有無顯著差異？又比如，若考察某商業(yè)行業(yè)今年和去年的經(jīng)營狀況，這時需要看這兩年經(jīng)營指標(biāo)的平均水平是否有顯著差異以及經(jīng)營指標(biāo)之間的波動是否有顯著差異。按現(xiàn)行統(tǒng)計報表制度，農(nóng)村家庭純收入是指農(nóng)村常住居民家庭總收入中扣除從事生產(chǎn)和非生產(chǎn)經(jīng)營用支出、稅款和上交承包集體任務(wù)金額以后剩余的、可直接用于進行生產(chǎn)的、非生產(chǎn)性建設(shè)投資、生產(chǎn)性消費的那一部分收入。某醫(yī)院已有100個分別患有胃炎、肝炎、冠心病、糖尿病等的病人資料，記錄了他們每個人若干項癥狀指標(biāo)數(shù)據(jù)。有100種酒，品嘗家可以對每兩種酒進行品嘗對比，給出一種相近程度的得分（越相近得分越高，相差越遠得分越低），希望用這些得分?jǐn)?shù)據(jù)來了解這100種酒之間的結(jié)構(gòu)關(guān)系。在地質(zhì)學(xué)中，常常要研究礦石中所含化學(xué)成分之間的關(guān)系。我們希望通過對這20個化學(xué)成分的分析，了解礦體的性質(zhì)和礦體形成的主要原因?？脊艑W(xué)家對挖掘出來的人頭蓋骨的高、寬等特征來判斷是男或女，根據(jù)挖掘出的動物牙齒的有關(guān)測試指標(biāo)，判別它是屬于哪一類動物牙齒、是哪一個時代的。第二章 多元正態(tài)分布的參數(shù)估計第一節(jié) 引言 多元統(tǒng)計分析涉及到的都是隨機向量或多個隨機向量放在一起組成的隨機矩陣。顯然，如果我們只研究一個指標(biāo)或是將這些指標(biāo)割裂開分別研究，是不能從整體上把握研究問題的實質(zhì)的，解決這些問題就需要多元統(tǒng)計分析方法。在實用中遇到的隨機向量常常是服從正態(tài)分布或近似正態(tài)分布，或雖本身不是正態(tài)分布，但它的樣本均值近似于正態(tài)分布。在多元統(tǒng)計分析中， 多元正態(tài)分布占有很重要地位，本書所介紹的方法大都假定數(shù)據(jù)來之多元正態(tài)分布。然而在實際問題中，多元正態(tài)分布中均值向量和協(xié)差陣通常是未知的，一般的做法是由樣本來估計。第二節(jié) 基本概念一、隨機向量我們所討論的是多個變量的總體，所研究的數(shù)據(jù)是同時p個指標(biāo)（變量），又進行了n次觀測得到的，我們把這個p指標(biāo)表示為X1 ，X2，L，Xp，常用向量X = (X1 ， X2 ， L ， XP)39。這里我們應(yīng)該強調(diào)，在多元統(tǒng)計分析中，仍然將所研究對象的全體稱為總體，它是由許多（有限和無限）的個體構(gòu)成的集合，如果構(gòu)成總體的個體是具有p個需要觀測指標(biāo)的個體，我們稱這樣的總體為p維總體（或p元總體）。這里“維”（或“元”）的概念，表示共有幾個分量。 數(shù)據(jù)變量 序號12，記為 ， 表示第個樣品的觀測值。因此， （）簡記為X。在對隨機向量的研究仍然限于討論離散型和連續(xù)型兩類隨機向量。設(shè)是一個隨機變量，稱為的概率分布函數(shù)或簡稱為分布函數(shù)，記為。設(shè)，若存在一個非負函數(shù)，使得一切實數(shù)有：，則稱為的分布密度函數(shù)，簡稱為密度函數(shù)。 設(shè)是維隨機向量，它的多元分布函數(shù)定義為 （）記為，其中，表示維歐氏空間。 設(shè)是維隨機向量，若存在有限個或可列個維數(shù)向量，記，且滿足，則稱為離散型隨機向量，稱，為的概率分布。一個元函數(shù)能作為中某個隨機向量的密度函數(shù)的主要條件是：（1），；（2）離散型隨機向量的統(tǒng)計性質(zhì)可由它的概率分布完全確定，連續(xù)型隨機向量的統(tǒng)計性質(zhì)可由它的分布密度完全確定。證：只要驗證滿足密度函數(shù)兩個條件即可 （1）顯然，當(dāng)時有 （2） 設(shè)是維隨機向量，稱由它的個分量組成的子向量的分布為的邊緣（或邊際）分布，相對地把的分布稱為聯(lián)合分布。當(dāng)?shù)姆植己瘮?shù)是時，的分布函數(shù)即邊緣分布函數(shù)為：