【文章內(nèi)容簡介】 e C u m u l a t i v e % To t a l % o f V a r i a n c e C u m u l a t i v e %I n i t i a l E i g e n v a l u e s E x t r a c t i o n S u m s o f S q u a r e d L o a d i n g s R o t a t i o n S u m s o f S q u a r e d L o a d i n g sE x t r a c t i o n M e t h o d : P r i n c i p a l C o m p o n e n t A n a l y s i s .初始因子載荷 提取因子載荷 旋轉(zhuǎn)提取因子載荷 Component Matrix 主成分分析和因子分析的區(qū)別 ? 因子分析是主成分分析的推廣和發(fā)展。在算法上，主成分分析和因子分析很類似 。 ? （ 1）因子分析中是把變量表示成各因子的線性組合，而主成分分析中則是把主成分表示成各變量的線性組合。 ? （ 2）和主成分分析相比，由于因子分析可以使用旋轉(zhuǎn)技術幫助解釋因子，在解釋方面更加有優(yōu)勢。 ? 大致說來，當需要尋找潛在的因子，并對這些因子進行解釋的時候，更加傾向于使用因子分析，并且借助旋轉(zhuǎn)技術幫助更好解釋。 ? 而如果想把現(xiàn)有的變量變成少數(shù)幾個新的變量（新的變量幾乎帶有原來所有變量的信息）來進入后續(xù)的分析，則可以使用主成分分析。 五、聚類分析 ? 聚類分析 又稱群分析、點群分析，指將物理或抽象對象的集合分組成 為由類似的對象組成的多個類 的多元統(tǒng)計評價過程。是定量研究分類問題 的一種多元統(tǒng)計方法。 聚類分析的概念 聚類分析的概念 ? 人類認識世界往往首先將被認識的對象進行分類，因此分類學便成為人類認識世界的基礎科學。在社會生活的眾多領域中都存在著大量的分類問題。 ? 以前人們主要靠經(jīng)驗和專業(yè)知識做定性分類處理，致使許多分類帶有 主觀性 和 任意性 ，不能很好地揭示客觀事物內(nèi)在的本質(zhì)差別與聯(lián)系，特別是對于多因素、多指標的分類問題， 定性分類 更 難以實現(xiàn)準確分類 。 ? 為了克服定性分類存在的不足，于是 把數(shù)學方法引進分類學 中，形成了 數(shù)值分類學 ，后來隨著多元分析的引進，聚類分析又逐漸從數(shù)值分類學中分離出來 ,形成一個相對獨立的分支。 ? 在多元統(tǒng)計分析中，聚類分析在許多領域中都得到了廣泛的應用，取得了許多令人滿意的成果。 聚類分析的基本思想 認為所研究的樣品或指標之間存在著程度不同的相似性 ， 于是根據(jù)一批樣品的多個觀測指標 ， 找出能夠度量樣品或變量之間相似程度的統(tǒng)計量 ， 并以此為依據(jù) ， 采用某種聚類法 ， 將所有的樣品或變量分別聚合到不同的類中 ， 使 同一類中的個體有較大的相似性 ， 不同類中的個體差異較大 。 聚類分析的內(nèi)容 聚類分析包括很多種方法 ， 系統(tǒng)聚類法是最基本 、 最常用的一種 ， 此外還有 有序樣品聚類法 、 動態(tài)聚類法 、 模糊聚類法 、圖論聚類法 、 有重疊聚類 等 ， 不同的方法適合解決不同類型的問題 。 聚類分析的對象類型 ? Q型聚類 采用 距離 統(tǒng)計量 ， 是對樣品進行分類處理 。 ? 根據(jù)觀測有關變量的特征 ， 將特征相似的樣品歸為一類 。 它是聚類分析中 用的最多 的一種 ， 具有以下優(yōu)點： ? 可綜合利用多個變量的信息對樣品進行分類； ? 分類結果直觀 ， 聚類譜系圖非常清楚地表現(xiàn)分類結果； ? 所得結果比傳統(tǒng)分類方法更細致 、 全面 、 合理 。 ? R型聚類 采用 相似系數(shù) 統(tǒng)計量 ， 是對變量進行分類處理 。 ? 一般來說 ， 可以反映研究對象特點的變量有許多 ， 由于對客觀事物的認識有限 ， 往往 難以找出彼此獨立且有代表性的變量 ，影響對問題進一步的認識和研究 ， 因此往往需要先進行變量聚類 ， 找出相互獨立又有代表性的變量 ， 而又不丟失大部分信息 。 ? R型聚類分析的主要作用 ： ? 可了解個別變量之間及變量組合之間的親疏程度； ? 根據(jù)變量的分類結果以及它們之間的關系，可以選擇主要變量進行回歸分析或 Q型聚類分析。 事物之間的相似性測度 聚類分析用于系統(tǒng)類群相似性的研究 ， 其實質(zhì)上是尋找一種 能客觀反映樣品或變量之間親疏關系的統(tǒng)計量 ， 然后根據(jù)這種統(tǒng)計量把樣品或變量分成若干類 。 常用的統(tǒng)計量有 距離 和 相似系數(shù) 。 用相似系數(shù)度量 是兩個事物離得多近的度量。 性質(zhì)越接近的元素其相似系數(shù)的絕對值越接近于 1；彼此無關的元素其相似系數(shù)的絕對值越接近于 0。 相似的元素歸為一類 ，不相似的元素歸為不同的類。 用距離來度量 ? 是兩個事物離得多遠的度量 。 ? 將一個樣品看作空間的一個點 ， 在空間定義距離 ， 距離近的點歸為一類 ， 距離遠的點歸為不同的類 。 變量類型的劃分 ? 間隔尺度 ： 是用 連續(xù)的實值變量 來表示的，是由測量或計數(shù)、統(tǒng)計所得到的量。 ? 如：經(jīng)濟統(tǒng)計數(shù)字、抽樣調(diào)查數(shù)據(jù)、身高、體重、年齡、速度、壓力等。 ? 有序尺度 ： 沒有明確的數(shù)量表示，而是劃分一些等級， 等級之間有次序關系 。 ? 如：畢業(yè)論文成績有：優(yōu)、良、中、及格、不及格之分； ? 體質(zhì)狀況有好、中、差三個等級； ? 某產(chǎn)品質(zhì)量可分為一等品、二等品、三等品等。 變量類型的劃分 ? 名義尺度 ： 既沒有數(shù)量表示，也沒有次序關系，而是表現(xiàn)為某種狀態(tài)，其值通常是 非數(shù)值數(shù)據(jù) 。 ? 如：性別有男、女；顏色有紅、黃、藍、綠等；醫(yī)療診斷中的陰性、陽性等。 變量類型的劃分 ? 不同類型的變量，其距離和相似系數(shù)的定義方法有很大差異。 ? 用得較多的是間隔尺度 ，因此只介紹間隔尺度的距離和相似系數(shù)的定義。 ? n個樣品 p項指標形成的原始數(shù)據(jù)資料矩陣中，每一行表示一個樣品，每一列表示一個變量。 ? 因此， 兩個樣品的相似性可用矩陣中兩行的相似程度來刻劃 ； 兩個變量的相似性可用矩陣中兩列的相似程度來刻劃 。 ? 距離定義 ： 將 n個樣品看成 p維空間中的 n個點，兩個樣品間相似程度可用 p維空間中兩點的距離來度量。 ? （ 1）絕對距離 ? （ 2）歐氏距離 ? （ 3）馬氏距離 ? （ 4）切比雪夫距離 ? 計算出任何兩個樣品之間的距離排成距離陣 D，根據(jù) D可對 n個點進行分類，距離近的點歸為一類，距離遠的點歸為不同的類。 ? 相似系數(shù)： 將 n個樣品看成 p維空間中的 n個向量。 ? （ 1） 夾角余弦 ? （ 2） 相關系數(shù) ? 以上是樣品分類常用的距離和相似系數(shù)定義，它是在 p維空間中來研究 n個樣品間的相似；而對變量分類是在 n維空間中來研究 p列變量間的相似，其相似性也用距離和相似系數(shù)來度量。 系統(tǒng)聚類分析方法 ? 系統(tǒng)聚類分析也叫分層聚類分析 ，是目前國內(nèi)外使用得最多的一種方法，有關它的研究極為豐富，聚類分析的方法也最多。 系統(tǒng)聚類的步驟 ? （ 1） 計算 n個樣品兩兩之間的距離記為矩陣 D； ? （ 2） 首先構造 n個類 ， 每一類中只包含一個樣品； ? （ 3） 合并距離最近的兩類為新類； ? （ 4） 繼續(xù)合并 ， 直到所有的樣本合并為一類為止； ? （ 5） 畫譜系圖； ? （ 6） 決定類的個數(shù)和類。系統(tǒng)聚類允許一類整個地包含在另一類內(nèi)，但在這兩類間不能有其他類與之重疊。 系統(tǒng)聚類方法 ? 樣品之間可以用不同的方法定義距離，類與類之間的距離也有多種定義。 ? 用不同的方法定義類與類之間的距離 ，就產(chǎn)生了不同的系統(tǒng)聚類方法。 ? （ 1） 最短距離法： 定義類與類之間距離為兩類最近樣品的距離 ， 使空間濃縮 ，形成鏈狀 ， 分類效果不好 ； ? （ 2） 最長距離法： 定義類與類之間距離為兩類最遠樣品的距離 ， 受奇異值的影響大 ； ? （ 3） 重心法： 以兩類重心之間的距離作為兩類間的距離 。 ? 重心即該類樣品的均值 。 ? 每合并一次類 ， 都要重新計算新類的重心 。不具單調(diào)性 ， 圖形逆轉(zhuǎn) ， 限制了其應用 ， 可能引起局部最優(yōu) ， 但 在處理異常值方面較穩(wěn)健 。 ? （ 4）類平均法： 以兩類元素兩兩之間距離平方的平均作為類間距離的平方。 ? （ 5）離差平方和法： 又稱 Ward法， 其基本思想是認為同類樣品的離差平方和應當較小，類與類的離差平方和應當較大。 ? 首先 n個樣品各自成一類，然后每次縮小一類，每縮小一類離差平方和就要增大，選擇使離差平方和增加最小的兩類合并，直到所有樣品歸為一類。它分類效果較好，應用較廣泛，對異常值較敏感 。 離差平方和是各項與平均項之差的平方的總和 ? 以上幾種聚類方法 ， 只有兩點區(qū)別： ? （ 1） 類與類之間距離定義不同； ? （ 2） 計算新類與其他類的距離所用的公式不同 ， 因而并類距離不同； ? 各種方法并類步驟完全一樣 。 ? 在一般情況下 ， 用不同的方法聚類的結果是不會完全一致的 ， 怎樣比較各種方法的優(yōu)劣呢 ？ ? 至今還沒有合適的衡量標準 ， 因為不存在一種總是最優(yōu)的聚類方法 。 ? 類的結構 （ 規(guī)模 、 形狀 、 個數(shù) ） 、 奇異值 、 相似測度選擇都會影響結果 。 ? 在實際應用中 ， 一般采用以下兩種處理方法： ? （ 1） 根據(jù)分類問題本身的專業(yè)知識結合實際需要來選擇分類方法 ， 并確定分類個數(shù)； ? （ 2） 多用幾種分類方法去作 ， 把結果中的共性提出來 ， 對有爭議的樣品用 判別分析 去歸類 。 應注意的問題 ? （ 1）在聚類分析中，應根據(jù)不同的目的選用不同的指標。 ? 一般來說，選擇哪些變量應該具有一定的理論支持，但在實踐中往往缺乏這樣強有力的理論基礎，一般根據(jù)實際工作經(jīng)驗和所研究問題的特征人為的選擇變量，這些變量應該和分析的目標密切相關，反映分類對象的特征，在不同研究對象上的值具有明顯差異，變量之間不應該高度相關。 選變量時并不是加入的變量越多，得到的結果越客觀。 有時，加入一兩個不合適的變量就會使分類結果大相徑庭。 ? 變量之間高度相關相當于加權，此時，有兩種處理方法： ? （ 1） 首先進行變量聚類 ，從每類中選一代表性變量，再進行樣品聚類； ? （ 2） 進行主成分分析或因子分析 ，降維，使之成為不相關的新變量，再進行樣品聚類。 ? （ 2） 標準化問題 ? 指標選用的度量單位將直接影響聚類分析的結果 。 ? 為了避免對變量單位選擇的依賴 ， 數(shù)據(jù)應當標準化 。 ? 數(shù)據(jù)量綱不同時 ， 必須進行標準化；但如果量綱相同 ， 可數(shù)量級相差很大 ， 這時也應該進行標準化 。 應注意的問題 ? 研究問題 對一個班同學的數(shù)學水平進行聚類 。聚類的依據(jù)是第一次數(shù)學考試的成績和入學考試的成績。 SPSS中實現(xiàn)過程 表 學生的數(shù)學成績 姓 名 第一次成績 入 學 成 績 hxh yaju yu shizg hah john watet jess wish Iiakii 數(shù)據(jù)如下表所示： ? 實現(xiàn)步驟 在 SPSS中如何選擇標準化方法 : →Analyze →Classify →Hierachical Cluster Analysis 然后從對話框中進行如下選擇 “Hierarchical Cluster Analysis”對話框（一） “Hierarchical Cluster Analysis： Method”對話框（一） 從 Transform Values框中點擊向下箭頭，將出現(xiàn)如下可選項，從中選一即可： 數(shù)據(jù)標準化 常用標準化方法（選項說明）： a) None：不進行標準化，這是系統(tǒng)默認值 為了便于后面的說明，作如下假設： ???????????nmnmxxxxX?????1111均值 表示為 ???niijj xnx11標準差 表示為 ? ??????nijijj xxnS1211所有樣本 表示為 極差 表示為 ijniijnij xxR ???? ?? 11 m i nm a xb) Z Scores：標準化變換 ???????????????????mjniSSSxxxjjjjijij