主成分分析pcappt課件-文庫吧資料
2025-01-20 05:40本頁面
【正文】 x x xx x xx x x????????????????? ? ?XXXX 設(shè)有 n個樣本，每個樣本觀測 p個指標(biāo)（變量）：X1， X2， … ， Xn, 得到原始數(shù)據(jù)矩陣： 27 .1 () nn? 12M X + X + + Xk kX = X M1. 樣本均值 顯然 ,樣本均值是數(shù)據(jù)散列圖的 中心 . 于是 p*n 矩陣的列 B具有零樣本均值 , 稱為平均偏差形式 12, , , n??? ??B X X X4 2 0 2 442024M 28 11Tn? ?S BB2. 樣本協(xié)方差 ???????? ???????? ??? ?中心 中心 協(xié)方差的大小在一定程度上反映了多變量之間的關(guān)系，但它還受變量自身度量單位的影響 . 注意：協(xié)方差 是對稱矩陣且半正定 29 特征值與特征向量 定義 Ａ 為ｎ階方陣， λ 為數(shù)， X 為ｎ維非零向量， A X X??若 則 λ 稱為 Ａ 的 特征值 ， X 稱為 Ａ 的 特征向量 ． 注 ② 并不一定唯一； ,X?③ ｎ階方陣 Ａ 的特征值，就是使齊次線性方程組 ① 特征向量 ，特征值問題只針對與方陣； 0X ?? ? 0I A x? ??有非零解的 λ 值，即滿足 的 λ 都是 方陣 Ａ 的特征值． 0IA? ??定義 0IA? ??稱以 λ 為未知數(shù)的一元ｎ次方程 為 Ａ 的 特征方程 ． 30 ? 例 1: 從一個總體中隨機抽取 4個樣本作三次測量 ,每一個樣本的觀測向量為 : 1 2 3 41 4 7 82 , 2 , 8 , 41 13 1 5? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?X X X X 計算樣本均值 M和協(xié)方差矩陣 S以及 S的特征值和特征向量 . 11 niin ?? ?MX 11Tn? ?S BBSX X??31 Syntax C = cov(X) AlgorithmThe algorithm for cov is [n,p] = size(X)。 什么是標(biāo)準(zhǔn)呢 ？ 那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分 。 25 ?正如二維橢圓有兩個主軸 ， 三維橢球有三個主軸一樣 ， 有幾個變量 ， 就有幾個主成分 。 ? 注意 ， 和二維情況類似 ， 高維橢球的主軸也是互相垂直的 。 24 進(jìn)一步解釋 PCA(續(xù) ) ? 對于多維變量的情況和二維類似 ， 也有高維的橢球 ， 只不過無法直觀地看見罷了 。 ? 如果長軸變量代表了數(shù)據(jù)包含的大部分信息 ，就用該變量代替原先的兩個變量 （ 舍去次要的一維 ） ， 降維就完成了 。 ? 但是 ， 坐標(biāo)軸通常并不和橢圓的長短軸平行 。 在短軸方向上 ，數(shù)據(jù)變化很少；在極端的情況 ， 短軸如果退化成一點 ， 那只有在長軸的方向才能夠解釋這些點的變化了；這樣 ， 由二維到一維的降維就自然完成了 。 我們希望把 6維空間用低維空間表示。 12 從本例可能提出的問題 ?目前的問題是 ， 能不能把這個數(shù)據(jù)的6個變量用一兩個綜合變量來表示 呢 ？ ?這一兩個綜合變量 包含有多少原來的信息 呢 ？ ?能不能 利用找到的綜合變量來對學(xué)生排序 呢 ？ 這一類數(shù)據(jù)所涉及的問題可以推廣到對企業(yè) ， 對學(xué)校進(jìn)行分析 、排序 、 判別和分類等問題 。 很顯然 ， 識辨系統(tǒng)在一個低維空間要比在一個高維空間容易得多 。 更有意思的是 ， 這三個變量其實都是可以直接測量的 。 ?在進(jìn)行主成分分析后，竟以 ％的精度，用三個新變量就取代了原 17個變量。 8 美國的統(tǒng)計學(xué)家斯通 (Stone)在 1947年關(guān)于國民經(jīng)濟(jì)的研究是 一項十分著名的工作 。關(guān)于保留幾個主成分 ， 應(yīng)該權(quán)衡主成分個數(shù)和保留的信息 。 要討論的問題是： 2. 問題的提出 6 各個變量之間差異很大 7 （ 2） 如何選擇幾個主成分 。 在力求數(shù)據(jù)信息丟失最少的原則下 ， 對高維的變量空間降維 ， 即研究指標(biāo)體系的少數(shù)幾個線性組合 ， 并且這幾個線性組合所構(gòu)成的綜合指標(biāo)將盡可能多地保留原來指標(biāo)變異方面的信息 。 ? 主成分分析方法就是綜合處理這種問題的一種強有力的方法。 變量太多，無疑會增加分析問題的難度與復(fù)雜性 . ? 在許多實際問題中，多個變量之間是具有一定的相關(guān)關(guān)系的。 實例 1 實例 2 ? 你必須要把各個方面作出 高度概括 ， 用一兩個指標(biāo)簡單明了地把情況說清楚。題目 : 主成分分析 PCA 路志宏 Principal Component Analysis 2 內(nèi) 容 ? 一、 前 言 ? 二、 問題的提出 ? 三、主成分分析 ? 1. 二維數(shù)據(jù)的例子 ? 2. PCA的幾何意義 ? 3. 均值和協(xié)方差、 特征值和特征向量 ? 4. PCA的性質(zhì) ? 四、 主成分分析的算法 ? 五、 具體實
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1