主分量分析ppt課件(已修改)
2025-05-17 22:03 本頁面
【正文】 主分量分析與核主分量分析 ?第一節(jié) 主分量分析 ?第二節(jié) 核主分量分析 第一節(jié) 主分量分析 ? 概 述 ? 主分量分析的基本原理 ? 主分量分析的計算步驟 ? 主分量分析主要的作用 ? 主分量分析方法應(yīng)用實例 許多系統(tǒng)是多要素的復雜系統(tǒng)，多變量問題是經(jīng)常會遇到的。變量太多，無疑會增加分析問題的難度與復雜性，而且在許多實際問題中，多個變量之間是具有一定的相關(guān)關(guān)系的。 因此，人們會很自然地想到，能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來較多的舊變量，而且使這些較少的新變量盡可能多地保留原來變量所反映的信息？ 一、概述 事實上，這種想法是可以實現(xiàn)的，主分量分析方法就是綜合處理這種問題的一種強有力的工具。 主分量分析是把原來多個變量劃為少數(shù)幾個綜合指標的一種統(tǒng)計分析方法。 從數(shù)學角度來看，這是一種降維處理技術(shù) 。 在實際問題研究中，為了全面、系統(tǒng)地分析問題，我們必須考慮眾多影響因素。這些涉及的因素一般稱為指標，在多元統(tǒng)計分析中也稱為變量。因為每個變量都在不同程度上反映了所研究問題的某些信息，并且指標之間彼此有一定的相關(guān)性，因而所得的統(tǒng)計數(shù)據(jù)反映的信息在一定程度上有重疊。在用統(tǒng)計方法研究多變量問題時，變量太多會增加計算量和增加分析問題的復雜性，人們希望在進行定量分析的過程中，涉及的變量較少，得到的信息量較多。主成分分析正是適應(yīng)這一要求產(chǎn)生的，是解決這類題的理想工具。 主成分概念首先由 Karl Parson在 1901年首先提出，當時只是對非隨機變量來討論的。 1933年 Hotelling將這個概念推廣到隨機變量，作了進一步發(fā)展。 把從混合信號中求出主分量（能量最大的成份）的方法 稱為主分量分析（ PCA），而次分量（ Minor Components, MCs）與主分量（ Principal Components, PCs）相對，它是混合信號中能量最小的成分，被認為是不重要的或是噪聲有關(guān)的信號，把確定次分量的方法稱為次分量分析（ MCA）。 ? 主分量分析又稱主成分分析，也有稱 經(jīng)驗正交函數(shù)分解或特征向量分析。 ? 分析對象：以網(wǎng)格點為空間點（多個變量）隨時間變化的樣本 。 ? 主分量分析與回歸分析、差別分析不同，它是一種分析方法而不是一種預(yù)報方法 。 ? 我們希望可以通過某種線性組合的方法使某個變量或者某些變量的解釋方差變得比較大，這些具有較大解釋方差的變量就稱為主分量。 主成分分析是一種經(jīng)典的統(tǒng)計方法，它對多元統(tǒng)計觀測數(shù)據(jù)的協(xié)方差結(jié)構(gòu)進行分析，以期求出能簡約地表達這些數(shù)據(jù)依賴關(guān)系的主成分。主成分分析是一種特征提取的方法，也可以認為是一種數(shù)據(jù)降維的方法。一般來說，主成分分析的實施效果與評價指標間的相關(guān)程度高低成正比。評價指標間相關(guān)程度越高，主成分分析的效果就越好。 PCA可以用于減少特征空間維數(shù)、確定變量的線性組合、選擇最有用的變量、變量辨識、識別目標或是異常值分組等。主分量子空間提供了從高維數(shù)據(jù)到低維數(shù)據(jù)在均方誤差意義下的數(shù)據(jù)壓縮，它能最大程度地減少方差。 在統(tǒng)計學中，主成分分析（ principal ponents analysis,PCA）是一種簡化數(shù)據(jù)集的技術(shù)。它是一個線性變換。這個變換把數(shù)據(jù)變換到一個新的坐標系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個坐標 (稱為第一主成分 )上，第二大方差在第二個坐標 (第二主成分 )上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時保持數(shù)據(jù)集的對方差貢獻最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是，這也不是一定的，要視具體應(yīng)用而定 。 ? PCA主要用于數(shù)據(jù)降維，對于一組樣本的特征組成的多維向量，多維向量里的某些元素本身沒有區(qū)分性，比如某個元素在所有的樣本中都為 1，或者與 1差距不大，那么這個元素本身就沒有區(qū)分性，用它做特征來區(qū)分，貢獻會非常小。所以我們的目的是找那些變化大的元素，即方差大的那些維，而去除掉那些變化不大的維，從而使特征留下的都是最能代表此元素的“ 精品 ” ，而且計算量也變小了。 ? 對于一個 k維的特征來說，相當于它的每一維特征與其他維都是正交的（相當于在多維坐標系中，坐標軸都是垂直的），那么我們可以變化這些維的坐標系，從而使這個特征在某些維上方差大，而在某些維上方差很小。 ? 例如，一個 45度傾斜的橢圓，在第一坐標系，如果按照 x,y坐標來投影，這些點的 x和 y的屬性很難用于區(qū)分他們，因為他們在 x,y軸上坐標變化的方差都差不多，我們無法根據(jù)這個點的某個 x屬性來判斷這個點是哪個，而如果將坐標軸旋轉(zhuǎn)，以橢圓長軸為 x軸，則橢圓在長軸上的分布比較長，方差大，而在短軸上的分布短，方差小，所以可以考慮只保留這些點的長軸屬性，來區(qū)分橢圓上的點，這樣，區(qū)分性比 x,y軸的方法要好！ ? 所以我們的做法就是求得一個 k維特征的投影矩陣，這個投影矩陣可以將特征從高維降到低維。投影矩陣也可以叫做變換矩陣。新的低維特征必須每個維都正交，特征向量都是正交的。通過求樣本矩陣的協(xié)方差矩陣，然后求出協(xié)方差矩陣的特征向量，這些特征向量就可以構(gòu)成這個投影矩陣了。特征向量的選擇取決于協(xié)方差矩陣的特征值的大小。 舉一個例子：
教學課件相關(guān)推薦
鄂ICP備17016276號-1