機(jī)器學(xué)習(xí)-降維算法-文庫(kù)吧
2025-07-25 15:42 本頁(yè)面
【正文】 降維算法可以根據(jù)所采用策略的丌同而進(jìn)行丌同的分類 一、樣本信息是否利用 監(jiān)督降維方法 半監(jiān)督降維方法 無(wú) 監(jiān)督降維方法 二、根據(jù)所要處理的數(shù)據(jù)屬性類型的丌同 線性降維方法： PCA、 LDA 非線性降維方法： LLE、 Laplacian Eigenmaps 降 維算法分類 延遲符號(hào) 延遲符號(hào) 主成分分析 (PCA) PCA是 principal ponent analysis 的縮寫，即主成分分析。此方法目標(biāo)是找到數(shù)據(jù)中 最主要的元素和結(jié)構(gòu) ，去除噪音和冗余，將原有的復(fù)雜 數(shù)據(jù)降維 ，揭露出隱藏在復(fù)雜數(shù)據(jù)背后的 簡(jiǎn)單結(jié)構(gòu) 。 主成分分析 就是試圖在力保數(shù)據(jù)信息 丟失最少的原則 下，對(duì)這種多變量的數(shù)據(jù)表進(jìn)行 最佳綜合 簡(jiǎn)化 。 這些綜合指標(biāo)就稱為 主成分 ,也就是說(shuō)，對(duì)高維變量空間進(jìn)行降維處理 , 從 線性代數(shù)角度來(lái)看， PCA目標(biāo)是找到一組 新正交基 去重新描述得到的數(shù)據(jù)空間，這個(gè)維度就是主元。 向量的表示及基變換 A(3,2) 延遲符號(hào) 去中心化 現(xiàn)在問(wèn)題來(lái)了：如果我們必須使用一維來(lái)表示這些數(shù)據(jù)，又希望盡量保留原始的信息，你要如何選擇？ 例題： 延遲符號(hào) 下面是三維空間 中的一組數(shù)據(jù)，很明顯，數(shù)據(jù)的分布讓我們很容易就能看出來(lái)主成分的軸（簡(jiǎn)稱主軸）的大致方向。下面的問(wèn)題就是如何通過(guò)數(shù)學(xué)計(jì)算找出主軸的方向。來(lái)看這張圖： 延遲符號(hào) 0 0 1. 給定 一組數(shù)據(jù) ： 2. 將 其中心化后表示為： 3. 中心化 后的數(shù)據(jù)在第一主軸 u1方向上分布散的最開，也就是說(shuō)在 u1方向上的投影的絕對(duì)值之和最大（也可以說(shuō)方差最大），計(jì)算投影的方法就是將 x與 u1做內(nèi)積，由于只需要求 u1的方向，所以設(shè) u1是單位向量。 也就是最大化下式： 也即最大化： 兩個(gè)向量做內(nèi)積可以轉(zhuǎn)化成矩陣乘法： 所以目標(biāo)函數(shù)可以表示為： 推導(dǎo)過(guò)程： 延遲符號(hào)
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1