機器學習-降維算法(編輯修改稿)
2025-09-05 15:42 本頁面
【文章內(nèi)容簡介】 所以目標函數(shù)最后化為： 目標函數(shù)和約束條件構(gòu)成了一個最大化問題： 延遲符號 構(gòu)造拉格朗日函數(shù)： 對 u1求導 : 顯然， u1即為 XXT特征值 對應的特征向量 ！ XXT的 所有特征值和特征向量都滿足上式，那么將上式 代入 目標函數(shù)表達式即可得到 所以，如果取最大的那個 特征值 ， 那么得到的目標值就最大。 延遲符號 1. 去 均值 ,方差歸一化 (預處理的實質(zhì)是將坐標原點移到樣本點的中心點 ) 2. 求特征協(xié)方差 矩陣 3. 求協(xié)方差矩陣的特征值和 特征向量 4. 將特征值按照從大到小的順序排序 ,選擇其中最大的 k 個 ,然后將其對應的 k個特征向量分別作為列向量組成特征向量 矩陣 5. 將樣本點投影到選取的特征向量上。假設樣例數(shù) 為 m,特征數(shù)為 n,減去 均值后的樣本矩陣為 DataAdjust(m*n),協(xié)方差矩陣是 n*n,選取的 k 個特征向量組成的矩陣為EigenVectors(n*k)。那么投影后的數(shù)據(jù) FinalData 為 這樣 ,就將原始樣例的 n 維特征變成了 k 維 ,這 k 維就是原始特征在 k 維上的投影 ,代表了原始的 n個特征。 步驟 延遲符號 PCA具體丼例 我舉 個例子 來說明一下 PCA的算法以及它的流程： 第一步：分別 求 x和 y的均值 ，然后對于所有的樣例，都減去對應的 均值， ?? =， ?? =。 第二步 ：求 特征協(xié)方差矩陣 我們有以下數(shù)據(jù)： 延遲符號 第三步 ：求 協(xié)方差的特征值和特征向量，得到 第四步 ：將 特征值按照從大到小的順序排序，選擇其中最大的 k個，然后將其對應的 k個特征向量分別作為列向量組成特征向量 矩陣： 第五步 ：將 樣本點投影到選取的特征向量上 。那么 投影后的數(shù)據(jù) FinalData為 延遲符號 PCA在實際中的應用： （自己寫一個 pca函數(shù)，與 matlab庫函數(shù)對比一下）在這塊也可以介紹一下庫函數(shù)用法 延遲符號 延遲符號 線
研究報告相關推薦
鄂ICP備17016276號-1