獨立成分分析independentcomponentanalysisica(編輯修改稿)
2025-06-18 08:51 本頁面
【文章內(nèi)容簡介】 Negentropy ? 基于信息論中熵的概念 ? 定理：在所有隨機變量，高斯分布的變量有最大熵。 ? 定義 Negentropy J為： yGauss是和 y有相同協(xié)方差矩陣的高斯隨機變量。 y為高斯分布時， Negentropy為零，其它分布時不為零。 ? 計算起來太復雜，需要引入其近似值。 Negentropy的近似 ? 經(jīng)典近似： 和 Kurtosis有同樣的缺點：不魯棒。 ? 另一種近似： V是均值為零，方差為 1的高斯隨機變量， G是非二次函數(shù) 常取為： 計算簡單快速，而且具有魯棒性。后面介紹的算法即采用此種近似。 ? ? ? ?2 2311() 1 2 4 8J y E y k u r t y??? ? ? ? 2( ) ( ) ( )J y c E G y E G v??????1111( ) l o g c o sG u a ua?22 ( ) e x p 2uGu ????? ????預(yù)處理－ Centering ? 為了使算法更簡單，一般會在采用具體算法前進行預(yù)處理。 ? Centering：使 x變?yōu)榫禐榱愕碾S機變量，減去 m=E{x}即可。 ? 純粹為了簡化計算，估計完 A后，可以將 s的均值補償回去。 s的均值向量為 A－ 1 s。 預(yù)處理－ whitening ? 對 x進行線性變化，使變換后的 x’是 white的，即各分量不相關(guān)且 ， I為單位矩陣。 ? 方法：特征值分解（ EVD） ? 變換后 A為正交矩陣 A‘： 根據(jù)正交矩陣性質(zhì)，正交矩陣自由度為 n(n1)/2，將需要估計的矩陣 系數(shù)減少了一半。 ? ?39。39。 TE x x I?? ?39。39。 TTE x x E D E? 1 / 239。 Tx E D E x??? ? ? ?39。 39。 39。 39。 39。 39。 1T T T TE x x A E ss A A A? ? ?小結(jié) ? 前面給出了測量函數(shù)，也已證明 ICA問題實際上就是求解函數(shù)的最值問題。 ? 現(xiàn)在需要的是求解最值的優(yōu)化算法。有很多，梯度下降法， EM算法等。 ? 應(yīng)用最廣泛的為 FastICA算法，它基于固定點迭代的方法 補充：固定點迭代法 ? 用于求解方程（線性、非線性、差分） ? 函數(shù)的固定點：函數(shù) g(x)的固定點是數(shù) p，如果 p=g(p) 幾何上的表述是 Y=g(x)和 Y=x的交點 ? 固定點迭代：選擇初始值 p0，然后將函數(shù)迭代作用
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1