獨(dú)立成分分析independentcomponentanalysisica(編輯修改稿)
2025-06-18 08:51 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 Negentropy ? 基于信息論中熵的概念 ? 定理：在所有隨機(jī)變量，高斯分布的變量有最大熵。 ? 定義 Negentropy J為： yGauss是和 y有相同協(xié)方差矩陣的高斯隨機(jī)變量。 y為高斯分布時(shí)， Negentropy為零，其它分布時(shí)不為零。 ? 計(jì)算起來太復(fù)雜，需要引入其近似值。 Negentropy的近似 ? 經(jīng)典近似： 和 Kurtosis有同樣的缺點(diǎn)：不魯棒。 ? 另一種近似： V是均值為零，方差為 1的高斯隨機(jī)變量， G是非二次函數(shù) 常取為： 計(jì)算簡(jiǎn)單快速，而且具有魯棒性。后面介紹的算法即采用此種近似。 ? ? ? ?2 2311() 1 2 4 8J y E y k u r t y??? ? ? ? 2( ) ( ) ( )J y c E G y E G v??????1111( ) l o g c o sG u a ua?22 ( ) e x p 2uGu ????? ????預(yù)處理－ Centering ? 為了使算法更簡(jiǎn)單，一般會(huì)在采用具體算法前進(jìn)行預(yù)處理。 ? Centering：使 x變?yōu)榫禐榱愕碾S機(jī)變量，減去 m=E{x}即可。 ? 純粹為了簡(jiǎn)化計(jì)算，估計(jì)完 A后，可以將 s的均值補(bǔ)償回去。 s的均值向量為 A－ 1 s。 預(yù)處理－ whitening ? 對(duì) x進(jìn)行線性變化，使變換后的 x’是 white的，即各分量不相關(guān)且 ， I為單位矩陣。 ? 方法：特征值分解（ EVD） ? 變換后 A為正交矩陣 A‘： 根據(jù)正交矩陣性質(zhì)，正交矩陣自由度為 n(n1)/2，將需要估計(jì)的矩陣 系數(shù)減少了一半。 ? ?39。39。 TE x x I?? ?39。39。 TTE x x E D E? 1 / 239。 Tx E D E x??? ? ? ?39。 39。 39。 39。 39。 39。 1T T T TE x x A E ss A A A? ? ?小結(jié) ? 前面給出了測(cè)量函數(shù)，也已證明 ICA問題實(shí)際上就是求解函數(shù)的最值問題。 ? 現(xiàn)在需要的是求解最值的優(yōu)化算法。有很多，梯度下降法， EM算法等。 ? 應(yīng)用最廣泛的為 FastICA算法，它基于固定點(diǎn)迭代的方法 補(bǔ)充：固定點(diǎn)迭代法 ? 用于求解方程（線性、非線性、差分） ? 函數(shù)的固定點(diǎn)：函數(shù) g(x)的固定點(diǎn)是數(shù) p，如果 p=g(p) 幾何上的表述是 Y=g(x)和 Y=x的交點(diǎn) ? 固定點(diǎn)迭代：選擇初始值 p0，然后將函數(shù)迭代作用
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1