《獨(dú)立分量分析》ppt課件-文庫吧
2025-04-16 12:13 本頁面
【正文】 mMT D ia gD ia g ?????? ???? ? ?2mm ?? ? xC為特征值，是對 的主分量分解 。 分解出的分量是按能量大小排序的 。0...21 ???? M???主分量分解 : ???TT VXUP??TPP 是按能量大小進(jìn)行排序，反映信號主要分量。 獨(dú)立分量分析概述 ICA的簡單思路 ICA的任務(wù)明確為：在 S， A均未知的情況下，求 B，使 Y=BX是 S的最優(yōu)逼迫。 基本原則 : (1)非線性去相關(guān)。求 B，使任意兩輸出 yi, yj(i≠j)不相 關(guān) 。 且經(jīng)非線性變換 g(yi), h(yi)也不相關(guān)（高階統(tǒng)計(jì)量）。 (2) 使輸出盡可能非高斯化。 Y的非高斯性的每個(gè)局部極 大值都給了一個(gè)獨(dú)立分量。 S X=AS Y=BX 混合矩陣 解混矩陣 A B 獨(dú)立分量分析概述 對 X求協(xié)方差陣（假設(shè)各導(dǎo)記錄的均值皆為 0），則有： 為特征值，上式是對 Cx的主分量分解。 分解出的分量按能量大小排序 。如果原始數(shù)據(jù)的 秩小于 M，則某些奇異值，特征值將等于 0。 SVD， PCA分解 , 保證分解出來的各分量不相關(guān)，不能保證分量 相互獨(dú)立。 ICA最早是針對“雞尾酒會問題”，從酒會嘈雜人聲中提取所關(guān)心 對象的語音，針對 CDMA把各用戶碼分解開來。 TTTTTx UUUVVUXXC ???? ??],...,[],...,[ 2122221 MMT D ia gD ia g ?????? ???? ? ?2mm ?? ?0...21 ???? M???獨(dú)立分量分析概述 （三） ICA最簡單框圖說明 ICA任務(wù)： S， A均未知，求 B，使 Y=BX是 S的最優(yōu)逼迫。 分解基本原則： （ 1）非線性去相關(guān)。求 B，使任意兩輸出 yi, yj(i≠j)不相 關(guān)；且經(jīng)非線性變換 g(yi), h(yj)也不相關(guān)（高階統(tǒng)計(jì) 量）。 （ 2） 使輸出盡可能非高斯化 ,Y方差恒定， Y的非高斯性的每一個(gè)局部極大值給出了一個(gè)獨(dú)立分量。 。ii ixby ??S Y=BX 混合矩陣 解混矩陣 X=AS B A 獨(dú)立分量分析概述 主要研究結(jié)構(gòu) : (1)美國加州大學(xué)生物系，計(jì)算神經(jīng)生物實(shí)驗(yàn)室，提出 信息極大化 ( infomax )。 (2)日本 Riken的數(shù)量神經(jīng)科學(xué)實(shí)驗(yàn)室，互信息極小化 （ minimization of mutual information MMI)采用人 工神經(jīng)網(wǎng)絡(luò)優(yōu)化。 獨(dú)立分量分析概述 （ 3）芬蘭赫爾辛基工業(yè)大學(xué)神經(jīng)網(wǎng)絡(luò)研究中心 ~oja 高階統(tǒng)計(jì)量引入 PCA，提出了立足于逐次提取獨(dú)立分 量的固定點(diǎn)算 法 （ fixed point algorithm) 。 fast ICA :使提取信號 非高斯性極大化。 計(jì)算量小，收斂速度快。 （ 4）法國學(xué)者： JADE 算法 批數(shù)據(jù)處理算法 近年來引人注意的稀疏分量分析。 優(yōu)化判據(jù) 優(yōu)化算法 應(yīng)用 基本概念（與 ICA相關(guān)） （一） n階矩： 一階均值 三階偏斜度 二階均方 四階峰度 統(tǒng)計(jì)估計(jì)時(shí)，偏斜度，峰度是對標(biāo)準(zhǔn)化了的數(shù)據(jù) x (均值 為 0，方差為 1）進(jìn)行的。 （二） n階累計(jì)量： )( nn xEm ?0)(??snndssd ? ][)( nn xEdxxpx ?? ?dxexps sx?? )()(? ][ sxeE?nsnnn msdssdk ???? )(1)(0 ??)(log)( ss ?? ?)(lo g!)(0sknss nnn?? ?? ???11 mk ?2122 mmk ??311233 23 mmmmk ??? 41212132244 61243 mmmmmmmk ?????第二特征函數(shù) 特征函數(shù) 均值 方差 Taylor展開 （ moment） （ cumulant） 基本概念（與 ICA相關(guān)） 說明： (1)對單變量高斯型信號，二階以上的矩和累計(jì)量或?yàn)? 0，或可由一，二階推導(dǎo)，是冗余的，因此，高斯型隨 機(jī)變量可由一，二階統(tǒng)計(jì)特征來完整描述。 (2)當(dāng) pdf關(guān)于原點(diǎn)偶對稱， m3=k3=0。 (3) k40 超高斯 , k40 亞高斯 , k4 常用于對非高斯，但 對稱的 pdf分類。 用 ︱ k4︱ 大小作為衡量信號距離高斯型程度的度量。 基本概念（與 ICA相關(guān)） （三）聯(lián)合矩，聯(lián)合累計(jì)量 性質(zhì) ：（ 1）當(dāng) x各分量相互獨(dú)立，互累計(jì)量必為 0。 （ 2）比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4) 聯(lián)合矩： MMnnnnMnnMnnn ssss ...0 321212121!! .. .!...)( ????0...21...,212121 ,...,)(?????????MMMsssnMnnnnnn ssssM ?基本概念（與 ICA相關(guān)） （四）熵： 反映平均信息量。 （ 1）當(dāng)隨機(jī)變量取值一定范圍時(shí)，其取值作均勻分布將具有最大熵值。 （ 2）當(dāng)隨機(jī)變量的功率一定時(shí)，高斯分布具有最大熵值 （五） KL散度 : 描述的是兩個(gè)概率密度函數(shù)間相似程度（ kullbackleib
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1