獨立分量分析ppt課件-wenkub
2023-05-16 12:13:58 本頁面
【正文】 ???????MNmmmmmNMMMMMvvvvvvuuuuuu??????............21111211112111211???????????????????????MMMNmMNMNMMmmMMMMNmNNMmmuvuvuvuvuvuvuvuvuvuvuvuv????????????..................222111122121111112221111111221211111????????????????NNNNNvvvvvv......2111211獨立分量分析概述 列向量 u反應在不同通道的分量，空間模式； 列向量 v反應在不同時刻的貢獻，時間模式。 獨立分量分析概述 ICA的簡單思路 ICA的任務明確為：在 S， A均未知的情況下，求 B，使 Y=BX是 S的最優(yōu)逼迫。 (2) 使輸出盡可能非高斯化。如果原始數(shù)據(jù)的 秩小于 M，則某些奇異值，特征值將等于 0。 分解基本原則： （ 1）非線性去相關(guān)。ii ixby ??S Y=BX 混合矩陣 解混矩陣 X=AS B A 獨立分量分析概述 主要研究結(jié)構(gòu) : (1)美國加州大學生物系，計算神經(jīng)生物實驗室，提出 信息極大化 ( infomax )。 計算量小，收斂速度快。 (2)當 pdf關(guān)于原點偶對稱， m3=k3=0。 （ 2）比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4) 聯(lián)合矩： MMnnnnMnnMnnn ssss ...0 321212121!! .. .!...)( ????0...21...,212121 ,...,)(?????????MMMsssnMnnnnnn ssssM ?基本概念（與 ICA相關(guān)） （四）熵： 反映平均信息量。 重要應用：用來度量任意多變量概率密度函數(shù)中各分量相互獨立程度。 ????Nii xHxHxI1)()()()()(1??? NiixpXpdxxpxpxpxpxpKLxINiiNii ???????11 )()(l o g)()](),([)(def 基本概念（與 ICA相關(guān)） （七）負熵：任意 pdf p(x)和具有相同協(xié)方差陣的高斯分布 pG(x)的 KL散 度，作為該 pdf 非高斯程度的度量。解是近似解，且排列次序 上，幅度上允許不同 ICA的優(yōu)化判據(jù) 步驟 ：兩步法解混 （ 1）球化： 確定線性變換 W使 z(t)的各分量 zi(t)的方差為 1，且不相關(guān)（ 未必相互獨立 ） ICA的優(yōu)化判據(jù) （ 2）正交變換： yi的方差保持為 1，且盡可能相互獨立 第一步已經(jīng)滿足獨立性對二階統(tǒng)計量的要求，因此第二步只考慮三階以上的統(tǒng)計量 1( ) ( ) [ ]MTi y Mip p y E?? ? ??y C y y I ICA：各分量在方差相等的情況下盡可能獨立，“ 對任意多變量數(shù)據(jù)尋求某種非正交坐標系的分解 ” PCA：按能量大小排序進行分解，分解出的分量相互正交 ICA的優(yōu)化判據(jù) ICA的優(yōu)化判據(jù) ICA 最優(yōu)判據(jù) 最優(yōu)算法 獨立性判據(jù)統(tǒng)計學意義：聯(lián)合 pdf是否可以表示稱各邊際 pdf的乘積？ 1( ) ( )Miip p y?? ?y？ ICA的優(yōu)化判據(jù) ∴ 最直接的判據(jù)：互信息 I(y) 11()( ) ( ) , ( ) ( ) l o g()Mi MiiipI K L p p y p dp y )??????????????????????? ??yy y y y由于 ， 未知，需要對其估計，實際做法是將pdf變成高階統(tǒng)計量的技術(shù)，或在輸出端引入某種非線性環(huán)節(jié)，來自動引入高階統(tǒng)計量 )( iyp )(yp一、統(tǒng)計獨立性與互信息測度間的關(guān)系 ICA的優(yōu)化判據(jù) 11( ) ( ) , ( ) ( ) ( )M MiiiiI K L p p y H y H????? ? ????? ??y y yy中分量獨立時 ( ) 0I ??y 互信息極小化判據(jù) 判據(jù)：選擇 B， 由 x求 達到 極小 ?y BX ()I y判據(jù)的優(yōu)點： y中各分量的排序和幅度比例變化具有不變性 仍涉及 pdf，需要用高階統(tǒng)計量近似 ICA的優(yōu)化判據(jù) 最簡單的逼近思路 ( ) ( ) l o gHH??y x B1( ) ( ) ( ) l ogM iiI H y H?? ? ??y x B1( ) l ogMiiHy??? B341[ ( ), ( )]M iiiF k y k y??2 2 4 23 4 3 4 3 3 41[ ( ) , ( ) ] [ 4 7 6 ]48iiF k y k y k k k k k? ? ? ? ?輸入信號的熵與 B無關(guān) 等效于 極小 表示為高階統(tǒng)計量的組合 2i?若 不等于 1，則 應除以 nkni?二、信息極大化判據(jù)（ Informax） ICA的優(yōu)化判據(jù) B y(t) x(t) y1(t) y2(t) yM(t) g1(*) g2(*) gM(*) r1(t) r2(t) rM(t) 用非線性函數(shù) 來代替高級統(tǒng)計量的估計 ()i i ir g y?由于 是單調(diào)可逆，變換前后互信息具有不變性 接近信源的累計分布 igir 判據(jù)：給定合適的 后，使輸出的 總熵量極大，或 極小，或 極大 ICA的優(yōu)化判據(jù) ()iigy ],[ 21 Mrrr ??r()I r ),( ryI()iigy 是接近信源的累積分布函數(shù)， 單增， 極小， 極大 0~1 ()I r),( ryIig可以用 sigmoid， tanh等 ICA的優(yōu)化判據(jù) 通過非線性環(huán)節(jié)送出去的信息量最大， 最大 ),( ryI( , ) ( ) ( | )I H H?
教學課件相關(guān)推薦
鄂ICP備17016276號-1