獨(dú)立分量分析ppt課件(參考版)
2025-05-04 12:13本頁面
【正文】 解是近似解，且排列次序 上，幅度上允許不同 ICA的優(yōu)化判據(jù) 步驟 ：兩步法解混 （ 1）球化： 確定線性變換 W使 z(t)的各分量 zi(t)的方差為 1，且不相關(guān)（ 未必相互獨(dú)立 ） ICA的優(yōu)化判據(jù) （ 2）正交變換： yi的方差保持為 1，且盡可能相互獨(dú)立 第一步已經(jīng)滿足獨(dú)立性對(duì)二階統(tǒng)計(jì)量的要求，因此第二步只考慮三階以上的統(tǒng)計(jì)量 1( ) ( ) [ ]MTi y Mip p y E?? ? ??y C y y I ICA：各分量在方差相等的情況下盡可能獨(dú)立，“ 對(duì)任意多變量數(shù)據(jù)尋求某種非正交坐標(biāo)系的分解 ” PCA：按能量大小排序進(jìn)行分解，分解出的分量相互正交 ICA的優(yōu)化判據(jù) ICA的優(yōu)化判據(jù) ICA 最優(yōu)判據(jù) 最優(yōu)算法 獨(dú)立性判據(jù)統(tǒng)計(jì)學(xué)意義：聯(lián)合 pdf是否可以表示稱各邊際 pdf的乘積？ 1( ) ( )Miip p y?? ?y？ ICA的優(yōu)化判據(jù) ∴ 最直接的判據(jù)：互信息 I(y) 11()( ) ( ) , ( ) ( ) l o g()Mi MiiipI K L p p y p dp y )??????????????????????? ??yy y y y由于 ， 未知，需要對(duì)其估計(jì)，實(shí)際做法是將pdf變成高階統(tǒng)計(jì)量的技術(shù)，或在輸出端引入某種非線性環(huán)節(jié)，來自動(dòng)引入高階統(tǒng)計(jì)量 )( iyp )(yp一、統(tǒng)計(jì)獨(dú)立性與互信息測度間的關(guān)系 ICA的優(yōu)化判據(jù) 11( ) ( ) , ( ) ( ) ( )M MiiiiI K L p p y H y H????? ? ????? ??y y yy中分量獨(dú)立時(shí) ( ) 0I ??y 互信息極小化判據(jù) 判據(jù)：選擇 B， 由 x求 達(dá)到 極小 ?y BX ()I y判據(jù)的優(yōu)點(diǎn)： y中各分量的排序和幅度比例變化具有不變性 仍涉及 pdf，需要用高階統(tǒng)計(jì)量近似 ICA的優(yōu)化判據(jù) 最簡單的逼近思路 ( ) ( ) l o gHH??y x B1( ) ( ) ( ) l ogM iiI H y H?? ? ??y x B1( ) l ogMiiHy??? B341[ ( ), ( )]M iiiF k y k y??2 2 4 23 4 3 4 3 3 41[ ( ) , ( ) ] [ 4 7 6 ]48iiF k y k y k k k k k? ? ? ? ?輸入信號(hào)的熵與 B無關(guān) 等效于 極小 表示為高階統(tǒng)計(jì)量的組合 2i?若 不等于 1，則 應(yīng)除以 nkni?二、信息極大化判據(jù)（ Informax） ICA的優(yōu)化判據(jù) B y(t) x(t) y1(t) y2(t) yM(t) g1(*) g2(*) gM(*) r1(t) r2(t) rM(t) 用非線性函數(shù) 來代替高級(jí)統(tǒng)計(jì)量的估計(jì) ()i i ir g y?由于 是單調(diào)可逆，變換前后互信息具有不變性 接近信源的累計(jì)分布 igir 判據(jù)：給定合適的 后，使輸出的 總熵量極大，或 極小，或 極大 ICA的優(yōu)化判據(jù) ()iigy ],[ 21 Mrrr ??r()I r ),( ryI()iigy 是接近信源的累積分布函數(shù)， 單增， 極小， 極大 0~1 ()I r),( ryIig可以用 sigmoid， tanh等 ICA的優(yōu)化判據(jù) 通過非線性環(huán)節(jié)送出去的信息量最大， 最大 ),( ryI( , ) ( ) ( | )I H H??y r r r y由于非線性環(huán)節(jié)確定， y一定下， r也確定 1( ) ( ) ( )M iiH H r I????rr0 1( , ) ( ) ( )M iiI H r I????y r r∴ ()iHr ()I r極大， 極小 ( , )I yr 極大， iiyr? 極小，各分量互信息極小 極大，()I r， 三、極大似然判據(jù) ICA的優(yōu)化判據(jù) Asx ? ，定義 最大為極大似然估計(jì) )|(?log Axp)()|(?l o g)()]|(?[ l o g AxAxxAx d e f LdpppE ? ??目標(biāo)函數(shù) 極大似然估計(jì)含義：選擇 A，使 極大 ()LA)()( tt Bxy ? ， B給定， y分量獨(dú)立 ICA中 ： x的對(duì)數(shù)極大似然函數(shù) )|(log Bxp在獨(dú)立的條件下，可以證明 ???? Miiypp1)(lo g||lo g)|(lo g BBxICA的優(yōu)化判據(jù) ? ??? ?????TtMiiTttypTpTL1 1)]([l og1||l og)|(l og1)( BBxB1? ? ?? ???TtMi jjij txbpT1 1])([lo g1||lo g B11[ l og ( ) ] ( )MM iiiiE p y H y???????使 L(B)極大 1( ) l og | | ( )M iiH y L?? ? ? ?? BB∴ ???? MiiyHL1)(||log)( BBICA的優(yōu)化判據(jù) 1( ) , ( ) ( ) l o g | | ( ) ( ) ( )MiiI p p y H L H L??? ? ? ? ? ? ? ????? ?y y B B x B 與 B無關(guān)，可見 極大，意味著互信息 極小 ()H x ()L B ?????? ??MiiyppI1)(),( yICA的優(yōu)化判據(jù) 四、高階統(tǒng)計(jì)量獨(dú)立性判據(jù) 在多變量情況下， y中個(gè)分量相互獨(dú)立時(shí)，全部累計(jì)量 =0，y的維數(shù)高時(shí)，計(jì)算量大，不太實(shí)用 ICA的優(yōu)化判據(jù) 五、判據(jù)近似逼近 判據(jù)涉及 pdf pdf未知 pdf級(jí)數(shù)展開 適當(dāng)選取非線性函數(shù) ()iigy簡化，逼近 如： Informax，逐分量引入 使 極大 ()i i ir g y?1()MiiHr??gi的選擇，單增， 之間，常用 sigmod， tanh， 等 0~1 3iyICA的優(yōu)化算法 ?批處理法： JADE 對(duì)一批已取得的數(shù)據(jù)進(jìn)行優(yōu)化 自適應(yīng)算法： 對(duì)輸入信號(hào)自適應(yīng)處理 逐次提取 Joint Cumulant and Correlation based signal seperation with application to EEG data analys
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1