獨(dú)立分量分析ppt課件(已改無(wú)錯(cuò)字)
2023-06-01 12:13:58 本頁(yè)面
【正文】 gy ],[ 21 Mrrr ??r()I r ),( ryI()iigy 是接近信源的累積分布函數(shù)， 單增， 極小， 極大 0~1 ()I r),( ryIig可以用 sigmoid， tanh等 ICA的優(yōu)化判據(jù) 通過(guò)非線性環(huán)節(jié)送出去的信息量最大， 最大 ),( ryI( , ) ( ) ( | )I H H??y r r r y由于非線性環(huán)節(jié)確定， y一定下， r也確定 1( ) ( ) ( )M iiH H r I????rr0 1( , ) ( ) ( )M iiI H r I????y r r∴ ()iHr ()I r極大， 極小 ( , )I yr 極大， iiyr? 極小，各分量互信息極小 極大，()I r， 三、極大似然判據(jù) ICA的優(yōu)化判據(jù) Asx ? ，定義 最大為極大似然估計(jì) )|(?log Axp)()|(?l o g)()]|(?[ l o g AxAxxAx d e f LdpppE ? ??目標(biāo)函數(shù) 極大似然估計(jì)含義：選擇 A，使 極大 ()LA)()( tt Bxy ? ， B給定， y分量獨(dú)立 ICA中 ： x的對(duì)數(shù)極大似然函數(shù) )|(log Bxp在獨(dú)立的條件下，可以證明 ???? Miiypp1)(lo g||lo g)|(lo g BBxICA的優(yōu)化判據(jù) ? ??? ?????TtMiiTttypTpTL1 1)]([l og1||l og)|(l og1)( BBxB1? ? ?? ???TtMi jjij txbpT1 1])([lo g1||lo g B11[ l og ( ) ] ( )MM iiiiE p y H y???????使 L(B)極大 1( ) l og | | ( )M iiH y L?? ? ? ?? BB∴ ???? MiiyHL1)(||log)( BBICA的優(yōu)化判據(jù) 1( ) , ( ) ( ) l o g | | ( ) ( ) ( )MiiI p p y H L H L??? ? ? ? ? ? ? ????? ?y y B B x B 與 B無(wú)關(guān)，可見(jiàn) 極大，意味著互信息 極小 ()H x ()L B ?????? ??MiiyppI1)(),( yICA的優(yōu)化判據(jù) 四、高階統(tǒng)計(jì)量獨(dú)立性判據(jù) 在多變量情況下， y中個(gè)分量相互獨(dú)立時(shí)，全部累計(jì)量 =0，y的維數(shù)高時(shí)，計(jì)算量大，不太實(shí)用 ICA的優(yōu)化判據(jù) 五、判據(jù)近似逼近 判據(jù)涉及 pdf pdf未知 pdf級(jí)數(shù)展開(kāi) 適當(dāng)選取非線性函數(shù) ()iigy簡(jiǎn)化，逼近 如： Informax，逐分量引入 使 極大 ()i i ir g y?1()MiiHr??gi的選擇，單增， 之間，常用 sigmod， tanh， 等 0~1 3iyICA的優(yōu)化算法 ?批處理法： JADE 對(duì)一批已取得的數(shù)據(jù)進(jìn)行優(yōu)化 自適應(yīng)算法： 對(duì)輸入信號(hào)自適應(yīng)處理 逐次提取 Joint Cumulant and Correlation based signal seperation with application to EEG data analysis ICA的優(yōu)化算法 一、逐次提取法 投影跟蹤 思路：從“最獨(dú)立的方向投影” 實(shí)際工作中，以“投影后數(shù)據(jù)的 pdf（概率密度函數(shù)）距離高斯分布最遠(yuǎn)”，將各獨(dú)立分量逐個(gè)提取出來(lái)，每提取一個(gè)，把該分量從原始數(shù)據(jù)中剔除 理由： ?x As ?y Bx ??y B A s V s ?V BA∴ 對(duì) y中的某個(gè)元素 有 jyICA的優(yōu)化算法 1Nj ij iiy v s?? ?若 si非高斯的， 比 yj更接近高斯分布 當(dāng) vij其中只有一個(gè)為 1，其余為 0， yj=sk，距離高斯分布最遠(yuǎn) 最接近信源 實(shí)際上， A未知，只能通過(guò)改變 B中的元素，使 yj的分布最非高斯 ICA的優(yōu)化算法 度量非高斯程度 負(fù)熵 ()[ ( ) ] [ ( ) , ( ) ] ( ) l o g()G GpyJ p y K L p y p y p y d ypy?????????( ) ( ) 0GH y H y? ? ?當(dāng) 分布是高斯分布 [ ( )] 0J p y ?[ ( )]J p y 越大，說(shuō)明離高斯變量越遠(yuǎn) ICA的優(yōu)化算法 方法： （ 1）負(fù)熵可以表示稱高階統(tǒng)計(jì)量的函數(shù) 4( ) ( )J y k y?2 2 4 23 4 3 3 41( ) 4 ( ) ( ) 2 ( ) 1 8 ( ) ( )48J y k y k y k y k y k y??? ? ? ???較小，偶對(duì)稱 3 ( ) 0ky?結(jié)論： 4()ky 與獨(dú)立分量間的關(guān)系： 調(diào)節(jié) v使 達(dá)到最大 /極大，就能得到獨(dú)立分量 在一定約束條件下， 的極值對(duì)應(yīng)與權(quán)重矢量 v中只有一個(gè)元素為 1，其余皆為 0的情況，此時(shí) y的獨(dú)立分量為某一獨(dú)立分量 s 4()kyICA的優(yōu)化算法 設(shè)有兩個(gè)獨(dú)立源 ，經(jīng)混合陣 A， B得 12[ , ]ss?s??y B A s V s11~Mj ij iiy v s j M????2,M ?∵ ∴ 1 1 2 2y v s v s??由于 s1， s2獨(dú)立，有 444 1 4 1 2 4 2( ) ( ) ( )k y v k s v k s?? 或 444 1 4 1 2 4 2( ) ( ) ( )y v k s v k s??由于 s1， s2， y是零均值，方差為 1 2212 1vv??167。 ICA的優(yōu)化算法 任務(wù)：使 極大 4()ky為便于討論，設(shè) 4 1 4 2( ) ( ) 1k s k s??4 4 2 2 44 1 2 2 2( ) ( 1 )k y v v v v? ? ? ? ?24221 2 2vv? ? ?上式極大發(fā)生在 2 1 1 20 , 1 0 , 1v v v v? ? ? ? ? ?或此時(shí) 12y s s? ? ?或∴ 極大能得到獨(dú)立分量 s1， s2 4()kyICA的優(yōu)化算法 （ 2）為消除數(shù)據(jù)中的野點(diǎn)造成估計(jì)結(jié)果不夠穩(wěn)健的現(xiàn)象，可采用 非多項(xiàng)式函數(shù) 逼近概率密度函數(shù) 與 標(biāo)準(zhǔn)高斯分布（方差為 1，均值為 0）相差不太大時(shí)， 可用若干 非多項(xiàng)式函數(shù) 的加權(quán)和來(lái)逼近 ： ()py 221() 2 yp y e? ??()py () ( ) 1 ~iF y i N?()1( ) ( ) 1 ( )N
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1