【文章內容簡介】 線性組合而成，忽略時間下標 t，并假設每個混合信號 xi都是一個隨機變量，而不是時間信號。每個觀測值 xi(t),為該隨機變量的一次抽樣。不失一般性，設混合的隨機變量和獨立源都具有零均值。下面用矩陣形式來定義 ICA模型。令 X=(x1,x2,? xn)T 為 n 維隨機向量， S=(s1,s2,? sm)T 是 m 維未知源信號，武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 7 則 ICA 的線性模型可表示為： ???? mi iisaASX 1 ， i=1,2,? m，（式 8） 式中， si稱為獨立分量， A=[a1,a2,? am]是一滿秩的 n*m 矩陣，稱為混合矩陣，ai是混合矩陣的基向量。由方程可知，各觀測數(shù)據 xi是由獨立源 si經過不同的 aij線性加權得到的。獨立源 si 是隱含變量，不能被直接測量；混合矩陣 A 也是未知矩陣，唯一可利用的信息只剩觀測的隨機矢量 X。若沒有任何限制條件，要僅由 X 估計出 S 和 A，方程的解必為多解。而 ICA 正是在某些限制條件下，根據X 的統(tǒng)計特性，給出方程唯一解，實現(xiàn)獨立分量的提取。如上所述， ICA 的一個重要基本假設就是對未知源信號獨立性的要求。 將基本的 ICA 模型擴展到有噪聲的情形，并且假設噪聲是以加性噪聲形式存在的。這是一個相當現(xiàn)實的假設，因為加性噪聲是因子分析和信號處理中通常研究的標準形式，具有簡單的噪聲模型表達方式。因此，噪聲 ICA 模型可表示為： x As n?? （式 9） 式中， ? ?1, ... Tnn n n? 是噪聲向量。 信號源噪聲，即直接添加到獨立成分（即信號源）上的噪聲。信號源噪聲可用下式來表示 ： ()x A s n?? （式 10） 實際上，如果可以直接考慮帶噪聲的獨立成分，那么可將此模型寫為： ~x As? （式 11）可以看出，這就是基本的 ICA 模型，只是獨立成分本身變了。 針對 ICA 具體模型，未知源信號間相互獨立即要求： ? ? ? ?? ? ? ? ? ?? ?xvssxvssxx mnxmnmnxmnS ????????? 22 222 2? ?? ???? ?（式 12） 在 ICA 模型中，除了要求源信號相互獨立外，還必須滿足非高斯分布的特性。此外，為簡化模型，假設未知混合矩陣 A 是方陣，即 m=n。那么 ICA 的目武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 8 的就是尋找一個變換矩陣，對 X 進行線性變換，得 n 維輸出向量： WASWXY ?? （式 13） 當允許存在比例不定性和順序不定性的前提下， Y 成為對獨立分量 si的一個估計 SY ?? 。 以上，從盲源分離觀點闡述了 ICA 的模型，下面給出從多維信號的線性描述觀點論述的 ICA 模型。 設 X=(x1,x2,? ,xn)T 為 n 維觀測數(shù)據， ICA 的目的即尋找一個坐標系統(tǒng)? ?n??? , 21 ? ，使得當 X 中各分量 x1,x2,? ,xn 在該坐標系下投影時： nni sssx ??? ???? ?2211 ， i=1,2,? ,n（式 14）投影系數(shù)s1,s2,? ,sn 相互獨立。 若令 Y=WX,在 ICA 實現(xiàn)算法中，系統(tǒng)目標是尋找一個最優(yōu)矩陣 W 使使出yi 相互統(tǒng)計獨立，即 Y 互信息為零。可以證明，此時 ? ?nW ??? , 211 ??? 為 ICA線性描述模型中的坐標系統(tǒng)。 數(shù)據分析問題中的約束條件 對于 ICA/BSS 中所涉及的多維數(shù)據分析問題，一般都要對觀測信號及生成信號的過程作一些假設，這些約束能使分離問題有一個合理而有意義的解，同時約束條件還須具有一定范圍的實用性。一般有如下的假設： 1) 各源信號之間統(tǒng)計獨立，即源信號的聯(lián)合概率密度函數(shù)是各分量的邊緣密度函數(shù)的連乘積。這是獨立分量分析的前提和基本準則。 2) 觀察信號數(shù) N 大于或等于源信號數(shù) M，當 N=M時稱為正定 ICA，當 NM時稱為欠定 ICA，當 NM 時稱為過定 ICA。實際情況中，源信號的數(shù)目很可能是未知的。 3) 源信號中至多有一個高斯信號源。若有多個高斯分布的源，由中心極限定理可知，高斯性信號的線性組合仍是高斯性的，這是 ICA 算法無法進行有效的盲分離。 武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 9 當滿足以上三條假設時 ICA/BSS 是可實現(xiàn)的。為了進一步簡化問題求解，可以再做以下假設： 各傳感器引入的噪聲可以忽略不計。但有時也可以將噪聲看作一個源信號，這可以使得算法有更強的魯棒性和更廣泛的適應性，但這是就要相應的增加傳感器數(shù)目。 有一些關于各源信號的先驗知識如概率密度函數(shù)。雖然 ICA 是不需要知道源信號的先驗知識的，但實際情況我們是可以知道諸如源信號類型，甚至其 概率分布的一些特性的。這也有助于 ICA 的求解。 算法的分類與基本原理 從以上的介紹中可以知道 ICA 的目標就是使整個系統(tǒng)的輸出信號彼此相互盡量獨立。因此，不同的 ICA 算法研究主要體現(xiàn)在獨立性度量準則的選取和對目標函數(shù)的優(yōu)化準則的不同上。故而 ICA 算法可以簡單的表述為： ICA 算法 =目標函數(shù) +優(yōu)化算法 其中，目標函數(shù)的選取影響了算法的統(tǒng)計性質，是 ICA 算法必須解決的根本問題。而優(yōu)化算法則影響了算法的收斂速度、存儲要求和計算的穩(wěn)健性等，常見的優(yōu)化算法主要有梯度下降法、牛頓迭代法等。在梯度下降法中有兩種 處理方式不同的算法：在線學習算法（ online learning）和批處理算法（ batch model）。前者在每接收一個新樣本時更新網絡權值，而后者的每次更新需要一批數(shù)據參與運算。在線學習是一種自適應學習，具有實時處理的特點；批處理學習需要對過去的數(shù)據重復利用，因此存儲容量要求較大，但其顯著特點是具有比在線學習更快的收斂速度。因此 ICA 算法的性能是目標函數(shù)的選擇同優(yōu)化算法的選擇之間的結合和妥協(xié)。 下面給出按照不同的目標函數(shù)所相應的分離準則給出不同的 ICA 算法。目前的算法中基于獨立性測度的目標函數(shù)主要有這么 幾種代價函數(shù)： 1. 基于非高斯性度量的代價函數(shù)。 武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 10 2. 基于互信息量最小化的代價函數(shù)。 3. 基于極大似然的代價函數(shù)。 基于非高斯性的最大化 非高斯性是獨立性的度量之一，非高斯性越強則說明越獨立。非高斯性可用峭度或負熵測量。如果我們分析出所分離出的信號 Y 的各個分量是原始信號 S的估計的話，那么負熵和1 ( ( ))ini J p y??應該具有最大值，這是因為各個原始分量具有最大的非高斯性，即它們的累加也是應該最大，這也被稱為負熵最大化（ Negentropy Max,NM）估計原理?？梢缘贸觯蛛x信號 Y 各個分量的負熵和為： 11( ( ) ) ( ( ) ( ) ) ( )innG i iiiJ p y H y H y C o n s t I Y?? ? ? ? ???（式 15） 其中 Const 為常量，是不依賴于 W 的。這樣就可以得到基于負熵最大化的分離矩陣的目標函數(shù)： 39。11 1 2( ( ) ) ( , , ) ()()()ni TTinJ p y I y y K y pYWXW W p Y??? ?? ? ? ???? （式 16） 實際中負熵計算比較困難，常用高階積累量近似。 基于互信息的最小化 互信息 ()IY 越小， Y 的各分量之間越獨立?；诨バ畔⒆钚』?Minimum Mutual Information,MMI）的目標函數(shù)為： 1( ) ( ) ( ) ( ) l o g d e tniiL W I Y H y H X W?? ? ? ??（式 17） MMI 的基本思想是根據式 17 所示的目標函數(shù)，對觀測信號 X 求分離矩陣W，使得恢復信號 Y 各分量之間的互信息最小。我們可以得到分離矩陣 W 的優(yōu)化算法： () TW I f y y W??? ? ???（式 18） 武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 11 基于互信息的最小化 設源信號 S 的概率密度函數(shù)為1( ) ( )ns i iip S p s???，可以得出： 1? ( ) d e t ( ) |nx i i S W Xip X W p s ??? ?（式 19） 因此如果能求得一個 ?W ，使得 ( , )l XW 對于 X 的集合平均值達到最大值，則?W 即是所需要的解，這就稱為 ML 原理。 算法 FastICA 算法，又稱固定點 (FixedPoint)算法，是由芬蘭赫爾辛基大學Hyv228。rinen 等人提出來的。是一種快速尋優(yōu)迭代算法，與普通的神經網絡算法不同的是這種算法采用了批處理的方式，即在每一步迭代中有大量的樣本數(shù)據參與運算。但是從分布式并行處理的觀點看該算法仍可稱之為是一種神經網絡算法。FastICA 算法有基于峭度、基于似然最大、基于負熵最大等形式，這里，我們介紹基于負熵最大的 FastICA 算法。它以負熵最大作為一個搜尋方向，可以實現(xiàn)順序地提取獨立源，充分體現(xiàn)了投影追蹤（ Projection Pursuit）這種傳統(tǒng)線性變換的思想。此外，該算法采用了定點迭代的優(yōu)化算法，使得收斂更加快速、穩(wěn)健。 FastICA 算法有不同的目標函數(shù)形式，包括基于非高斯性的最大化、基于最大似然等。這里主要介紹基于非高斯性最大化中用峭度和負熵表示的方法。 由于負熵難以計算，可以采用如下近似方法： ? ? ? ?? ? 2( ( ) ) G aussJ p y E g Y E g Y??? ? ? ?? ? ? ?（式 20） 其中， GaussY 是一與 Y 具有相同方差的高斯隨機變量，根據信息論可知在具有相同方差的隨機變量中，高斯分布的隨機變量具有最大的微分熵。 ???E 為均值運算； ???g 為非線性函數(shù)，可取 ? ? )tanh( 11 yayg ? ，或 ? ? ? ?2/ex p 22 yyyg ?? 或? ? 33 yyg ? 等非線性函數(shù)，這里， 21 1 ??a ，通常我們取 11?a 。 快速 ICA 學習規(guī)則是找一個 方向以便 ? ?XWYXW TT ? 具有最大的非高斯性。這里，非高斯性用式 20 給出的負熵 ()TJW X 的近似值來度量 ,目標是通過優(yōu)化算武漢理工大學《 信息處理課群綜合訓練與設計 》課程設計說明書 12 法使 TWX的負熵最大化。 FastICA 算法的推導就不詳細給出了，其分離矩陣迭代公式為： ? ?? ? ? ?? ?39。TTW E X g W X E g W X W? ??（式 21） /W W W??? （式 22） 總結上述基于負熵最大化的 FastICA 算法的基本步驟如下： 1. 對觀測數(shù)據 X 進行中心化，使它的均值為 0； 2. 對數(shù)據進行白化， XZ? ； 3. 選擇一個初始權矢量（隨機的） W； 4. 令 ? ?? ? ? ?? ?39。TTW E