【文章內(nèi)容簡介】 ? ?XWYXW TT ? 具有最大的非高斯性。這里，非高斯性給出的負(fù)熵 )( XWN Tg 的近似值來度量 , XWT 的方差約束為 1，對于白化數(shù)據(jù)而言，這等于約束 W 的范數(shù)為 1。 FastICA 算法的推導(dǎo)如下。首先，XWT 的 負(fù)熵的最大近似值能通過對 ? ?? ?XWGE T 進(jìn)行優(yōu)化來獲得。根據(jù)KuhnTucker 條件，在 ? ?? ? 122 ?? WXWE T 的約束下， ? ?? ?XWGE T 的最優(yōu)值能在武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 11 滿足下式的點上獲得。 ? ?? ? 0?? WXWXgE T ? （公式 34） 這里， ? 是一個恒定值， ? ?? ?XWXgWE TT 00?? , 0W 是優(yōu)化后的 W 值。下面我們利用牛頓迭代法 解方程（ ）。用 F 表示式（ ）左邊的函數(shù)，可得 F 的雅可比矩陣 ? ?WJF如下： ? ? ? ?? ? IXWgXXEWJF TT ??? 39。 （公式 35） 為了簡化矩陣的求逆，可以近似為（ ）式的第一項。由于數(shù)據(jù)被球化，? ? IXXE T ? ,所以，因而雅可比矩陣變成了對角陣，并且能比較容易地求逆。 簡化后就可以得到 FastICA 算法的迭代公式： ? ?? ? ? ? ? ?? ? ? ?? ?IXWgEXWgEXXEXWgXXE TTTTT 39。39。39。 ??? 實踐中， FastICA 算法中用的期望必須用它們的估計值代替。最好的估計是相應(yīng)的樣本平均。 對于 FastICA 算法，數(shù)據(jù)預(yù)處理是一個最基本、最必要的過程。該過程包括去均值和白化（或球化）。 去均值過程起到了簡化 ICA 算法的作用，白化也是信號源盲分離算法中一個經(jīng)常用到的預(yù)處理方法，對于某些盲分離算法，白化還是一個必須的預(yù)處理過程。對混合信號的白化實際上就是去除信號各個分量之間的相關(guān)性。 從圖 31 是 FastICA 算法流程圖可以看出，通常先對數(shù)據(jù)進(jìn)行初步的白化或球化處理，白化處理可去除各觀 測 信號之間的相關(guān)性，從而簡化了后續(xù)獨立分量的提取過程。這是由于一般情況下，所獲得的數(shù)據(jù)都具有相關(guān)性。通過去均值和白化等預(yù)處理在對其進(jìn)行真正的算法分離。通常情況下，數(shù)據(jù)進(jìn)行白化處理與不對數(shù)據(jù)進(jìn)行白化處理相比，算法的收斂性比較好，快速 ICA 算法一般的步驟如下： 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 12 1. 對觀測數(shù)據(jù) X 進(jìn)行中心化，使它的均 值為 0； 2. 對數(shù)據(jù)進(jìn)行白化， ZX? ； 3. 選擇需要估計的分量的個數(shù) m ，設(shè)迭代次數(shù) 1?p ； 4. 選擇一個初始權(quán)矢量（隨機(jī)的） pW ； 5. 令 ? ?? ? ? ?? ?WZWgEZWZgEW TpTpp 39。?? ,非線性函數(shù) g 的選取見前文； 6. ? ?jpj jTppp WWWWW ?????11 ； 7. 令 ppp WWW /? 。 8. 假如 pW 不收斂的話，返回第 5 步； 9．令 1??pp ，如果 mp? ，返回第 4 步。 圖 31 FastICA算法流程圖 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 13 概括來說， FastICA 算法主要包含兩部分 :預(yù)處理部分和核心算法部分。預(yù)處理部分主要包括去均值化和白化處理；核心算法部分是基于 擬牛頓算法，具體的實現(xiàn)見附錄程序。 主分量分析 PCA 主成分分析原理 主成分分析（ Principal Component Analysis， PCA）是一種掌握事物主要矛盾的統(tǒng)計分析方法，它可以從多元事物中解析出主要影響因素，揭示事物的本質(zhì)，簡化復(fù)雜的問題。計算主成分的目的是將高緯數(shù)據(jù)投影到較低維空間。 給定 n 個變量的 m個觀察值，形成一個 n *m 的數(shù)據(jù)矩陣， n 通常比較大。對于一個由多個變量描述的復(fù)雜事物，認(rèn)識難度會很大，于是我們可以抓住事物主要方面進(jìn)行重點分析，如果事物的主要方面剛好體現(xiàn)在幾個主要變量上，那么我們只需要將體現(xiàn)事物主 要方面的較少的幾個主要變量分離出來，對此進(jìn)行詳細(xì)分析。但是，在一般情況下，并不能直接找出這樣的關(guān)鍵變量。這時我們可以用原有變量的線性組合來表示事物的主要方面， PCA 就是這樣一種分析方法。 PCA 主要用于數(shù)據(jù)降維，對于由一系列特征組成的多維向量，其中某些元素本身沒有區(qū)分性，比如某個元素在所有的樣本中都相等，或者彼此差距不大，那么這個元素本身就沒有區(qū)分性，如果用它做特征來區(qū)分，貢獻(xiàn)會非常小。所以我們的目的是找那些變化大的元素，即方差大的那些維，而去除掉那些變化不大的維，從而使特征留下的都是“精品”，使得計算 量也相應(yīng)變小。 對于一個 k 維的特征來說，相當(dāng)于它的每一維特征與其他維都是正交的（相當(dāng)于在多維坐標(biāo)系中，坐標(biāo)軸都是垂直的），那么我們可以變化這些維的坐標(biāo)系，從而使這個特征在某些維上方差大，而在某些維上方差很小。 所以我們的做法就是求得一個 k 維特征的投影矩陣，這個投影矩陣可以將特征從高維降到低維。投影矩陣也可以叫做變換矩陣。新的低維特征必須每個維都正交，特征向量都是正交的。通過求樣本矩陣的協(xié)方差矩陣，然后求出協(xié)方差矩武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 14 陣的特征向量，這些特征向量就可以構(gòu)成這個投影矩陣了。 PCA 算法原理 令 x 為表示環(huán)境的 m 維隨機(jī)向量。假設(shè) x 均值為零，即： E[x]=O。令w 表示為 m維單位向量， x 在其上投影。這個投影被定義為向量 x 和 w 的內(nèi)積，表示為： 而主成分分析的目的就是尋找一個權(quán)值向量 w 使得表達(dá)式 E[y2]的值最大化： 根據(jù)線性代數(shù)的理論，可以知道滿足式子值最大化的訓(xùn)應(yīng)該滿足下式： 即使得上述式子最大化的 w 是矩陣 Cx 的最大特征值所對應(yīng)的特征向量。特征向量的選擇取決于協(xié)方差矩陣的特征值的大小。經(jīng)過 PCA 分析，一個多變量的復(fù)雜問題被簡化為低維空間的簡單問題。可以利用這種簡化方法進(jìn)行作圖，形象地表示 和分析復(fù)雜問題。 主分量分析 PCA 和 ICA 比較 主分量分析（ ICA）的目的在于降低向量的維數(shù)，取出隨機(jī)信號間的線性相關(guān)性，找出原始信號中隱含的內(nèi)在能量較大的信號。但是由于 PCA 方法在實際的計算式只涉及到輸入數(shù)據(jù)概率分布函數(shù)的二階統(tǒng)計特性（僅利用到信號的協(xié)方差矩陣），所以分解出的各分量相互正交，主分量之間并不一定不相關(guān)，所以并不滿足 ICA 方法對輸入信號的獨立要求。 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 15 從數(shù)理統(tǒng)計的角度來說，實際信號的大部分重要的信息往往包含在高階的統(tǒng)計特性中，因此只有當(dāng)多變量觀測數(shù)據(jù)是由高斯分布的源信號構(gòu)成時， PCA 方法才能用來實現(xiàn)信號的分離，這是由于服從正態(tài)分布的隨機(jī)過程的不相關(guān)性和統(tǒng)計獨立是等價的，用一階、二階統(tǒng)計特性就可以完全描述信號。然而，在實際的問題中，真正滿足正態(tài)分布的隨機(jī)信號很少，絕大部分的隨機(jī)信號（如自然景物圖像、語音信號和腦電波等等）都不是高斯的。 此外， ICA 方法往往需要高階量，也就是在學(xué)習(xí)階段需要使用一定的非線性，然而非線性的使用并不影響輸入和輸出的線性映射關(guān)系。許多情況下 ICA 能夠提供比 PCA 更有意義的數(shù)據(jù)，而 PCA 僅在源信號為高斯分布時才能實現(xiàn) ICA。盡管如此，在信號的預(yù)處理階段， PCA 方法可 以實現(xiàn)數(shù)據(jù)的預(yù)白化，為后續(xù)的工作提供了方便。 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 16 4 語音信號的分離方案實現(xiàn) 本設(shè)計用 matlab 采集 3 路語音信號，選擇合適的混合矩陣生成若干混合信號。然后合語音信號的分離算法對混合信號進(jìn)行分離出原始信號。具體實現(xiàn)主要結(jié)合獨立分量分析 ICA 技術(shù)，選取混合矩陣對 3 個語音信號進(jìn)行混合，并 從混合信號中分離出原語音信號，最后 畫出各分離信號的時域波形和頻譜圖和原來的信號進(jìn)行比較。此外還運用 PCA 算法進(jìn)行了混合語音信號的分離實現(xiàn)，最終對兩種算法進(jìn)行比較。 語音信號的混合 有題目要求根據(jù)盲信號分離原理，用 matlab 采集三路語音信號，其語音信號如圖 41 所示。選擇合適的混合矩陣生成若干混合信號，接下來在 MATLAB中實現(xiàn) 、 、 的混合，具體的程序先進(jìn)行初始化、然后去均值，白化，用隨機(jī)矩陣對這三路語音信號進(jìn)行混合，具體的程序代碼見附錄，運行的結(jié)果如圖 42 所示： 41 原始語音信號和頻譜 圖 42 語音混合信號和頻譜 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 17 語音信號的分離實現(xiàn) FASTICA 算法分離 獨立分量分析的含義是把信號分解成若干個互相獨立的成分，它是為了解決盲信號分離的問題而發(fā)展起來的。如果信號本來就是由若干獨立信源混合而成的， ICA 就能恰好把這些信源分解開來。故在一般的文獻(xiàn)中通常把 ICA 等同于BSS， ICA 不同于主分量分析把目光投注于信號的二階統(tǒng)計量，研究信號間的相關(guān)關(guān)系，而是基于信號的高階統(tǒng)計量，研究信號間的獨立關(guān)系。 獨立分量分析 中 FastICA 算法是一種快速而數(shù)值穩(wěn)定的方法，采用擬牛頓算法實現(xiàn)尋優(yōu)，具有超線性收斂速度，通常收斂速度較梯度下降尋優(yōu)算法快得多用 FASTICA 快速主成分分析 算法實現(xiàn)混合信號的分離 ， ，用 FASTICA 算法分離的語音信號圖形如圖 43 所示： 圖 43 fastICA 三路分離信號 將原始 3 路語音信號與分離出來的語音信號作對比，發(fā)現(xiàn)分離出來的語音信號和原來的信號的形狀一樣，不同的是順序不一樣，信號的幅度也減少了，這恰好說明了盲分離算法中 允許存在兩個方面的不確定性： （ 1）排列順序的不確定性，無法了解所抽取的信號應(yīng)是源信號 s(t)為哪一個分量 . （ 2）信號幅度的不確定性，即無法知道源信號的真實幅值。 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 18 主分量分析算法分離 當(dāng)多變量觀測數(shù)據(jù)是由高斯分布的源信號構(gòu)成時， PCA 方法也可以用來實現(xiàn)信號的分離，同樣用 FASTICA 快速主成分分析算法實現(xiàn)混合信號的分離，我們可以借鑒下面的波形，原始的語言信號是圖 41 中的信號，用 FASTICA 算法分離的語音信號圖如圖 44 示： 圖 44 PCA分離語音信號 同樣，將原始 3 路語音信號與分離出來的語音信號作對比，發(fā)現(xiàn)分離出來的語音信號和原來的信號的形狀基本一樣，不同的是順序不一樣，信號的幅度也減少了，這恰好說 明 了盲分離算法中 允許存在兩個方面的不確定性：排列順序的不確定性和信號幅度 的不確定性， 還有一點可以看到， 3 的恢復(fù)波形有些失真，但總體上達(dá)到分離效果。 分離語音頻譜分析及比較 在 MATLAB 中畫出 、 、 這三段語音信號原始信號的時域和頻域圖，經(jīng)過混合，并對 FASTICA、 PCA 快速主成分分析算法成功實現(xiàn)混合信號的分離的信號進(jìn)行頻域分析 。 以上對 3 路語音信號 、 、選取混合矩陣對語音信號進(jìn)行混合，并 從混合信號中分離出原語音信號，分別使用了 FASTICA 和 PCA 分離算法， 最后 畫出 各分離信號的時域波形和頻譜圖和原來的信號進(jìn)行比較。此外還運用 PCA 算法進(jìn)行了混合語音信號武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 19 的分離實現(xiàn)，下面對兩種算法進(jìn)行比較。 對比可以發(fā)現(xiàn)，不管是從時域波形來看還是頻譜來看， FASTICA 算法 分離的效果很好， PCA 算法分離頻域分析和FASTICA 算法 分離類似。 由上面的分離效果可以看出兩種算法都能夠?qū)旌闲盘栠M(jìn)行分離，發(fā)現(xiàn)分離出來的語音信號和原來的信號的形狀大體一樣，順序和原來的都不一樣，信號的幅度有的增大了，有的減少了。這些情況都比較符合盲分離算法中允許存在的 排列順序的不確定性和信號幅度的不確定性值這兩 種不確定性。從波形分離效果來說，在這次語音盲分離中 FASTICA 算法比 PCA 分離算法分離效果好。 武漢理工大學(xué)《信息處理課群綜合訓(xùn)練與設(shè)計》報告 20 5 總結(jié) 這次的設(shè)計主要對是忙語音分離，這方面在課程學(xué)習(xí)中均沒有涉及，但是在圖像處理以及 Matlab 使用基礎(chǔ)上是這一次的學(xué)習(xí)更加有意義，在查找資料到進(jìn)入語音信號分離課題的設(shè)計過程中對相關(guān)的領(lǐng)域有新的認(rèn)識，掌握了簡單的語音分離方法。 在設(shè)計過程中，感受到算法在類似“雞尾酒會”語音信號中起到的作用，尤其是獨立分量分析方法，大量的算法均是在 ICA 算法的基礎(chǔ)上發(fā)展改進(jìn)而來的，這次的設(shè)計是一個入門，盲信號分離 是一個廣闊的領(lǐng)域，不僅包括語音信號，還有確定信號方面，圖像處理方面等等，在這些領(lǐng)域以后可以進(jìn)一步了解。 語音信號是一種非平穩(wěn)信號，本文研究了快速定點 (FastICA)算法以及主分量分析算法（ PCA），利用這兩種算法能夠有效地實現(xiàn) 3 路語音信號中的分離問題，設(shè)計的 Matlab 實現(xiàn)得到良好的分離效果。