【正文】 bian Learning —— 自聯(lián)想、異聯(lián)想 Competitive Learning —— Kohonen SoftOrganizing Feature Map(SOM) 主要學習算法 —— 有監(jiān)督（有導師）與無監(jiān)督（無導師）學習的區(qū)別 ? 有監(jiān)督學習是從范例中學習（稱為分類），訓練是帶 有類標簽的，新圖 2－ 9 Hopfield網(wǎng)絡示意圖 離散的 Hopfield 網(wǎng)絡 Hopfield 網(wǎng)絡的收斂特性 輸入層 隱藏層 隱藏層 輸出層 圖 2－ 8 BP網(wǎng)絡結構圖 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 18 的數(shù)據(jù)是基于訓練集進行分類的 ? 無監(jiān)督學習是從觀察與發(fā)現(xiàn)中學習（稱為聚集），訓練集是沒有類標簽的。 Kohonen 神經網(wǎng)絡的原理 SOM 網(wǎng)絡的基本原理便是計算輸入的特征量映射至輸出層每一處理單元的歐幾里得距離 (Euclidean Distance)，而具有最小距離值的處理單元就是優(yōu)勝單元并且將會調整它的連接權值，使其能夠更接近原始的輸入向量，而且此處理單元的鄰近區(qū)域也會調整本身的連接權值，使自己與輸入向量間的歐幾里得距離能夠減少 。 輸入層：用以表現(xiàn)網(wǎng)絡的輸入變數(shù)，即訓練范例的輸入向量，或稱特征向量，其處理單元數(shù)目依問題而定，每一個處理單元代表著輸入向量的每一個元素，亦即該輸入資料所擁有的特征。 輸出層：用以表現(xiàn)網(wǎng)絡的輸出變數(shù)，及訓練范例的聚類，其處理單 元數(shù)目依問題而定。 網(wǎng)絡連結：每個輸出層處理單元與輸入層處理單元相連結的權數(shù)所構成的向量，表示一個輸入特征值向量對應訓練范例聚類的標量。 輸出層（又稱競爭層） 權重 輸入層 （又稱感知層） 圖 2－ 10 Kohonen神經網(wǎng)絡結構圖 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 19 Kohonen 神經網(wǎng)絡的特點 1. 墨西哥帽效應 在許多生物的腦部組織中會有大量的神經元，他們彼此之間信息交互方式有很多種，不過研究表明，相鄰近的神經元之間的局部交互的方式有“側向聯(lián)結”，如【圖 2－ 11】所示，側向聯(lián)結的回 饋量通常是以“墨西哥帽函數(shù)”來代表如下的規(guī)律特征： （ 1）以發(fā)出信號的神經元為圓心，對近鄰的神經元的交互作用表現(xiàn)為興奮性側反饋，形成側向激發(fā)作用區(qū)域 （ 2）以發(fā)出信號的神經元為圓心，對遠鄰的神經元的交互作用表現(xiàn)為抑制性側反饋，形成側向抑制作用區(qū)域 （ 3）以包圍著抑制區(qū)域的一個環(huán)形，形成一個強度較小的激發(fā)作用區(qū)域 2. 自組織性 人工神經網(wǎng)絡作為一種自適應的模式識別技術并不需要預先給出關于模式的先驗知識和判別函數(shù)，它通過自身的學習機制自動形成所要求的決策區(qū)域。當環(huán)境改變，這種映射關系可以自適應，以求對對象的進一步逼近。與分類不同的是：聚類是“無監(jiān)督的分類”(unsupervised classification)—— 即無預定的分類規(guī)則 因為只有與獲勝節(jié)點相連的權值才能得到修正，通過其學習 法則使修正后的權值更加接近其獲勝輸入矢量。而對于一個不同的矢量出現(xiàn)時，就更加不易取勝，但可能使其他某個節(jié)點獲勝，歸為另一類矢量群中。最終，如果有足夠的神經元節(jié)點，每一組輸入矢量都能使某一節(jié)點的輸出為 1而聚為該類。所以，競爭網(wǎng)絡的學習和訓練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的 權矢量代表獲勝輸入矢量。無導師學習是通過系統(tǒng)自身的學習來達到期望的學習結果所進行的一種學習。由于提供給學習系統(tǒng)的信息減少，使得無導師學習的方法要比有導師學習的方法在實際上更困難、更復雜，相比之下，無導師學習的形式比有導師學習的形式更豐富。 學習過程中的幾 個問題 （ 1）過度訓練或訓練不足的問題 若對輸入訓練的資料學習過度，可能會將資料中的雜訊學習進去，造成過度訓練，對新資料的預測反而有不良的效果。 一般較重視的是過度訓練的問題，因為若能收斂，表示已有相當?shù)膶W習。 當網(wǎng)絡對訓練范例收斂時，測試范例是否也跟著收斂。 （ 3）造成無法收斂的原因 輸入訓練的資料內有極端狀況或互相矛盾。 所設定的誤差容忍度太小。 學習率太大所產生的震蕩現(xiàn)象。 網(wǎng)絡的學習速率應不超過 ，標準差不超過 ，網(wǎng)絡能獲得較好的結果。這種人工神經網(wǎng)絡通常是被用來做群聚分析，在沒有事先的分類資訊下，去發(fā)覺資料中本身的結構以及群聚關系。 2. 3 Kohonen 神經網(wǎng)絡用于語音特征分析的可行性 許多問題都可以轉化為分類問題，神經網(wǎng)絡是解決分類問題的行之有效的一類方法。神經網(wǎng)絡具有概括性強、分類精度高、抗噪聲能力強等優(yōu)點。也就 是說，如果輸入樣本足夠多，那么在輸出層上也反映了輸入量的概率密度分布，即概率大的樣本集中在輸出空間的某個區(qū)域，在聯(lián)結權的調整過程中，使權的分布與輸入樣本的概率密度分布相似。每一個區(qū)域代表同一類的樣本，這個區(qū)域可以逐步縮小，使區(qū)域的劃分越來越明顯。 一般可以這樣說， Kohonen 網(wǎng)絡的權矢量收斂到所代表的輸入矢量的 平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 22 第三章 系統(tǒng)實現(xiàn) 本系統(tǒng)采用 。 MATLAB 是一種科學計算軟件，是建立在向量、數(shù)組和矩陣的基礎上的一種功能強大的系統(tǒng)分析和仿真工具，它使用方便，輸入簡捷，運算高效且內容豐富 [3]，尤其是其所含的神經網(wǎng)絡工具箱，功能豐富，對本系統(tǒng) Kohonen 神經網(wǎng)絡建模有很大幫助。 MATLAB 本身就具有強大的信號處理的各種函數(shù)，因此，使用 MATLAB 來進行語音信號數(shù)字處理應該能達到事半功倍的效果。 MATLAB 提供了許多在二維空間內顯示可視信息的工具（用圖表和圖形來表示數(shù)據(jù)集）。 3． 1 系統(tǒng)框架 語音采集 特征提取 SOM 網(wǎng)絡 二維 Kohonen 輸出平面軌跡顯現(xiàn) 語音輸入 ? 輸入設 備：一般指向式麥克風； ? 發(fā)音人數(shù)： 30 人（ 25 男 5 女）； 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 23 ? 單人發(fā)音次數(shù)：“ 0”～“ 9”各兩遍 語音采集 ? 采樣率 16KHz； ? 采樣環(huán)境：普通辦公室環(huán)境； ? 噪聲強度：中等噪聲； ? 采集設備：移動 PC 機內聲卡 SiS 7018 Audio Driver ? 量化精度：線性 8bits量化 特征提取 ? 每幀采樣點數(shù)（ frame size）： 512 點 ? 幀長： 32ms ? 幀移（ overlap）： 1/3 幀（ 171 點） ? 高頻預加重之數(shù)字濾波器模型： 1－ － 1 ? 加窗類型：海明（ HAMMING）窗 ? 起止點檢測 依據(jù)：過零率和 logEnergy（采樣的平方值取對數(shù)后 10） ? 特征參數(shù)：臨界帶倒譜系數(shù)（對每一幀語音信號求取 12 階的 MFCC 和對應的 12 階差分 MFCC） SOM 網(wǎng)絡 ? 輸入層輸入向量的維數(shù)： 22 維（ 24 維 MFCC 剔除第 0、 1 維分量） ? 輸入層輸入向量的維數(shù)： 2 維 ? 輸出層神經元網(wǎng)絡矩陣大小： 20 20 ? 學習率η（ t）： 0≤η（ t）≤ 1 ? 鄰域函數(shù) N（ t）：擬墨西哥帽函數(shù)（高斯型函數(shù)，如α＋β e－ t / to） ? 網(wǎng)絡模型：見【圖 3－ 1】： 系統(tǒng)分成三大部分，分別是語音采集、特征量提取、 SOM 網(wǎng)絡 。 圖 3－ 1 SOM網(wǎng)絡模型 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 24 第四章 每個模塊采用的算法和數(shù)據(jù)結構 4． 1 語音采集 （采樣率 16KHz） 建立一個語料庫 要求語音輸入者提供姓名 以語音輸入者的姓名在語料庫中建立一個子目錄 開始語音輸入 顯示輸入語音的波形圖 重播剛才輸入的語音 保存輸入的語音資料 所有語音資料錄入完畢 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 25 4. 2 特征量提取 （幀長 32ms，轉換成相應的 MEL 頻標倒譜系數(shù)“ MFCC”特征矢量） 從語料庫中取語音數(shù)據(jù) 高頻預加重（防止混疊干擾、抑制 50Hz 電源干擾） 分幀 端點檢測（判定起止點） 加海明窗（避免短時語音段邊緣的影響） 快速傅立葉轉換（ FFT）將時域信號轉化成頻域 三角濾波（對其對數(shù)能量譜用依照 Mel刻度分布的三角濾波器組進行卷積） melscalecepstrum（離散余弦變換 DCT） 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 26 圖 4－ 1 Kohonen網(wǎng)絡訓練流程圖 4. 3 SOM 網(wǎng)絡 SOM 網(wǎng)絡又可分成幾個模塊 （ 1）使用自組織特征映射學習算法訓練 Kohonen 網(wǎng)絡，流程如【圖 4－ 1】 所示 訓練 Kohonen 網(wǎng)絡 其中 鄰域半徑（又稱步幅）是為了在二維的輸出神經元陣列上以優(yōu)勝神經元為中心劃出一個鄰域 N（ t），屬于此鄰域中的神經元的權重矢量得到調整，鄰域以外的不調整。隨著訓練循環(huán)次數(shù)的增加，鄰域半徑逐漸減小，直至收縮為一個神經元 —— 即勝出的那個神經元。輸入數(shù)據(jù)的值太大使得權系數(shù)修正值大，因而易使輸出達到飽和狀態(tài)。 （ b）初始權重的值定義在區(qū)間（－ ， 1）內的隨機浮點數(shù)，給網(wǎng)絡權重的修正留有較大的余量，可以使網(wǎng)絡平穩(wěn)的收斂。定義 Wij（ t）為輸出節(jié)點（ i， j）所對應的權值向量 其中 N 為輸入語音特征向量的維數(shù)， i， j＝ 1， 2，改進的 SOM 訓練算法如下： （ a） 權值初始化為小的隨機數(shù) （ b） 對新的輸入矢量 x（ t），尋找與其距離最近的節(jié)點（ i39。） （ c） 調整節(jié)點（ i39。）及其領域內節(jié)點的權值 )1 00 0/1()( tt ???圖 4－ 2 Kohonen網(wǎng)絡的鄰域 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 28 （式 4－ 5）（式 4－ 6） （式 4－ 7） （式 4－ 8） i39。＋ R（ t） j39。＋ R（ t） Wij（ t＋ 1）＝ Wij（ t） 對于其他的節(jié)點而言，其中 0≤η（ t）≤ 1為學習率， R（ t）為鄰域半徑，h（ n）為“墨西哥帽”的鄰域函數(shù)。 j39。隨著遠離（ i39。）點， h（ n）逐步減少，在鄰域邊緣處 h（ n）＝ 。 j39。 j39。 （ 2）將 MFCC 提取的語音的多維特征矢量 X = (x 1,x 2,...,x n)輸入已經經過訓練的Kohonen 神經，可以激活那些帶有其語音特征的神經元輸出節(jié)點，形成不同的 SOM 矩陣軌跡。一個輸出節(jié)點被激活意味著該節(jié)點代表的聚類中心與當前輸入矢量的距離最近，也即輸入矢量與其特征相似。“贏者全拿 （ Winner Talk All）”的競爭式學習法，無法發(fā)展出拓撲映射圖。 活化氣泡 —— 網(wǎng)絡的反應會集中于一小區(qū)域稱為“活化氣泡（ activity bubbles）”的范圍。只有在輔音發(fā)音或改變發(fā)音時，前后幀語音特征才有較大差異。據(jù)此，提出了 鄰域搜索算法。實際上，競爭層的神經元數(shù)（節(jié)點）是由事先確定的，它代表輸入矢量可能被劃分的種類數(shù)。陣列中每個編號為 i的神經元的輸出用 yi表示，輸入矢量至每一個神經元 i的權重矢量用 Wi 表示，具有最小歐氏距離 Wi 的標號 基于 Kohonen 神經網(wǎng)絡的語音特征軌跡的可視化 上海交通大學網(wǎng)絡學院 29 （式 4－ 9） （式 4－ 10） （ 4）權重矢量調整（修正權值） 權重矢 量的調整范圍仍以鄰域函