【正文】 無法收斂的原因 輸入訓(xùn)練的資料內(nèi)有極端狀況或互相矛盾。 輸入訓(xùn)練的資料其排列順序 問題。 所設(shè)定的誤差容忍度太小。 輸出層內(nèi)處理單元數(shù)目太少。 學(xué)習(xí)率太大所產(chǎn)生的震蕩現(xiàn)象。 （ 4）前人的經(jīng)驗(yàn)參數(shù) 當(dāng)學(xué)習(xí)速率愈大，網(wǎng)絡(luò)會愈快收斂 ,但是網(wǎng)絡(luò)的誤差會比較大。 網(wǎng)絡(luò)的學(xué)習(xí)速率應(yīng)不超過 ，標(biāo)準(zhǔn)差不超過 ，網(wǎng)絡(luò)能獲得較好的結(jié)果。 5. 競爭式學(xué)習(xí)法 —— 使用競爭式學(xué)習(xí)法，只有其中的一個人工神經(jīng)元會被活化，這個被活化的人工神經(jīng)元就稱為“得勝者（ winner）”人工神經(jīng)元。這種人工神經(jīng)網(wǎng)絡(luò)通常是被用來做群聚分析，在沒有事先的分類資訊下，去發(fā)覺資料中本身的結(jié)構(gòu)以及群聚關(guān)系。網(wǎng)絡(luò)競爭的目的，是使權(quán)值 W經(jīng)過競爭后逐漸移動到能夠代表輸入矢量類別的點(diǎn)上。 2. 3 Kohonen 神經(jīng)網(wǎng)絡(luò)用于語音特征分析的可行性 許多問題都可以轉(zhuǎn)化為分類問題，神經(jīng)網(wǎng)絡(luò)是解決分類問題的行之有效的一類方法。神經(jīng)網(wǎng)絡(luò)以大量簡單的單元（節(jié)點(diǎn)）通過復(fù)雜的相互鏈接后，并行運(yùn)行實(shí)現(xiàn)其功能，系統(tǒng)的知識存儲于網(wǎng)絡(luò)的結(jié)構(gòu)和各個單元（神經(jīng)元）之間的連接權(quán)中。神經(jīng)網(wǎng)絡(luò)具有概括性強(qiáng)、分類精度高、抗噪聲能力強(qiáng)等優(yōu)點(diǎn)。 Kohonen 網(wǎng)絡(luò)使輸入的語音特征樣本通過競爭學(xué)習(xí)后，特征相同的輸入靠得比較基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 21 近，特征不同的分得比較開，以此將一些無規(guī)則的輸入自動排開。也就 是說，如果輸入樣本足夠多，那么在輸出層上也反映了輸入量的概率密度分布，即概率大的樣本集中在輸出空間的某個區(qū)域，在聯(lián)結(jié)權(quán)的調(diào)整過程中，使權(quán)的分布與輸入樣本的概率密度分布相似。如果輸入的語音特征樣本有幾種分布類型，則它們各自會根據(jù)其概率分布集中到輸出空間的各個不同的區(qū)域。每一個區(qū)域代表同一類的樣本，這個區(qū)域可以逐步縮小，使區(qū)域的劃分越來越明顯。所以 Kohonen 網(wǎng)絡(luò)可以作為一種語音樣本特征檢測器，在語音特征樣本分類以及語音特征檢測方面得到應(yīng)用。 一般可以這樣說， Kohonen 網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的 平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計(jì)特性。 Kohonen 網(wǎng)絡(luò)能夠表現(xiàn)出輸入矢量在線上或平面上的分布特征。 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 22 第三章 系統(tǒng)實(shí)現(xiàn) 本系統(tǒng)采用 。 MATLAB 是“矩陣實(shí)驗(yàn)室”（ MATrix LABoratoy）的縮寫。 MATLAB 是一種科學(xué)計(jì)算軟件，是建立在向量、數(shù)組和矩陣的基礎(chǔ)上的一種功能強(qiáng)大的系統(tǒng)分析和仿真工具，它使用方便，輸入簡捷，運(yùn)算高效且內(nèi)容豐富 [3]，尤其是其所含的神經(jīng)網(wǎng)絡(luò)工具箱，功能豐富，對本系統(tǒng) Kohonen 神經(jīng)網(wǎng)絡(luò)建模有很大幫助。輸出結(jié)果的可視化較好。 MATLAB 本身就具有強(qiáng)大的信號處理的各種函數(shù)，因此，使用 MATLAB 來進(jìn)行語音信號數(shù)字處理應(yīng)該能達(dá)到事半功倍的效果。在 Windows 平臺上對語音信號采集、存儲、分析都很方便。 MATLAB 提供了許多在二維空間內(nèi)顯示可視信息的工具（用圖表和圖形來表示數(shù)據(jù)集）?！?MATLAB 不僅是一個強(qiáng)大的計(jì)算工具，并且在以引人入勝和直觀方式可視地表示數(shù)據(jù)方面也很有特色 [4]”。 3． 1 系統(tǒng)框架 語音采集 特征提取 SOM 網(wǎng)絡(luò) 二維 Kohonen 輸出平面軌跡顯現(xiàn) 語音輸入 ? 輸入設(shè) 備：一般指向式麥克風(fēng)； ? 發(fā)音人數(shù)： 30 人（ 25 男 5 女）； 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 23 ? 單人發(fā)音次數(shù)：“ 0”～“ 9”各兩遍 語音采集 ? 采樣率 16KHz； ? 采樣環(huán)境：普通辦公室環(huán)境； ? 噪聲強(qiáng)度：中等噪聲； ? 采集設(shè)備：移動 PC 機(jī)內(nèi)聲卡 SiS 7018 Audio Driver ? 量化精度：線性 8bits量化 特征提取 ? 每幀采樣點(diǎn)數(shù)（ frame size）： 512 點(diǎn) ? 幀長： 32ms ? 幀移（ overlap）： 1/3 幀（ 171 點(diǎn)） ? 高頻預(yù)加重之?dāng)?shù)字濾波器模型： 1－ － 1 ? 加窗類型：海明（ HAMMING）窗 ? 起止點(diǎn)檢測 依據(jù)：過零率和 logEnergy（采樣的平方值取對數(shù)后 10） ? 特征參數(shù)：臨界帶倒譜系數(shù)（對每一幀語音信號求取 12 階的 MFCC 和對應(yīng)的 12 階差分 MFCC） SOM 網(wǎng)絡(luò) ? 輸入層輸入向量的維數(shù)： 22 維（ 24 維 MFCC 剔除第 0、 1 維分量） ? 輸入層輸入向量的維數(shù)： 2 維 ? 輸出層神經(jīng)元網(wǎng)絡(luò)矩陣大小： 20 20 ? 學(xué)習(xí)率η（ t）： 0≤η（ t）≤ 1 ? 鄰域函數(shù) N（ t）：擬墨西哥帽函數(shù)（高斯型函數(shù)，如α＋β e－ t / to） ? 網(wǎng)絡(luò)模型：見【圖 3－ 1】： 系統(tǒng)分成三大部分，分別是語音采集、特征量提取、 SOM 網(wǎng)絡(luò) 。詳細(xì)算法在下一章闡述。 圖 3－ 1 SOM網(wǎng)絡(luò)模型 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 24 第四章 每個模塊采用的算法和數(shù)據(jù)結(jié)構(gòu) 4． 1 語音采集 （采樣率 16KHz） 建立一個語料庫 要求語音輸入者提供姓名 以語音輸入者的姓名在語料庫中建立一個子目錄 開始語音輸入 顯示輸入語音的波形圖 重播剛才輸入的語音 保存輸入的語音資料 所有語音資料錄入完畢 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 25 4. 2 特征量提取 （幀長 32ms，轉(zhuǎn)換成相應(yīng)的 MEL 頻標(biāo)倒譜系數(shù)“ MFCC”特征矢量） 從語料庫中取語音數(shù)據(jù) 高頻預(yù)加重（防止混疊干擾、抑制 50Hz 電源干擾） 分幀 端點(diǎn)檢測（判定起止點(diǎn)） 加海明窗（避免短時(shí)語音段邊緣的影響） 快速傅立葉轉(zhuǎn)換（ FFT）將時(shí)域信號轉(zhuǎn)化成頻域 三角濾波（對其對數(shù)能量譜用依照 Mel刻度分布的三角濾波器組進(jìn)行卷積） melscalecepstrum（離散余弦變換 DCT） 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 26 圖 4－ 1 Kohonen網(wǎng)絡(luò)訓(xùn)練流程圖 4. 3 SOM 網(wǎng)絡(luò) SOM 網(wǎng)絡(luò)又可分成幾個模塊 （ 1）使用自組織特征映射學(xué)習(xí)算法訓(xùn)練 Kohonen 網(wǎng)絡(luò)，流程如【圖 4－ 1】 所示 訓(xùn)練 Kohonen 網(wǎng)絡(luò) 其中 鄰域半徑（又稱步幅）是為了在二維的輸出神經(jīng)元陣列上以優(yōu)勝神經(jīng)元為中心劃出一個鄰域 N（ t），屬于此鄰域中的神經(jīng)元的權(quán)重矢量得到調(diào)整，鄰域以外的不調(diào)整。鄰域的劃分界定有正方形和正六邊形和圓形三種，見【圖 4－ 2】 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 27 （式 4－ 2） （式 4－ 1） （式 4－ 3） （式 4－ 4） 鄰域半徑的值根據(jù)訓(xùn)練的循環(huán)次數(shù) t而動態(tài)改變，當(dāng) t 值很小時(shí)，鄰域半徑劃得很大，覆蓋二維輸出神經(jīng)元陣列中的大部分神經(jīng)元（通常為網(wǎng)絡(luò)寬度的一半以上）。隨著訓(xùn)練循環(huán)次數(shù)的增加，鄰域半徑逐漸減小，直至收縮為一個神經(jīng)元 —— 即勝出的那個神經(jīng)元。 訓(xùn)練的循環(huán)次數(shù) t（又稱學(xué)習(xí)次數(shù)）建議設(shè)定為網(wǎng)絡(luò)中神經(jīng)元個數(shù)的 500 倍以上 學(xué)習(xí)率（又稱學(xué)習(xí)步幅） 訓(xùn)練時(shí)為了使這種輸入的數(shù)據(jù)均為正，且輸入矢量在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中能夠盡可能較快地收斂，需作如下工作： （ a）輸入矢量歸一化（又稱正規(guī)化、規(guī)格化）。輸入數(shù)據(jù)的值太大使得權(quán)系數(shù)修正值大，因而易使輸出達(dá)到飽和狀態(tài)。所以，將輸入矢量歸一化到區(qū)間（－ 1， 1）之內(nèi)可以較好的解決這個問題。 （ b）初始權(quán)重的值定義在區(qū)間（－ ， 1）內(nèi)的隨機(jī)浮點(diǎn)數(shù)，給網(wǎng)絡(luò)權(quán)重的修正留有較大的余量，可以使網(wǎng)絡(luò)平穩(wěn)的收斂。 Kohonen 屬于非監(jiān)督式 的神經(jīng)網(wǎng)絡(luò)，在缺乏期望輸出值的情況下，能夠自行發(fā)掘出輸入特征矢量中的那些特征是重要的或是可忽略的，將特征矢量做“聚類” 訓(xùn)練方法為一種改進(jìn)算法。定義 Wij（ t）為輸出節(jié)點(diǎn)（ i， j）所對應(yīng)的權(quán)值向量 其中 N 為輸入語音特征向量的維數(shù)， i， j＝ 1， 2， M 為輸出節(jié)點(diǎn)的坐標(biāo)，對應(yīng)的將Kohonen 輸出平面定義為 M M 個神經(jīng)元節(jié)點(diǎn)。改進(jìn)的 SOM 訓(xùn)練算法如下： （ a） 權(quán)值初始化為小的隨機(jī)數(shù) （ b） 對新的輸入矢量 x（ t），尋找與其距離最近的節(jié)點(diǎn)（ i39。， j39。） （ c） 調(diào)整節(jié)點(diǎn)（ i39。， j39。）及其領(lǐng)域內(nèi)節(jié)點(diǎn)的權(quán)值 )1 00 0/1()( tt ???圖 4－ 2 Kohonen網(wǎng)絡(luò)的鄰域 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 28 （式 4－ 5）（式 4－ 6） （式 4－ 7） （式 4－ 8） i39。－ R（ t）≤ i ≤ i39。＋ R（ t） j39。－ R（ t）≤ j ≤ j39。＋ R（ t） Wij（ t＋ 1）＝ Wij（ t） 對于其他的節(jié)點(diǎn)而言，其中 0≤η（ t）≤ 1為學(xué)習(xí)率， R（ t）為鄰域半徑，h（ n）為“墨西哥帽”的鄰域函數(shù)。在鄰域中心，即（ i39。， j39。）點(diǎn)處 h（ n）＝ 1。隨著遠(yuǎn)離（ i39。， j39。）點(diǎn)， h（ n）逐步減少，在鄰域邊緣處 h（ n）＝ 。也就是說，近（ i39。， j39。）的節(jié)點(diǎn)修改大一些，遠(yuǎn)離（ i39。， j39。）的節(jié)點(diǎn)修改小一些，體現(xiàn)了 SOM 神經(jīng)網(wǎng)絡(luò)的“側(cè)抑制”思想。 （ 2）將 MFCC 提取的語音的多維特征矢量 X = (x 1,x 2,...,x n)輸入已經(jīng)經(jīng)過訓(xùn)練的Kohonen 神經(jīng)，可以激活那些帶有其語音特征的神經(jīng)元輸出節(jié)點(diǎn)，形成不同的 SOM 矩陣軌跡。其本質(zhì)上是解決系統(tǒng)在受外界信息 —— 語音特征矢量作用（輸入）時(shí)在內(nèi)部自組織地形成對應(yīng)表示形式。一個輸出節(jié)點(diǎn)被激活意味著該節(jié)點(diǎn)代表的聚類中心與當(dāng)前輸入矢量的距離最近，也即輸入矢量與其特征相似。 輸入測試數(shù)據(jù) 自組織特征映射 SOM 算法的主要目標(biāo)，就是以特征映射的方式，將任意維度的輸入向量，映射至二維的特征映射圖上?！摆A者全拿 （ Winner Talk All）”的競爭式學(xué)習(xí)法，無法發(fā)展出拓?fù)溆成鋱D。藉由定義“鄰近區(qū)域”函數(shù)的方法，來表現(xiàn)“活化氣泡”的基本精神，以取代較復(fù)雜的側(cè)向鏈接的回授功能。 活化氣泡 —— 網(wǎng)絡(luò)的反應(yīng)會集中于一小區(qū)域稱為“活化氣泡（ activity bubbles）”的范圍。 對于語音信號，在同一個元音發(fā)音時(shí)相鄰幀之間的語音特征是比較相似的。只有在輔音發(fā)音或改變發(fā)音時(shí)，前后幀語音特征才有較大差異。反映在具有空間特征映射特性的SOM 網(wǎng)絡(luò)上，語音的特征矢量序列順次送入 SOM 網(wǎng)，大部分時(shí)間都是激活相鄰節(jié)點(diǎn)。據(jù)此，提出了 鄰域搜索算法。 （ 3）選取歐氏距離最短的權(quán)重（競爭獲勝） 得勝者的篩選 歐氏距離（歐幾里德距離） 輸出是二維平面上的一個點(diǎn)（即得勝者），這個二維輸出平面稱為競爭層，見【圖 4－ 3】。實(shí)際上，競爭層的神經(jīng)元數(shù)（節(jié)點(diǎn)）是由事先確定的，它代表輸入矢量可能被劃分的種類數(shù)。本實(shí)驗(yàn)?zāi)Ｐ偷妮敵龉?jié)點(diǎn)神經(jīng)元數(shù)量是一個 20 20 的矩陣陣列組成的。陣列中每個編號為 i的神經(jīng)元的輸出用 yi表示，輸入矢量至每一個神經(jīng)元 i的權(quán)重矢量用 Wi 表示，具有最小歐氏距離 Wi 的標(biāo)號 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 29 （式 4－ 9） （式 4－ 10） （ 4）權(quán)重矢量調(diào)整（修正權(quán)值） 權(quán)重矢 量的調(diào)整范圍仍以鄰域函數(shù)作標(biāo)準(zhǔn)。鄰域函數(shù)以內(nèi)的權(quán)重矢量變化△Wj 按【式 4－ 9】調(diào)整 并依次計(jì)算每一個節(jié)點(diǎn)新的權(quán)重，如【式 4－ 10