【文章內容簡介】 式。 根據(jù)前面對和 的分析，可以看出重估公式也具有明顯的物理含義。 （ 1） 為在 t＝ 1 時刻狀態(tài) i 的概率； （ 2） （ 3） 28 第 三 章 HMM 算法實現(xiàn)的問題 解決 HMM 的三個基本問題以后，在實際應用 HMM 解決問題時還有很多問題需要解決，如初始模型的選取、數(shù)據(jù)下溢、HMM 之間 距離的度量等等。 第一節(jié) HMM 狀態(tài)類型及 B 參數(shù)的選擇 一 、 HMM 狀態(tài)類型的選擇 當 HMM 與實際信號相結合時，首先需要解決的問題是狀態(tài)類型的選擇。在描述實際語音信號是一般都要對 HMM 中的狀態(tài)數(shù)及轉臺轉移規(guī)律作一定的限制，而狀態(tài)轉移結構達多為“無跨越由左至右類型”和“有跨越由左至右類型 ” 。這兩種結構除了都要滿足 外，狀態(tài)“ 1”與狀態(tài)“ 4”分別為源狀態(tài)和吸狀態(tài)，這意味著語音必須從狀態(tài)“ 1”開始到狀態(tài)“ 4”結束，這正好與人的發(fā)音過程對應。 二、 HMM 中 B 參數(shù)類型的選擇 為了采用連續(xù)觀測密度，必須對模型 的概率密度函數(shù)（ pdf）的形式作某些限制，以保證能夠對 pdf 的參數(shù)進行一致的估計。當然，不同形式的 pdf 是由不同的參數(shù)來描述的，而估計這種參數(shù)的重估公式也是不一樣的。這里采用一種廣泛應用的 pdf 29 －高斯 bj（ j）為例。 B 參數(shù)是 HMM 中非常重要的一個參數(shù)，它描述在某種狀態(tài)時觀察值序列的概率分布。在前面的討論中它都是離散的。 然后，為了更好地描述語音信號的時變性，在實際的關鍵檢索系統(tǒng)中通常采用連續(xù)的概率分布，即用 bj（ o）表示在 o 與o+do 之間觀察矢量的概率。這里 bj（ o）稱為參數(shù)的概率密度。目前采用最多的 bj（ o）形式為高斯 M 元混合密度，可以用它無限逼近任意一個有限連續(xù)概率密度函數(shù)，其定義為： 式中： o 為觀察矢量； cjk 為狀態(tài) j 中第 k 個混元的混合加權系數(shù)， N〔〕是正態(tài)密度， μjk和 Ujk是狀態(tài) j 中第 k 個混合分量的均值矢量和協(xié)方差矩陣。注意， cjk 必須滿足下式。 因為只有這樣概率密度函數(shù)才能滿足歸一條件，即滿足 在這種定義下， HMM 中重估 B 參數(shù)的公式轉化為對 cjk、 μjk、Ujk 的重估計算。如下式所示： 30 式中， γt（ j， k）是 t 時刻的觀察矢量 ot 由狀態(tài) j 中的第 k個混合分量產生的概率，即、 第二節(jié) HMM 訓練時需要解決的問題 一、初始模型的選取 根據(jù) BaumWelch 算法由訓練數(shù)據(jù)得到 HMM 參數(shù)時，一個重要問題就是初始模型的選取。不同的初始模型將產生不同的訓練結果，因為算法是使 P（ O|λ）局部極大時得到的模型參數(shù)，因此，選取好的初始模型，是最后求出 的局部極大與全局 31 最大接近是很有意義的。但是，至今這個問題仍沒有完美的答案。實際處理是都采用一些經(jīng)驗方法。一般認為， π 和 A 參數(shù)初值選取影響不大，可以隨機選取或均勻取值，只要滿足概率要求即可。但 B 的初值對訓練出的 HMM 影響較大，一般傾 向采取較為復雜的初值選取方法。比較典型的 HMM 參數(shù)估計算法是“ K 均值分割”算法?！?K 均值分割”算法訓練框圖如圖31 所示： 圖 31“ K 均值分割”訓練框圖 假定我們已有一組訓練觀察和所有模型的初始估計。這些初始估計是隨機給出或建立在相應數(shù)據(jù)的已有模型基礎之上的。 模型初始化后，根據(jù)當前模型 λ 將訓練觀察序列集分割成狀態(tài)。這種分割是借助 Viterbi 算法找到最優(yōu)狀態(tài)序列實現(xiàn)的。 32 對模型中每個狀態(tài)來說，每個訓練序列分割的結果就是出現(xiàn)在當前模型中任何一個狀態(tài) Si的觀察集的最大似然估計。在使用離散符 號 密度時，每個狀態(tài)中的任意一個觀察向量是使用具有 M 碼字的碼書編碼的， bj（ k）參數(shù)估計的更新公式如下： bj（ k）＝狀態(tài) j 中碼書索引為 k 的觀察向量數(shù)量 /狀態(tài) j 中所有觀察向量數(shù)量。 在使用連續(xù)觀察密度的情況下，分段 K 均值過程用于每個狀態(tài) Sj中的過程向量聚類為 M 簇，每簇表示 bj（ Ot）密度的M 個混合的一個。根據(jù)生成的聚類，得到的一組模型參數(shù)的更新公式如下： 根據(jù)這種狀態(tài)分割， αij系數(shù)的更新估計可通過從狀態(tài) i 到j 的轉移計數(shù)除以從狀態(tài) i 出發(fā)的所有轉移（包括轉移到自身）計數(shù)實現(xiàn)。 根據(jù)這些更新后的模型參數(shù)得到 了新模型。然后開始使用真正的重估過程重新估計所有模型參數(shù)。 將產生的模型與先前的模型進行比較，如果模型距離打分超過設定的域值，那么用 33 新模型取代先前的模型；如果模型距離打分小于或低于設定的域值，那么判定模型收斂并將保存作為最終得到的模型參數(shù)。 當然， HMM 有很多類型。因此，針對不同形式的 HMM，可采取不同有效的初值選取方法。 二、比例因子的問題 在前向－后向算法和 BaumWelch 算法中，都有 αt（ i）和βt（ i）的遞歸計算，因為所有量都小于 1,因此， αt（ i）和 βt（ i）都迅速趨向于零，為了解決這種下溢的 問題，必須采取增加比例因子的方法，對有關算法加以修正，處理過程如下： （ 1）對 α的處理 34 也就是說 αt（ j）的比例因子實際上是所有狀態(tài)的 αt（ i）之和的倒數(shù)。 35 （ 2）對 β的處理 由于每個比例因子實際上使 α的?；謴偷?1,而 α和β 模相近，所以，讓 α 和 β 采用相同的比例因子是保持計算總是在合適的界限內進行的有效方法，在對 α 和 β做上述處理之后，再來看看重估公式，不過之前，需亞對重估公式改寫。 36 顯然，上述比例因子也可用于 π 和 B 參數(shù)的重估計算。如果在某 個時間 t 不需要比例因子，可令比例因子為 1,不影響重估公式。 增加 比例因子所引起的 HMM 的唯一實際變化是 P（ O|λ）的計算，不能簡單地把 進行求和，因為這些值已經(jīng)引入了比例因子，不過可以利用如下性質。 這樣 可以計算 P 的對數(shù)，但不能計算 P，因為不管怎樣它都會越界。 最后，當采用 Viterbi 算法求最佳狀態(tài)序列時，如果按 37 如下方法，就不需要比例因子。 最后得到的值是 logP*而不是 P*，但是計算量卻少得多且不會產生越界。 三、使用多個觀察值序列訓練 實際中，訓練一個 HMM，經(jīng)常要用到不止一個觀察值序列，那么，對于 K 個觀察值序列訓練 HMM 時，要對BaumWelch 算法的重估公式加以修正。設 K 個觀察值序列為 O(k)（ k＝ 1,2,?? K），其中 O(k)＝ o(k)1， ?? o(k)Tk是第 K個觀察序列，假定各個觀察值序列 獨立， Pk 是第 k 個觀察序列出現(xiàn)的概率，此時， 由于重估公式是以不同事件的頻率為基礎的，因此，對 k 38 個訓練序列，重估公式修正為： 四、克服訓練數(shù)據(jù)不足的方法 根據(jù) HMM 的定義，一個 λ＝（ A,B， π）含有很多個待估計的參數(shù)，因此，為了得到最滿意的模型，必須要有很多的訓練數(shù)據(jù)。這個問題的一種 解決方法是增加訓練數(shù)據(jù)，這往往是難以辦到的。另一方面可能的解決方法是選擇規(guī)模更小的模型，但是采用一個給定模型總是有其具體理由的，因此規(guī)模大小也不能改變。第三種可能的解決辦法是合并兩個模型的參數(shù)，即對兩個針對同一事件的表示不同程度的細節(jié)和隱健性的模型進行合并。比如說，通常一些出現(xiàn)次數(shù)很少的觀察值矢量沒有包含在整個訓練數(shù)據(jù)中， 這樣訓練出來的 HMM 參數(shù)中就會有不少為零的概率值。而事實上，在實際語音識別測試時，這些觀 39 察值矢量又可能出現(xiàn)，因而需要對訓練好的模型進行平滑處理，而一般為了避免過分平滑?？偸且喜⑵交昂蟮?模型參數(shù)，以獲得較好的結果模型。 合并兩個 HMM 的問題可以表述為 λ＝ ωλ1＋（ 1— ω） λ2。式中 λ＝（ A,B,π）為結果模型， λ1＝（ A1， B1， π1）和 λ2＝（ A2，B2， π2）為兩個待合并的模型， 0=ω=1 為合并時的系數(shù)。因此，問題的關鍵就是合并權值 ω的估計。 一種可能的方法是人工選取權值 ω， Schiwartz 等人就是根據(jù)訓練量的多少和每個模型中概率分布的合適程度來人工選擇權值的，并在語音識別中取得了成功。但這中方法的局限也是很明顯的：過分依賴于人的經(jīng)驗判斷，而且工作量也很大。 另一種估計 ω 的方法就 是著名的消去內插法。這種方法最早是由 Jelinek 提出，隨后被廣泛使用在基于 HMM 的語音識別系統(tǒng)中，它的基本思想為：設 b1jk 和 b2jk為 λ1和 λ2模型中狀態(tài)j 對應的觀察值概率， bjk 為 λ 中狀態(tài) j 對應的觀察值概率，那么，由上式有： bjk＝ ωb1jk＋（ 1ω） b2jk 此式可以理解為 λ 模型中狀態(tài) j 被 3 個狀態(tài) j*、 j1和 j2所取代。 40 如圖 32 所示，其中狀態(tài) j*無輸出觀察值概率，狀態(tài) j1 和j2的輸出觀察值概率分別為 b1jk和 b2jk，但狀態(tài) j*由狀態(tài) j1 和 j2轉移的概率 分別為 ω 和 1ω，但不占用時間。那么，估計權值ω 的問題就轉化為一個典型的 HMM 問題，因此，由 HMM 訓練算法就可直接估計出權值 ω。 圖 32 消去內插法的示意圖 但消去插值的核心是使權值 ω 的估計對未來的數(shù)據(jù)仍然有價值。因此，要求用以估計 λ1和 λ2。由于這種對總的訓練數(shù)據(jù)的劃分有很多種方式。由此得到很多 ω 的值，再用一個循環(huán)遞歸處理，可以求出多由的權值 ω。 由上述討論可知，消去插值法計算量很大，這是其不足之處。雖然進來有人給出了其快速算法，但在實際應用中完整地實現(xiàn)消去插值法來估計權值 ω仍 然相當困難。事實上，實際應用消去插值法時，也是將它修正簡化，一方面減少計算量；另一方面，對每個狀態(tài)都估計出一個權值。 41 另外，從 BaumWelch 算法的重估公式可以看出推導出一種 HMM 相對可靠性度量方法。這樣，就可以得到待合并的兩個或多個模型各自的相對可靠程度，由此確定合并時的權值。這種估計權值的方法可以簡述如下。 根據(jù)重估公式，考慮 K 個觀察值序列訓練模型 λ＝（ A,B,π），于是有 分析上式可知，當用 K 個訓練序列獲取 HMM 參數(shù)時，在 42 每次迭代時，可以分別用每個訓練序列獲取相應的 HMM 參數(shù)，再加以合并， 而且，合并的權值僅僅取決于狀態(tài)數(shù)目。由此，可以認為，正是狀態(tài)數(shù)目描述了 HMM 的相對可靠程度。因此，當需要合并 L 個 HMM 時，對任一狀態(tài) j，合并的權值可由 Rjk求出。 由于這種估計權值的方法由 BaumWelch 算法中重估公式導出，因而在最大似然意義上是最佳的，而其，對每一個狀態(tài)都選取一個合并的權值，而不是對整個待合并的 HMM 選取權值，除了保存模型參數(shù)之外，還應保存相應的狀態(tài)數(shù)目，因此，需占用較多的存儲空間。 43 第四章 語音識別系統(tǒng)的設計 第一節(jié) 語音識別系統(tǒng)的開發(fā)環(huán)境 一、 開發(fā)軟件 實 現(xiàn)這個語音識別系統(tǒng)所用的軟件是 。 二、 MATLAB 簡介 MATLAB 是 MathWorks 公司開發(fā)的科學計算機，其名稱取自 MATrix LABoratory。 MATLAB 的創(chuàng)始人是 JACK LITTLE，最初他是為了編制 FOPTRAN 矩陣函數(shù)庫的程序接口而進行開發(fā)的，隨著代碼的不斷完善，他于 1984 年推出了 MATLAB 的第一個版本。此后， MATLAB 又推出了許多版本，隨之，MATLAB 的功能也越來越強大， 工具箱也不斷增加，系統(tǒng)越來越龐大。 第二節(jié) 基于 HMM 的語音識別系統(tǒng)的設計 一、 高斯混合的輸出概率的計算 對于單個的高斯概率密度函數(shù) pdf，假設其協(xié)方差矩陣為對角陣，函數(shù) 計算給定觀察向量對該 pdf 的輸出概率： Function p ＝ pdf（ m,v,x） 44 ％計算多元高斯密度函數(shù) ％輸入： ％ m――均值向量， SIZE*1 ％ v――方差向量， SIZE*1 %x――輸入向量， SIZE*1 ％輸出： %p――輸出概率 P ＝ （ 2*pi*prod(v) ）^*exp(*(xm) ./v*(xm))。 而計算觀察向量 x 對于某個 HMM 狀態(tài)的輸出概率，也就是 x 對該狀態(tài)的 若干高斯混合元的輸出概率的線性組合，用下面的代碼來實現(xiàn)。 function prob = mixture(mix, x) %計算輸出概率 %輸入： % mix 混合高斯結構 % x 輸入向量 , SIZE*1 45 %輸出： % prob – 輸出概率 prob = 0。 for