【正文】 x(l).M,1)。 for l = 1:N pab(l) = alpha(t,l) * beta(t,l)。 end end end %混合輸出概率： gama gama = zeros(T,N,max())。 for i = 1:N1 for j = i:i+1 nom = alpha(t,i) * trans(i,j) * mixture(mix(j),O(t+1,:)) * beta(t+1,j)。 end %過渡概率 ksai ksai = zeros(T1,N,N)。 for i = 1:N for j = 1:N beta(t,i) = beta(t,i) + beta(t+1,j) * mixture(mix(j),x) * trans(i,j)。 % t=T 的后向概率及標(biāo)定 for l = 1:N beta(T,l) = c(T)。 48 alpha(t,:) = c(t)*alpha(t,:)。 end alpha(t,i) = temp * mixture(mix(i),O(t,:))。 % t=2:T 的前向概率和標(biāo)定 for t = 2:T for i = 1:N temp = 0。 c(1) = 1/sum(alpha(1,:))。 end % 標(biāo)定 168。 % t=1 的前向概率 x = O(1,:)。 %混合高斯 N = 。 %初始概率 trans = 。 function param = getparam(hmm, O) %給定輸出序列 O, 計(jì)算前向概率 alpha, 后向概率 beta, 標(biāo)定系數(shù) c, 及 ksai,gama %輸入： % hmm – HMM 模型參數(shù) % O n*d 過程序列 %輸出： % param – 包含各種參數(shù)和的結(jié)構(gòu) T = size(O,1)。 接下來按公式計(jì)算過渡概率和混合 輸出概率，它們都是三維數(shù)組，分別保存為 ksai 和 gama。 end 二、前向概率、后向概率及其他參數(shù)的計(jì)算 首先，給定一個(gè)或多個(gè)觀察序列，也就是語音參數(shù)的序列，要計(jì)算每個(gè)觀察序列的前向概率、后向概率，以及各種中間參數(shù)。 prob = prob + w * pdf(m, v, x)。 v = (j,:)。 function prob = mixture(mix, x) %計(jì)算輸出概率 %輸入： % mix 混合高斯結(jié)構(gòu) % x 輸入向量 , SIZE*1 45 %輸出： % prob – 輸出概率 prob = 0。 第二節(jié) 基于 HMM 的語音識(shí)別系統(tǒng)的設(shè)計(jì) 一、 高斯混合的輸出概率的計(jì)算 對于單個(gè)的高斯概率密度函數(shù) pdf，假設(shè)其協(xié)方差矩陣為對角陣，函數(shù) 計(jì)算給定觀察向量對該 pdf 的輸出概率： Function p ＝ pdf（ m,v,x） 44 ％計(jì)算多元高斯密度函數(shù) ％輸入： ％ m――均值向量， SIZE*1 ％ v――方差向量， SIZE*1 %x――輸入向量， SIZE*1 ％輸出： %p――輸出概率 P ＝ （ 2*pi*prod(v) ）^*exp(*(xm) ./v*(xm))。 MATLAB 的創(chuàng)始人是 JACK LITTLE，最初他是為了編制 FOPTRAN 矩陣函數(shù)庫的程序接口而進(jìn)行開發(fā)的，隨著代碼的不斷完善，他于 1984 年推出了 MATLAB 的第一個(gè)版本。 43 第四章 語音識(shí)別系統(tǒng)的設(shè)計(jì) 第一節(jié) 語音識(shí)別系統(tǒng)的開發(fā)環(huán)境 一、 開發(fā)軟件 實(shí) 現(xiàn)這個(gè)語音識(shí)別系統(tǒng)所用的軟件是 。因此，當(dāng)需要合并 L 個(gè) HMM 時(shí)，對任一狀態(tài) j，合并的權(quán)值可由 Rjk求出。 根據(jù)重估公式，考慮 K 個(gè)觀察值序列訓(xùn)練模型 λ＝（ A,B,π），于是有 分析上式可知，當(dāng)用 K 個(gè)訓(xùn)練序列獲取 HMM 參數(shù)時(shí)，在 42 每次迭代時(shí)，可以分別用每個(gè)訓(xùn)練序列獲取相應(yīng)的 HMM 參數(shù)，再加以合并， 而且，合并的權(quán)值僅僅取決于狀態(tài)數(shù)目。這樣，就可以得到待合并的兩個(gè)或多個(gè)模型各自的相對可靠程度，由此確定合并時(shí)的權(quán)值。事實(shí)上，實(shí)際應(yīng)用消去插值法時(shí)，也是將它修正簡化，一方面減少計(jì)算量；另一方面，對每個(gè)狀態(tài)都估計(jì)出一個(gè)權(quán)值。 由上述討論可知，消去插值法計(jì)算量很大，這是其不足之處。由于這種對總的訓(xùn)練數(shù)據(jù)的劃分有很多種方式。 圖 32 消去內(nèi)插法的示意圖 但消去插值的核心是使權(quán)值 ω 的估計(jì)對未來的數(shù)據(jù)仍然有價(jià)值。 40 如圖 32 所示，其中狀態(tài) j*無輸出觀察值概率，狀態(tài) j1 和j2的輸出觀察值概率分別為 b1jk和 b2jk，但狀態(tài) j*由狀態(tài) j1 和 j2轉(zhuǎn)移的概率 分別為 ω 和 1ω，但不占用時(shí)間。 另一種估計(jì) ω 的方法就 是著名的消去內(nèi)插法。 一種可能的方法是人工選取權(quán)值 ω， Schiwartz 等人就是根據(jù)訓(xùn)練量的多少和每個(gè)模型中概率分布的合適程度來人工選擇權(quán)值的，并在語音識(shí)別中取得了成功。式中 λ＝（ A,B,π）為結(jié)果模型， λ1＝（ A1， B1， π1）和 λ2＝（ A2，B2， π2）為兩個(gè)待合并的模型， 0=ω=1 為合并時(shí)的系數(shù)?？偸且喜⑵交昂蟮?模型參數(shù)，以獲得較好的結(jié)果模型。比如說，通常一些出現(xiàn)次數(shù)很少的觀察值矢量沒有包含在整個(gè)訓(xùn)練數(shù)據(jù)中， 這樣訓(xùn)練出來的 HMM 參數(shù)中就會(huì)有不少為零的概率值。另一方面可能的解決方法是選擇規(guī)模更小的模型，但是采用一個(gè)給定模型總是有其具體理由的，因此規(guī)模大小也不能改變。設(shè) K 個(gè)觀察值序列為 O(k)（ k＝ 1,2,?? K），其中 O(k)＝ o(k)1， ?? o(k)Tk是第 K個(gè)觀察序列，假定各個(gè)觀察值序列 獨(dú)立， Pk 是第 k 個(gè)觀察序列出現(xiàn)的概率，此時(shí)， 由于重估公式是以不同事件的頻率為基礎(chǔ)的，因此，對 k 38 個(gè)訓(xùn)練序列，重估公式修正為： 四、克服訓(xùn)練數(shù)據(jù)不足的方法 根據(jù) HMM 的定義，一個(gè) λ＝（ A,B， π）含有很多個(gè)待估計(jì)的參數(shù)，因此，為了得到最滿意的模型，必須要有很多的訓(xùn)練數(shù)據(jù)。 最后得到的值是 logP*而不是 P*，但是計(jì)算量卻少得多且不會(huì)產(chǎn)生越界。 這樣 可以計(jì)算 P 的對數(shù)，但不能計(jì)算 P，因?yàn)椴还茉鯓铀紩?huì)越界。如果在某 個(gè)時(shí)間 t 不需要比例因子，可令比例因子為 1,不影響重估公式。 35 （ 2）對 β的處理 由于每個(gè)比例因子實(shí)際上使 α的?；謴?fù)到 1,而 α和β 模相近，所以，讓 α 和 β 采用相同的比例因子是保持計(jì)算總是在合適的界限內(nèi)進(jìn)行的有效方法，在對 α 和 β做上述處理之后，再來看看重估公式，不過之前，需亞對重估公式改寫。因此，針對不同形式的 HMM，可采取不同有效的初值選取方法。 將產(chǎn)生的模型與先前的模型進(jìn)行比較，如果模型距離打分超過設(shè)定的域值，那么用 33 新模型取代先前的模型；如果模型距離打分小于或低于設(shè)定的域值，那么判定模型收斂并將保存作為最終得到的模型參數(shù)。 根據(jù)這些更新后的模型參數(shù)得到 了新模型。 在使用連續(xù)觀察密度的情況下，分段 K 均值過程用于每個(gè)狀態(tài) Sj中的過程向量聚類為 M 簇，每簇表示 bj（ Ot）密度的M 個(gè)混合的一個(gè)。 32 對模型中每個(gè)狀態(tài)來說，每個(gè)訓(xùn)練序列分割的結(jié)果就是出現(xiàn)在當(dāng)前模型中任何一個(gè)狀態(tài) Si的觀察集的最大似然估計(jì)。 模型初始化后，根據(jù)當(dāng)前模型 λ 將訓(xùn)練觀察序列集分割成狀態(tài)?！?K 均值分割”算法訓(xùn)練框圖如圖31 所示： 圖 31“ K 均值分割”訓(xùn)練框圖 假定我們已有一組訓(xùn)練觀察和所有模型的初始估計(jì)。但 B 的初值對訓(xùn)練出的 HMM 影響較大，一般傾 向采取較為復(fù)雜的初值選取方法。實(shí)際處理是都采用一些經(jīng)驗(yàn)方法。不同的初始模型將產(chǎn)生不同的訓(xùn)練結(jié)果，因?yàn)樗惴ㄊ鞘?P（ O|λ）局部極大時(shí)得到的模型參數(shù)，因此，選取好的初始模型，是最后求出 的局部極大與全局 31 最大接近是很有意義的。 因?yàn)橹挥羞@樣概率密度函數(shù)才能滿足歸一條件，即滿足 在這種定義下， HMM 中重估 B 參數(shù)的公式轉(zhuǎn)化為對 cjk、 μjk、Ujk 的重估計(jì)算?！呈钦龖B(tài)密度， μjk和 Ujk是狀態(tài) j 中第 k 個(gè)混合分量的均值矢量和協(xié)方差矩陣。這里 bj（ o）稱為參數(shù)的概率密度。在前面的討論中它都是離散的。這里采用一種廣泛應(yīng)用的 pdf 29 －高斯 bj（ j）為例。 二、 HMM 中 B 參數(shù)類型的選擇 為了采用連續(xù)觀測密度，必須對模型 的概率密度函數(shù)（ pdf）的形式作某些限制，以保證能夠?qū)?pdf 的參數(shù)進(jìn)行一致的估計(jì)。在描述實(shí)際語音信號(hào)是一般都要對 HMM 中的狀態(tài)數(shù)及轉(zhuǎn)臺(tái)轉(zhuǎn)移規(guī)律作一定的限制，而狀態(tài)轉(zhuǎn)移結(jié)構(gòu)達(dá)多為“無跨越由左至右類型”和“有跨越由左至右類型 ” 。 （ 1） 為在 t＝ 1 時(shí)刻狀態(tài) i 的概率； （ 2） （ 3） 28 第 三 章 HMM 算法實(shí)現(xiàn)的問題 解決 HMM 的三個(gè)基本問題以后，在實(shí)際應(yīng)用 HMM 解決問題時(shí)還有很多問題需要解決，如初始模型的選取、數(shù)據(jù)下溢、HMM 之間 距離的度量等等。 對輔助函數(shù)的各個(gè)單項(xiàng) Q（ λ|λ’）求最大值，即可推導(dǎo) 27 出 Q（ λ|λ’）最大化的模型 的參數(shù)重估公式。因?yàn)? 26 觀察上式樂意看出輔助函數(shù)的各個(gè)單 項(xiàng) 都具有以下形式： 變量｛ y｝ Nf=1滿足 。 BaumWelch 算法的基本思想是：按照某種參數(shù)重估公式從現(xiàn)有的模型 λ 估計(jì)出新的模型 λ’,使得 P（ O|λ’） =P（ O|λ）。根據(jù)定義有： 結(jié)合 εt（ i,j）和 γt（ i）的定義，可知： 25 為觀察序列中，從狀態(tài) i 出發(fā)的狀態(tài)轉(zhuǎn)移次數(shù)的 期望。通常 εt（ i,j）采用歸一化形式，即 式中 αt（ i）， βt（ j）為前面提到的前向和后向概率。 基于此最佳準(zhǔn)則，我們可以通過下面的遞推得到最佳狀態(tài)序列 q*＝｛ q*1?? q*T｝和 P〔 O， q*|λ 〕（在模型 λ 下，按照最佳狀態(tài)序列路徑產(chǎn)生觀察序列 O 的概率： 24 四 、 BaumWelch 算法――問題 3 的解決方案 在介紹 BaumWelch 算法之前，首先引入兩個(gè)相關(guān)的概率定義 εt（ i,j）和 γt（ i）。根據(jù)定義，可以得到 δ t（ i） 的遞推計(jì)算公式?？紤]到狀態(tài)序列的整體特性，Vitebi 算法采用如下的最佳準(zhǔn)則。計(jì)算公式如下： 后向概率定義為 βt（ i）＝ P(ot+1?? oT， qt＝ i|λ)，即是在給定模型 λ 下，從 t+1 時(shí)刻開始到觀察結(jié)束這一段的觀察序列為｛ ot+1?? oT｝，且在 t 時(shí)刻處在狀態(tài) i 的概率。它們的定義及有關(guān)的遞推公式如下。 二、“ 前 向－ 后 向”算法――問題 1 的解決方案 從定義出發(fā)計(jì)算概率 P（ O|λ），可得下式： 顯然，按上式計(jì)算 P（ O|λ）是不現(xiàn)實(shí)的，因?yàn)樗挠?jì)算量相當(dāng)大。 問題（ 3）實(shí)質(zhì)上就是如何訓(xùn)練模型，估計(jì)、優(yōu)化模型參數(shù)的問題。針對這個(gè)缺點(diǎn)要求人們 研究一種在最佳狀態(tài)序列基礎(chǔ)上的整體約束的最佳準(zhǔn)則，并用此準(zhǔn)則找出一條最好的狀態(tài)序列。 問題（ 2）關(guān)鍵在于選用怎樣的最佳準(zhǔn)則來決定狀態(tài)的轉(zhuǎn)移。在語音識(shí)別中，我們可以通過計(jì)算、比較 P（ O|λ），從多個(gè)模型參數(shù)中選擇出與觀察序列匹配得最好的那個(gè)模型。 （ 1）已知觀察序列 O 和模型 λ＝（ A,B,π），如何計(jì)算由此模型產(chǎn)生此觀察序列的概率 P（ O|λ）。在這類模型中，觀察向量 是通過一個(gè)自回歸過程中提取的。雖然通用形式的連續(xù)概率密度 HMM適用于很多問題，但還存在其它非常適合處理語音的其他種類HMM。此外，在訓(xùn)練數(shù)據(jù)不足時(shí)，使用這種技術(shù)非常有效。這樣不僅能夠減少模型中獨(dú)立參數(shù)的數(shù)量，還能簡化參數(shù)估計(jì)。如圖 24 所示的具有空轉(zhuǎn)移的由左至右 HMM： 19 圖 24 具有空轉(zhuǎn)移的由左至右 HMM 參數(shù)綁定 HMM 構(gòu)成上的另一種變化。這種類型的 HMM 在IBM 的連續(xù)語音識(shí)別中被廣泛使用。 此外，從構(gòu)成上 HMM 的變體還包括空轉(zhuǎn)移和狀態(tài)綁定HMM。如圖 23 所示的右左至右交叉耦合連接的 HMM，嚴(yán)格的說，這種 模型 屬于 由左至右模型，因?yàn)樗鼭M足所有 aij 約束；但它具有由左至右模型所不具有的靈活性。如圖 22所示： 圖 22 全連結(jié) HMM 在這種模型中每個(gè)系數(shù) aij