【正文】 態(tài)n1時刻，系統(tǒng)處于Sj產(chǎn)生y1的概率： (45)前向概率的具體計算算法如下：(1) 初始化： (46)(2) 遞推計算： (47)(3) 整體概率： (48)后向概率用表示，其意義為：系統(tǒng)在n時刻處于Sj狀態(tài)下，已經(jīng)存在從n+2到N刻的觀察矢量yn+2yn+3…yN的情況下，又出現(xiàn)yn+1的概率?？疾靚=N時刻，計算的是出現(xiàn)yN+1的概率，而實際系統(tǒng)yN+1不存在，是空集，因此有初始條件：。后向概率的具體計算算法如下：(1) 初始化： (49)(2) 遞推計算： (410)在定義了前向概率以及后向概率及其計算方法以后，考察整體概率，即出現(xiàn)整個觀察矢量序列Y=[y1，y2，……，yn]的概率： (411)事實上，上述公式和系統(tǒng)當(dāng)前所處的時刻n無關(guān)，用公式(47)代入有： (412)即系統(tǒng)在模型下名出現(xiàn)觀察序列Y的概率是唯一的。在n=N時刻，因為有： (413)在n=l時刻，考慮有： (414)問題2：用HMM模型識別(Viterbi算法)對于HMM系統(tǒng)，外界觀察到的某個矢量序列Y在系統(tǒng)內(nèi)部其對應(yīng)的狀態(tài)序列X是不唯一的，但是不同的X產(chǎn)生Y的可能性不一樣。狀態(tài)序列搜索的任務(wù)就是根據(jù)系統(tǒng)輸出Y搜索最有可能的狀態(tài)序列X，使得該狀態(tài)序列產(chǎn)生Y的可能性達到最大。對于某個Y搜索系統(tǒng)內(nèi)部對應(yīng)的最有可能的狀態(tài)序列X，可以表示為在已知當(dāng)前系統(tǒng)模型λ以及Y下產(chǎn)生X的條件后驗概率，并使得該概率達到最大，有 (415)上式中，分母項對于所有的狀態(tài)序列X都相同，因此可以簡化成比較其中的分子，即。對于所有可能的X，直接計算上述概率并選擇其中的最大者，計算量很大。為此可以采用一種遞推的算法，Yiterbi搜索算法即可以很好的解決這個問題。假設(shè)系統(tǒng)的觀察矢量序列Y=[y1，y2，…，yn，yn+1yn+2…yN]，要求一條狀態(tài)序列X=[x1，x2，…，xn，xn+1，xn+2，…xN]，使得下面的概率達到最大： (416)假設(shè)系統(tǒng)在時刻n處于狀態(tài)xn=Si，而先前時刻的狀態(tài)為x1x2…xn?？梢匀我膺x擇，則可以找到一條從l到n的路徑，使得產(chǎn)生輸出序列y1y2…yn的概率達到最大。假設(shè)此概率最大值記為，有(417)則由式(4—16)很容易推導(dǎo)出 （418）另外，為了描述路徑節(jié)點之間的遞推關(guān)系，定義其意義為xn+1=Sj的一條最優(yōu)路徑x1x2…xnxn+1中xn的狀態(tài)序號。則求最優(yōu)狀態(tài)序列X=x1x2…xN的Yiterbi搜索算法如下：（1）初始化：（2）遞推計算：對于n=1，2，．．．Nl，由求,并求出：(419)確定：對j=l，2，．．．，L，求的最大值，其相應(yīng)的j值即是整條最優(yōu)狀態(tài)序列的最后一個狀態(tài)xN所取的狀態(tài)Sj的下標(biāo)序號，記為，有：（3）路徑回溯：由n=N出發(fā)進行回溯求出最優(yōu)狀態(tài)序列路徑： （420）問題3：HMM模型訓(xùn)練(Baum——Welch重估算法)假設(shè)訓(xùn)練前模型參數(shù)為a,A，B，訓(xùn)練后模型參數(shù)變?yōu)閍’，A’，B’。令表示系統(tǒng)在n時刻位于狀態(tài)Sj，而在n+1時刻位于狀態(tài)Sj并產(chǎn)生觀察矢量序列Y的概率，有 (421)令表示系統(tǒng)在n時刻位于狀態(tài)Si并有觀察矢量序列Y的概率，有,同樣可以改寫為： (422)事實上，和存在以。將對所有的時刻n求和，其意義表示系統(tǒng)從所有時刻的Sj狀態(tài)轉(zhuǎn)移到Sj狀態(tài)并產(chǎn)生觀察矢量序列Y的概率總和，記為，有 （423）同樣，將以對所有的時刻n求和，其意義表示系統(tǒng)從所有時刻的Sj狀態(tài)轉(zhuǎn)移并產(chǎn)生觀察矢量序列Y的概率總和，記為，有： (424)a的估計：假設(shè)a39。為初始狀態(tài)概率矢量的新估計，其中元素aj’可以用n=l時刻系統(tǒng)位于狀態(tài)Sj并又觀察矢量序列Y的概率來表示，有 (425)A的估計：假設(shè)A39。ij表示由Si轉(zhuǎn)移到Sj的概率的新估計，其計算方法可以表示為：A39。ij=(由Si狀態(tài)轉(zhuǎn)移到Sj狀態(tài)的概率總和)/(由Si發(fā)生狀態(tài)轉(zhuǎn)移的概率總和)。系統(tǒng)從所有時刻的Si狀態(tài)轉(zhuǎn)移到Sj狀態(tài)并產(chǎn)生觀察矢量序列Y的概率總和由給出，而從所有時刻的Sj狀態(tài)發(fā)生狀態(tài)轉(zhuǎn)移并產(chǎn)生觀察序列Y的概率總和由給出，因此有； (426)B的估計：在離散HMM模型下，系統(tǒng)的觀察矢量為一系列的離散值，概率分布函數(shù)矢量B為一矩陣，其中bjm表示系統(tǒng)位于狀態(tài)Sj并觀察到碼字Vm(m=1，2，…，M)(M為觀察矢量y的維數(shù)，Vm為第m維元素)的概率。假設(shè)b39。jm為bjm的新估計，則 (427)使用上述方法迭代，可以逐步調(diào)整HMM系統(tǒng)模型參數(shù)，以使得模型產(chǎn)生觀察矢量序列的概率不斷增加并達到一個極大點。但是該方法的訓(xùn)練結(jié)果與初值相關(guān)，可能收斂不到全局的最優(yōu)解，因此采用一種“分段足均值算法”可以較好的解決這個問題，如圖4．2所示。 分K段均值算法進行HMM模型參數(shù)訓(xùn)練當(dāng)然，分段K均值算法仍然需要基于初始模型參數(shù)進行計算。初始模型的產(chǎn)生有兩種主要方法，一種是采取均勻分布或隨機設(shè)置的方法，另一種方法是將訓(xùn)練語音的數(shù)據(jù)根據(jù)HMM模型的狀態(tài)數(shù)按照某種規(guī)則分段，每段作為某一狀態(tài)的訓(xùn)練數(shù)據(jù)，從而計算模型的初始參數(shù)。 HMM算法的改進經(jīng)典的HMM模型算法有兩個重要的假設(shè)：1)狀態(tài)轉(zhuǎn)移的馬爾可夫假設(shè)：在n時刻的狀態(tài)向n+l時刻的狀態(tài)轉(zhuǎn)移的狀態(tài)轉(zhuǎn)移概率僅僅與n時刻的狀態(tài)有關(guān)，而與以往任何時刻的狀態(tài)無關(guān)。2)輸出值的馬爾可夫假設(shè)：在n時輸出觀測值的概率，只取決于當(dāng)前時刻n所處的狀態(tài)，而與以前的歷史無關(guān)。事實上這兩種假設(shè)并不十分合理，因為任意時刻出現(xiàn)的觀測輸出矢量概率依賴于系統(tǒng)當(dāng)前所處的狀態(tài)，而且依賴于系統(tǒng)在前一時刻所處的狀態(tài)。為了彌補這一缺點，對經(jīng)典的HMM模型的狀態(tài)轉(zhuǎn)移和輸出觀測值的馬爾可夫假設(shè)條件做一定的改進，并導(dǎo)出新模型的前向和后向算法。假設(shè)隱藏的狀態(tài)序列是一個二階馬爾可夫鏈：在n時刻的狀態(tài)向n+1時刻的狀態(tài)轉(zhuǎn)移的狀態(tài)轉(zhuǎn)移概率不僅依賴于n時刻的狀態(tài)，而且依賴于nI時刻的狀態(tài)，即： （428）其中。L表示模型中狀態(tài)個數(shù)。同樣特征觀測矢量的概率不僅依賴于系統(tǒng)當(dāng)前所處的狀態(tài)，而且依賴于系統(tǒng)前一時刻所處的狀態(tài)，即： （429）改進的前向——后向算法是在計算在給定模型λ的條件下產(chǎn)生觀測序列O=[o1，o2，……，oN]的概率，即。由(428)式可知：給定模型λ，產(chǎn)生某一狀態(tài)序列Q=q1，q2，…，qN的概率： （430）其中πi為系統(tǒng)在時刻n=1時狀態(tài)為Si的概率，Aij表示狀態(tài)Si→Sj，的概率。由(429)式可得，在該狀態(tài)序列Q條件下(模型已經(jīng)給定)產(chǎn)生觀測序列0的概率： （431）所以在給定模型λ下產(chǎn)生給定序列0的概率： （432）按上式直接計算，其運算量非常大。為使問題求解變得更加實際，需尋求更為簡介的方法。前向算法的改進：首先定義前向變量，它是指在給定模型λ的條件下，產(chǎn)生n以前的部分觀察序列o1，o2，…，oN，且在n1時狀態(tài)為Si，n時狀態(tài)為Sj的概率。前向變量可按下列步驟進行迭代計算：(1) 初始化 （433）(2) 迭代計算（434）后向算法的改進：與前向算法相類似，定義后向變量： （435）即在給定模型λ和n1時狀態(tài)為Si，n時狀態(tài)為Sj的條件下，從n+l時到最后的部分觀測序列的概率，可按如下步驟進行迭代計算：(1) 初始化 (2) 迭代計算在給定模型λ下，產(chǎn)生觀測序列O的概率，根據(jù)前向變量和后向變量的定義可得： （437）以上方法可以推廣到Viterbi算法，BaumWelch算法。這些算法避免了在計算狀態(tài)轉(zhuǎn)移概率和輸出觀測值概率時只考慮當(dāng)前狀態(tài)而不考慮歷史的簡單假設(shè)，在實際問題中更具合理性。 HMM的結(jié)構(gòu)和類型隱馬爾可夫模型主要有兩種大的結(jié)構(gòu)，一種是全連接的，另一種是從左向右的。不同結(jié)構(gòu)的HMM模型，各有自己的應(yīng)用領(lǐng)域。全連接的HMM可以用于說話人識別：無跨越從左向右模型符合人的語音特點，因此可以用來進行語音識別。而有跨越從左向右模型，其中允許隔位跳轉(zhuǎn)意味著語音中某些發(fā)音在說話中可能被吸收或刪除的實際情況；并行的從左向右模型則包含了發(fā)同一個語音單位可能出現(xiàn)的音變現(xiàn)象。圖4．3是常見的幾種HMM結(jié)構(gòu)。 常規(guī)的HMM結(jié)構(gòu) HMM算法實現(xiàn)的問題(1)初始模型的選取選取好的初始模型，使最后求出的局部極大與全局最大接近，是很有意義的。一般認為，π和A參數(shù)初值選取影響不大，可以隨機選取或均勻取值，只要滿足概率要求即可，但B初值對訓(xùn)練出的HMM影響較大，一般傾向采取較為復(fù)雜的初值選取方法。比較典型的HMM參數(shù)估計算法是“K均值分割”算法。(2)HMM狀態(tài)數(shù)的選取，一般取狀態(tài)數(shù)為4～10，但不是狀態(tài)數(shù)越多越好，對單個漢字而言，取4較為合適。(3)HMM中B參數(shù)類型的選取為了采用連續(xù)觀測密度，必須對模型的概率密度函數(shù)(pdf)的形式作某些限制，以保證能夠?qū)df的參數(shù)進行一致估計。淡然，不同形式的pdf是由不同的參數(shù)來描述的，而估計這種參數(shù)的重估公式也是不一樣的。一般廣泛采用的pdf為高斯型bj(o)。(4) 多個觀察值序列訓(xùn)練實際中訓(xùn)練一個HMM，經(jīng)常用到不止一個觀察值序列，那么對于K個觀察值序列訓(xùn)練HMM時，要對Baum=Welch算法的重估公式加以修正。(5)比例因子問題在前向一一后向算法和Baum=Welch算法中，都有a(i)和b(i)的遞歸計算，因為所有的量都小于l，因此，a(f)(隨著t的增加)和b(i)(隨著t的減少)都迅速趨向于零，為了杜絕這種下溢(Underflow)的問題，必須采取增加比例因子(Scaling)的方法，對有關(guān)算法加以修正。相關(guān)算法可參看相關(guān)資料。五、基于Matlab環(huán)境下的語音識別算法實現(xiàn)Matlab原始程序于20世紀70年代中期由美國新墨西哥大學(xué)計算機系主任Clever Moler開發(fā)完成，于1984 年由Mathworks 公司推向市場。在20 多年的發(fā)展過程中軟件版本不斷更新，功能逐步完善，深受大學(xué)教師、學(xué)生及科研工作人員好評。Matlab 也成為數(shù)值計算領(lǐng)域耳熟能詳?shù)拿~，活躍在數(shù)值計算的各個舞臺。本文就結(jié)合Matlab 優(yōu)秀的數(shù)值計算能力及強大的信號處理功能，借助于對聲音的部分基本特征的研究，拓展Matlab在語音識別中的應(yīng)用，并將揭開語音識別的奧秘。在本系統(tǒng)中，基本上最主要的儀器為話筒、耳機與PC機（另有定音器等發(fā)聲工具），整個實驗平臺建立在Matlab 軟件的基礎(chǔ)上，使得信號的采集、分析與數(shù)據(jù)轉(zhuǎn)換完全一體化，并且利用Matlab各工具包的強大功能，還可以對數(shù)據(jù)進行即時的處理反送。由于Matlab各個工具包往往采用了業(yè)界中最尖端的算法，因此相比與傳統(tǒng)的實現(xiàn)方式，該語音識別系統(tǒng)通過Matlab開發(fā)圖形界面，逼真的演示了語音識別的過程以及結(jié)果。在編程前，要在Matlab中安裝一個voice box語音處理工具箱，展開到某個目錄，并將該目錄加入到Matlab的搜索路徑。從數(shù)據(jù)采集的角度來看，PC聲卡本身就成為一個優(yōu)秀的數(shù)據(jù)采集系統(tǒng)，它同時具有A／D和D／A轉(zhuǎn)換功能，不僅價格低廉，而且兼容性好、性能穩(wěn)定、靈活通用，軟件特別是驅(qū)動程序升級方便。如果測量對象的頻率在音頻范圍(20 Hz～20 kHz)內(nèi)，而且對采樣頻率等指標(biāo)又沒有太高要求，就可以考慮使用聲卡。而語音音頻范圍一般在5kHz以內(nèi)，滿足聲卡采集的要求。在采集語音信號前，要檢查聲卡的設(shè)置，保證已配置的輸入功能(錄音功能)不處于靜音狀態(tài)。聲卡的工作原理如圖5．1所示。主機通過總線將數(shù)字化的聲音信號送到數(shù)模轉(zhuǎn)換器(D／A)，將數(shù)字信號變成模擬的音頻信號。同時，又可以通過模數(shù)轉(zhuǎn)換器(A／D)將麥克風(fēng)或CD的輸入信號轉(zhuǎn)換成數(shù)字信號，送到計算機進行各種處理。衡量聲卡的技術(shù)指標(biāo)包括復(fù)音數(shù)量、采樣頻率、采樣位數(shù)(即量化精度)、聲道數(shù)、信噪比(SNR)和總諧波失真(THD)等。復(fù)音數(shù)量代表聲卡能夠同時發(fā)出多少種聲音，復(fù)音數(shù)越大，音色就越好，播放聲音時可以聽到的聲部越多、越細膩：采樣頻率是每秒采集聲音樣本的數(shù)量，采樣頻率越高，記錄的聲音波形越準確，保真度就越高，但采樣數(shù)據(jù)量相應(yīng)變大，要求的存儲空間也越多；采樣位數(shù)是指將聲音從模擬信號轉(zhuǎn)化為數(shù)字信號的二進制位數(shù)(bit)，位數(shù)越高，在定域內(nèi)能表示的聲波振幅的數(shù)目越多，記錄的音質(zhì)也就越高，例如16位聲卡把音頻信號的大小分為216=65536個量化等級來實施上述轉(zhuǎn)換。常用聲卡可對音頻信號實現(xiàn)雙聲道16位、高保真的數(shù)據(jù)采集，最高采樣率可達44．1kHz，具有較高的采樣頻率與精度。對于許多科學(xué)實驗和工程測量來說，聲卡對信號的量化精度和采樣率都是足夠高的，甚至優(yōu)于一些低檔的數(shù)據(jù)采集卡性能。在Matlab中實現(xiàn)語音采集的命令語句是wavrecord（tFs，F(xiàn)s，mode），該語句能以Fs的采樣頻率、時間t以及采樣模式，一般選為16位的‘int16’。：，整個語音識別系統(tǒng)包括四部分：預(yù)處理、特征參數(shù)提取、訓(xùn)練和識別。其中預(yù)處理包括加重和端點檢測。預(yù)加重一般通過一個數(shù)字濾波器。來實現(xiàn)，u值接近于1。端點檢測就是從一段信號中檢測出語音信號的起始點和結(jié)束點。這里采用基于短時能量和過零率的端點檢測算法。這種算法不是實時的，是先讀取錄制好的wav文件，獲取信號后再將其分幀并計算短時能量和過零率參數(shù)。本設(shè)計中采用雙門限算法來實現(xiàn)端點的檢測，端點檢測的函數(shù)為vad。常用的參數(shù)有線性預(yù)測的倒譜系數(shù)(LPCC)和Mel頻率的倒譜系數(shù)(MFCC)。LPCC參數(shù)是一種基于合成的參數(shù)，而MFCC參數(shù)考慮了人耳的聽覺特性，且沒有任何前提假設(shè)。大量實驗表明，MFCC參數(shù)的性能優(yōu)于LPCC參數(shù)。仿真用的參數(shù)都是24維(加上了一階差分)的語音特征參數(shù)向量。本系統(tǒng)采用的是MFCC系數(shù)，24個濾波器。 HMM模型是一種統(tǒng)計模裂，一般分為連續(xù)HMM(CHMM)和離散HMM(DHMM)。前者的識別率比較高，DHMM略低些。但前者的高識別