【正文】 ～70Hz)，所以L(fǎng)的選擇比較困難。分幀既可連續(xù)，也可采用交疊分段的方法，用可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)的方法來(lái)實(shí)現(xiàn)。已經(jīng)數(shù)字化的語(yǔ)音信號(hào)序列將被依次存入一個(gè)數(shù)據(jù)區(qū)。加重的信號(hào)在分析處理后，需要進(jìn)行去加重處理，即加上6dB/oct的下降的頻率特性來(lái)還原成原來(lái)的特性。為了在語(yǔ)音信號(hào)變化范圍內(nèi)保持35dB的信噪比，常用12位來(lái)量化，其中附加的5位用于補(bǔ)償30dB左右的輸入動(dòng)態(tài)范圍變化。量化后的信號(hào)值與原始信號(hào)之間的差值為量化誤差，又稱(chēng)為量化噪聲。它包括激勵(lì)模型、聲道模型、和輻射模型。不同聲調(diào)的聲調(diào)曲線(xiàn)的開(kāi)始段稱(chēng)為彎頭段，呈共同上升走向；末尾一段呈共同下降走向，稱(chēng)為降尾段；而中間一段具有不同的特點(diǎn)，這一段稱(chēng)為調(diào)型段。發(fā)音時(shí)呼出的氣流，由于通路的某一部分封閉起來(lái)或受到阻礙，氣流被阻不能暢通，而克服發(fā)音器官的這種阻礙而產(chǎn)生的音素稱(chēng)為輔音。二、語(yǔ)音信號(hào)分析在連續(xù)數(shù)字語(yǔ)音識(shí)別過(guò)程中，為了提高連續(xù)數(shù)字匹配搜索算法的有效性以及數(shù)字的識(shí)別率，必須要將對(duì)數(shù)字語(yǔ)音的研究細(xì)化到語(yǔ)音學(xué)的層次上，包括對(duì)各數(shù)字的音素和音節(jié)的特性和各數(shù)字的聲調(diào)進(jìn)行深入研究。另外，語(yǔ)音識(shí)別是一門(mén)交叉學(xué)科，語(yǔ)音識(shí)別技術(shù)關(guān)系到多學(xué)科的研究領(lǐng)域，在不同領(lǐng)域上的進(jìn)步都會(huì)促進(jìn)語(yǔ)音識(shí)別的發(fā)展。語(yǔ)音作為當(dāng)前通訊系統(tǒng)中最自然的通信媒介，隨著計(jì)算機(jī)和語(yǔ)音處理技術(shù)的發(fā)展，不同語(yǔ)種之間的語(yǔ)音翻譯將成為語(yǔ)音研究的熱點(diǎn)。語(yǔ)音識(shí)別技術(shù)的最終目的是要讓用戶(hù)在“人機(jī)對(duì)話(huà)”的時(shí)候，能夠像進(jìn)行“人人對(duì)話(huà)”一樣自然。它將破壞原始語(yǔ)音的頻譜，或者把原始語(yǔ)音部分或全部掩蓋掉，造成識(shí)別率下降。而對(duì)于口音的適應(yīng)性首先是由聲學(xué)模型本身的品質(zhì)決定的。同時(shí)還可以在很多先驗(yàn)知識(shí)的幫助下，提高識(shí)別的準(zhǔn)確率。目前的連續(xù)語(yǔ)音識(shí)別大多是基于HMM(隱馬爾可夫模型)框架，并將聲學(xué)、語(yǔ)言學(xué)的知識(shí)統(tǒng)一引入來(lái)改善這個(gè)框架，其硬件平臺(tái)通常是功能強(qiáng)大的工作站或PC機(jī)。孤立詞識(shí)別是指說(shuō)話(huà)人每次只說(shuō)一個(gè)詞或短語(yǔ)，每個(gè)詞或短語(yǔ)在詞匯表中都算作一個(gè)詞條，一般用在語(yǔ)音電話(huà)撥號(hào)系統(tǒng)中。經(jīng)過(guò)幾十年的發(fā)展和摸索，人們終于在實(shí)驗(yàn)室突破了大詞匯量、連續(xù)語(yǔ)音和非特定人這三大障礙，第一次把這三個(gè)特性一起集中于一個(gè)系統(tǒng)中，并以此確定了統(tǒng)計(jì)方法和模型在語(yǔ)音識(shí)別和語(yǔ)音處理中的主流地位。日本也先后在語(yǔ)音識(shí)別領(lǐng)域大展頭角，還有如Philips公司開(kāi)發(fā)的Speech—Media和Speech Pearl兩套軟件，涵蓋了自然語(yǔ)音識(shí)別與理解的對(duì)話(huà)系統(tǒng)。另一個(gè)重要發(fā)展是語(yǔ)音識(shí)別算法從模板匹配技術(shù)轉(zhuǎn)向基于統(tǒng)計(jì)模型技術(shù)。研究語(yǔ)音識(shí)別，開(kāi)發(fā)相應(yīng)的產(chǎn)品有著廣泛的社會(huì)意義和經(jīng)濟(jì)意義。語(yǔ)音識(shí)別算法有多種實(shí)現(xiàn)方案，本文采取的方法是利用Matlab強(qiáng)大的數(shù)學(xué)運(yùn)算能力，實(shí)現(xiàn)孤立語(yǔ)音信號(hào)的識(shí)別。本文基于語(yǔ)音信號(hào)產(chǎn)生的數(shù)學(xué)模型，從時(shí)域、頻域出發(fā)對(duì)語(yǔ)音信號(hào)進(jìn)行分析，論述了語(yǔ)音識(shí)別的基本理論。the same time,the use of Matlab graphical user interface development environment designed speech recognition system interface,is designed to be simple,easy to use,friendly interface. Besides,to have a simple exploration of the voice recognition is another statistics,recognition result obviously is made out as the expected goal.Key words：Speech recognition algorithm；HMM model；Matlab；GUI44目錄一、前言 1 1 1 2 3 3 4二、語(yǔ)音信號(hào)分析 4 4 5 5 6 7 7 7 8 8 9 9 11 12 13 14 14 14 15 LPCC倒譜系數(shù) 15 Mel頻率倒譜系數(shù) 16三、語(yǔ)音識(shí)別主要算法 17 17 18 19 20 HMM和ANN的混合模型 21四、隱含馬爾可夫模型算法 23 HMM的基本理論和數(shù)學(xué)描述 23 HMM的三個(gè)基本問(wèn)題及解決算法 24 HMM算法的改進(jìn) 31 HMM的結(jié)構(gòu)和類(lèi)型 33 HMM算法實(shí)現(xiàn)的問(wèn)題 34五、基于Matlab環(huán)境下的語(yǔ)音識(shí)別算法實(shí)現(xiàn) 35 35 36 36 36 37 38六、結(jié)束語(yǔ) 39 39 39七、致謝 40參考文獻(xiàn) 40河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū)一、前言作為智能計(jì)算機(jī)研究的主導(dǎo)方向和人機(jī)語(yǔ)音通信的關(guān)鍵技術(shù)，語(yǔ)音識(shí)別技術(shù)一直受到各國(guó)科學(xué)界的廣泛關(guān)注。60年代末和70年代初語(yǔ)音識(shí)別最重要的發(fā)展是語(yǔ)音信號(hào)線(xiàn)性預(yù)測(cè)編碼(LPC)技術(shù)和動(dòng)態(tài)時(shí)間規(guī)整(DTW)技術(shù)，有效地解決了語(yǔ)音的特征提取和時(shí)間不等長(zhǎng)匹配問(wèn)題，對(duì)特定人的語(yǔ)音識(shí)別十分有效。H等公司相繼投入到漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的開(kāi)發(fā)中，其投資也逐年增加。目前我國(guó)大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng)的研究已經(jīng)接近國(guó)外最高水平。在不遠(yuǎn)的將來(lái)，語(yǔ)音識(shí)別技術(shù)有可能作為一種重要的人機(jī)交互手段，輔助甚至取代傳統(tǒng)的鍵盤(pán)、鼠標(biāo)等輸入設(shè)備，在個(gè)人計(jì)算機(jī)上進(jìn)行文字錄入和操作控制。特定人是指只針對(duì)一個(gè)用戶(hù)的語(yǔ)音識(shí)別，非特定人則可用于不同的用戶(hù)。3，特征參數(shù)要計(jì)算方便，最好有高效的計(jì)算方法，以保證語(yǔ)音識(shí)別的實(shí)時(shí)實(shí)現(xiàn)。首先要明確的是，口音是指同一種語(yǔ)言在不同地區(qū)的發(fā)音有所不同，與同一地區(qū)(例如中國(guó))的不同方言是有區(qū)別的。而針對(duì)嚴(yán)重的口音問(wèn)題，它的聲學(xué)模型適應(yīng)機(jī)制提供了很好的解決方案，可以使系統(tǒng)的識(shí)別率有很大改善。第三個(gè)就是“口語(yǔ)”的問(wèn)題。它為用戶(hù)提供了一種像“人人對(duì)話(huà)”的自然語(yǔ)音交互界面，這種更加友善的界面允許一般對(duì)話(huà)時(shí)的一些行為，如停頓及不完全的語(yǔ)句等。語(yǔ)音識(shí)別技術(shù)的成熟使人機(jī)界面發(fā)生革命性突破，網(wǎng)絡(luò)時(shí)代用戶(hù)需要更自然、更簡(jiǎn)單、更方便的以語(yǔ)音為中心點(diǎn)的人機(jī)界面。(5)語(yǔ)言學(xué)：有關(guān)人的語(yǔ)言產(chǎn)生、感覺(jué)方面的知識(shí)。當(dāng)聲帶振動(dòng)發(fā)出的聲音氣流從喉腔、咽腔進(jìn)入口腔從唇腔出去時(shí)，這些聲腔完全開(kāi)放，氣流順利通過(guò)，這種音稱(chēng)為元音。漢語(yǔ)普通話(huà)的聲調(diào)有陰平、陽(yáng)平、上聲、去聲等四種聲調(diào)(另外，有時(shí)還包括“輕聲”)，這些基本的調(diào)型在語(yǔ)句中雖然受語(yǔ)法、語(yǔ)氣的影響而有所變動(dòng)，但基本上不改變?cè)械哪Ｊ揭徽{(diào)型。由于在發(fā)音過(guò)程中聲道是運(yùn)動(dòng)的，因此可以用一個(gè)時(shí)變線(xiàn)性系統(tǒng)來(lái)模擬。在信號(hào)的帶寬不明確時(shí)，采樣前應(yīng)接入抗混疊濾波器(低通濾波器)，使其帶寬限制在某個(gè)范圍內(nèi)；否則，如果采樣頻率不滿(mǎn)足采樣定理，則會(huì)產(chǎn)生混疊。當(dāng)B=7位時(shí)，SNR=35dB。所以為盡量提高SNR，應(yīng)在A/D轉(zhuǎn)換之前進(jìn)行預(yù)加重。低通濾波器的截至頻率由語(yǔ)音信號(hào)帶寬決定，用于慮除高于l/2采樣頻率的信號(hào)成分或噪聲，并且希望其帶內(nèi)波動(dòng)和帶外衰減特性盡可能好。幀移與幀長(zhǎng)之比一般取為0～。通幫采用最多的窗函數(shù)是矩形窗、漢寧窗(Hanning)和哈明窗(Hamming)。如果用xw表示x(n)經(jīng)過(guò)加窗處理后的信號(hào)，窗函數(shù)的長(zhǎng)度為N，則短時(shí)能量可表示為： (24)“0”時(shí)域波形圖和語(yǔ)音“0”短時(shí)能量圖。在一定程度上短時(shí)過(guò)零率可以反映出頻率的信息，在濁音段一般具有較低的過(guò)零率，而在清音段具有較高的過(guò)零率，這樣就可以初步判斷清音和濁音，但只是相對(duì)而言，沒(méi)有精確的數(shù)值關(guān)系。短時(shí)自相關(guān)函數(shù)具有一些性質(zhì)，如它是偶函數(shù)假設(shè)序列具有周期性，則其自相關(guān)函數(shù)也是同周期的周期函數(shù)等。即： (29)對(duì)于實(shí)際的語(yǔ)音信號(hào)，d(n)雖不為零，但其值很小。語(yǔ)音端點(diǎn)檢測(cè)算法主要是根據(jù)語(yǔ)音的一些特征參數(shù)，短時(shí)能量、過(guò)零率等完成端點(diǎn)檢測(cè)。利用一組濾波器來(lái)分析語(yǔ)音信號(hào)的頻譜，方法使用簡(jiǎn)單、實(shí)時(shí)性好、受外界環(huán)境的影響小。傅立葉頻譜分析是語(yǔ)音信號(hào)頻域分析中廣泛采用的一種方法。LPCC參數(shù)的優(yōu)點(diǎn)是計(jì)算量小，易于實(shí)現(xiàn)，對(duì)元音有較好的描述能力，其缺點(diǎn)在于對(duì)輔音的描述能力較差，抗噪聲性能較差。在漢語(yǔ)數(shù)碼語(yǔ)音識(shí)別中，MFCC參數(shù)的性能明顯優(yōu)于LPCC參數(shù)。MFCC系數(shù)為 (218)（4）將這種直接得到的MFCC特征作為靜態(tài)特征，再將這種靜態(tài)特征傲一階和二階差分。已存入模板庫(kù)的各個(gè)詞條稱(chēng)為參考模板，一個(gè)參考模板可表示為，m為訓(xùn)練語(yǔ)音幀的時(shí)序標(biāo)號(hào)，m=1為起點(diǎn)語(yǔ)音幀，m=M為終點(diǎn)語(yǔ)音幀，因此為該模板所包含的語(yǔ)音幀總數(shù)，為第幀的語(yǔ)音特征矢量。如設(shè):(1)參考模板特征矢量序列為。DTW算法的優(yōu)點(diǎn)是既簡(jiǎn)單又有效，對(duì)于小詞匯表孤立詞識(shí)別系統(tǒng)十分適用。語(yǔ)音學(xué)家通過(guò)研究不同語(yǔ)音的語(yǔ)譜及其變化后發(fā)現(xiàn)，雖然不同的人說(shuō)同一些語(yǔ)音時(shí)，相應(yīng)的語(yǔ)譜機(jī)器變化種種差異，但是總有一些共同的特點(diǎn)足以使他們區(qū)分于其他語(yǔ)音，這些特點(diǎn)就是語(yǔ)音學(xué)家提出的“區(qū)別性特征(Distinctive Feature)”。著名的神經(jīng)網(wǎng)絡(luò)研究專(zhuān)家Hecht—Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理”。在基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別方法中，系統(tǒng)參數(shù)就是整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值所構(gòu)成的集合，這些權(quán)值是針對(duì)全部待識(shí)別的語(yǔ)音基元，經(jīng)過(guò)大量訓(xùn)練學(xué)習(xí)而建立的，是語(yǔ)音特征在系統(tǒng)中的一種映射。而在動(dòng)態(tài)分類(lèi)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)輸入一幀加窗語(yǔ)音矢量序列，這個(gè)窗在語(yǔ)音矢量序列上滑動(dòng)，網(wǎng)絡(luò)就做出一系列局部決策，這些局部決策不斷地整合形成一個(gè)全局決策。這是因?yàn)檫@種數(shù)學(xué)模型出現(xiàn)的時(shí)間較早，人們對(duì)它的研究也比較深入，己建立起了完整的理論框架。也正是基于成熟的HMM方法設(shè)計(jì)了嵌入式環(huán)境下(如手機(jī)，PDA等)的語(yǔ)音識(shí)別系統(tǒng)。 HMM和ANN的混合模型語(yǔ)音信號(hào)是一種典型的動(dòng)態(tài)模式序列，前后幀之間的時(shí)間相關(guān)性非常強(qiáng)，所以要將神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別，必須解決好瞬時(shí)輸出的記憶問(wèn)題。與傳統(tǒng)的HMM相比，混合HMM/ANN模型不僅在理論上拋棄了HMM一系列不合理假設(shè)，而且在訓(xùn)練過(guò)程中自然地引入了HMM狀態(tài)之間的區(qū)分機(jī)制。在處理語(yǔ)音信號(hào)的時(shí)變特性方面。但輸出直接映射成HMM狀態(tài)。與知識(shí)表示的層次結(jié)構(gòu)很好地吻合，這是HMM在處理時(shí)間變化上最成功的方面。其中，a是一個(gè)行矢量，即a=[a1,a2,.....aL]。HMM之所以稱(chēng)為隱馬爾可夫模型是因?yàn)榈跈睅Z(yǔ)音所處的狀態(tài)xn是隱藏在系統(tǒng)內(nèi)部的，是外界觀察不到的，外界只能得到該時(shí)刻(該幀)的特征矢量yn，yn=[yn1，yn2，……，ynQ]，下標(biāo)Q為特征矢量的維數(shù)。狀態(tài)輸出概率分布。利用來(lái)求參數(shù)a，A，B，使得具有該參數(shù)的HMM系統(tǒng)產(chǎn)生集合{}中的每一個(gè)學(xué)習(xí)樣本的概率平均值達(dá)到最大。相應(yīng)地，把出現(xiàn)整個(gè)觀察矢量序列Y=[y1，y2，……，yn]的概率稱(chēng)為整體概率。對(duì)于某個(gè)Y搜索系統(tǒng)內(nèi)部對(duì)應(yīng)的最有可能的狀態(tài)序列X，可以表示為在已知當(dāng)前系統(tǒng)模型λ以及Y下產(chǎn)生X的條件后驗(yàn)概率，并使得該概率達(dá)到最大，有 (415)上式中，分母項(xiàng)對(duì)于所有的狀態(tài)序列X都相同，因此可以簡(jiǎn)化成比較其中的分子，即。將對(duì)所有的時(shí)刻n求和，其意義表示系統(tǒng)從所有時(shí)刻的Sj狀態(tài)轉(zhuǎn)移到Sj狀態(tài)并產(chǎn)生觀察矢量序列Y的概率總和，記為，有 （423）同樣，將以對(duì)所有的時(shí)刻n求和，其意義表示系統(tǒng)從所有時(shí)刻的Sj狀態(tài)轉(zhuǎn)移并產(chǎn)生觀察矢量序列Y的概率總和，記為，有： (424)a的估計(jì)：假設(shè)a39。 分K段均值算法進(jìn)行HMM模型參數(shù)訓(xùn)練當(dāng)然，分段K均值算法仍然需要基于初始模型參數(shù)進(jìn)行計(jì)算。同樣特征觀測(cè)矢量的概率不僅依賴(lài)于系統(tǒng)當(dāng)前所處的狀態(tài)，而且依賴(lài)于系統(tǒng)前一時(shí)刻所處的狀態(tài)，即： （429）改進(jìn)的前向——后向算法是在計(jì)算在給定模型λ的條件下產(chǎn)生觀測(cè)序列O=[o1，o2，……，oN]的概率，即。不同結(jié)構(gòu)的HMM模型，各有自己的應(yīng)用領(lǐng)域。(3)HMM中B參數(shù)類(lèi)型的選取為了采用連續(xù)觀測(cè)密度，必須對(duì)模型的概率密度函數(shù)(pdf)的形式作某些限制，以保證能夠?qū)df的參數(shù)進(jìn)行一致估計(jì)。Matlab 也成為數(shù)值計(jì)算領(lǐng)域耳熟能詳?shù)拿~，活躍在數(shù)值計(jì)算的各個(gè)舞臺(tái)。在采集語(yǔ)音信號(hào)前，要檢查聲卡的設(shè)置，保證已配置的輸入功能(錄音功能)不處于靜音狀態(tài)。在Matlab中實(shí)現(xiàn)語(yǔ)音采集的命令語(yǔ)句是wavrecord（tFs，F(xiàn)s，mode），該語(yǔ)句能以Fs的采樣頻率、時(shí)間t以及采樣模式，一般選為16位的‘int16’。本設(shè)計(jì)中采用雙門(mén)限算法來(lái)實(shí)現(xiàn)端點(diǎn)的檢測(cè)，端點(diǎn)檢測(cè)的函數(shù)為vad。但前者的高識(shí)別率是以。LPCC參數(shù)是一種基于合成的參數(shù)，而MFCC參數(shù)考慮了人耳的聽(tīng)覺(jué)特性，且沒(méi)有任何前提假設(shè)。其中預(yù)處理包括加重和端點(diǎn)檢測(cè)。主機(jī)通過(guò)總線(xiàn)將數(shù)字化的聲音信號(hào)送到數(shù)模轉(zhuǎn)換器(D／A)，將數(shù)字信號(hào)變成模擬的音頻信號(hào)。在本系統(tǒng)中，基本上最主要的儀器為話(huà)筒、耳機(jī)與PC機(jī)（另有定音器等發(fā)聲工具），整個(gè)實(shí)驗(yàn)平臺(tái)建立在Matlab 軟件的基礎(chǔ)上，使得信號(hào)的采集、分析與數(shù)據(jù)轉(zhuǎn)換完全一體化，并且利用Matlab各工具包的強(qiáng)大功能，還可以對(duì)數(shù)據(jù)進(jìn)行即時(shí)的處理反送。一般廣泛采用的pdf為高斯型bj(o)。而有跨越從左向右模型，其中允許隔位跳轉(zhuǎn)意味著語(yǔ)音中某些發(fā)音在說(shuō)話(huà)中可能被吸收或刪除的實(shí)際情況；并行的從左向右模型則包含了發(fā)同一個(gè)語(yǔ)音單位可能出現(xiàn)的音變現(xiàn)象。由(429)式可得，在該狀態(tài)序列Q條件下(模型已經(jīng)給定)產(chǎn)生觀測(cè)序列0的概率： （431）所以在給定模型λ下產(chǎn)生給定序列0的概率： （432）按上式直接計(jì)算，其運(yùn)算量非常大。 HMM算法的改進(jìn)經(jīng)典的HMM模型算法有兩個(gè)重要的假設(shè)：1)狀態(tài)轉(zhuǎn)移的馬爾可夫假設(shè)：在n時(shí)刻的狀態(tài)向n+l時(shí)刻的狀態(tài)轉(zhuǎn)移的狀態(tài)轉(zhuǎn)移概率僅僅與n時(shí)刻的狀態(tài)有關(guān)，而與以往任何時(shí)刻的狀態(tài)無(wú)關(guān)。ij表示由Si轉(zhuǎn)移到Sj的概率的新估計(jì)，其計(jì)算方法可以表示為：A39。為此可以采用一種遞推的算法，Yiterbi搜索算法即可以很好的解決這個(gè)問(wèn)題。為了計(jì)算an(j)，考察系統(tǒng)在前n1時(shí)刻的狀態(tài)。其中第一個(gè)問(wèn)題可視為模板匹配問(wèn)題，即一個(gè)已知模型在多大程度上與一個(gè)觀測(cè)序列相匹配。值得注意的是，要素a僅決定產(chǎn)生輸出的HM