【正文】 .....................................................................14 ............................................................................................15 LPCC倒譜系數(shù) ................................................................................15 Mel頻率倒譜系數(shù) ..........................................................................16 三、語(yǔ)音識(shí)別主要算法 ...........................................................................................17 .....................................................................................17 ..........................................................................18 .....................................................................................19 ........................................................................................20 HMM和 ANN的混合模型 ..............................................................................21 四、隱含馬爾可夫模型算法 ....................................................................................23 HMM的基本理論和數(shù)學(xué)描述 .......................................................................23 HMM的三個(gè)基本問(wèn)題及解決算法 ................................................................24 HMM算法的改進(jìn) ........................................................................................31 河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū) IV HMM的結(jié)構(gòu)和類(lèi)型 .....................................................................................33 HMM算法實(shí)現(xiàn)的問(wèn)題 .................................................................................34 五、基于 Matlab環(huán)境下的語(yǔ)音識(shí)別算法實(shí)現(xiàn) ..........................................................35 .....................................................................................35 Matlab中 HMM算法的實(shí)現(xiàn) .....................................................................36 ........................................................................................36 .................................................................................36 .....................................................................................37 ............................................................................................38 六、結(jié)束語(yǔ) .............................................................................................................39 回顧 ...........................................................................................................39 展望 ...........................................................................................................39 七、致謝 ................................................................................................................40 參考文獻(xiàn) ................................................................................................................40 河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū) 1 一、 前言 語(yǔ)音識(shí)別的發(fā)展歷史 作為智能計(jì)算機(jī)研究的主導(dǎo)方向和人機(jī)語(yǔ)音通信的關(guān)鍵技術(shù)，語(yǔ)音識(shí)別技術(shù)一直受到各國(guó)科學(xué)界的廣泛關(guān)注。 60年代末和 70年代初語(yǔ)音識(shí)別最重要的發(fā)展是語(yǔ)音信號(hào)線(xiàn)性預(yù)測(cè)編碼 (LPC)技術(shù)和動(dòng)態(tài)時(shí)間規(guī) 整 (DTW)技術(shù)，有效地解決了語(yǔ)音的特征提取和時(shí)間不等長(zhǎng)匹配問(wèn)題，對(duì)特定人的語(yǔ)音識(shí)別十分有效。H等公司相繼投入到漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)的開(kāi)發(fā)中，其投資也逐年增加。目前我國(guó)大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng)的研究已經(jīng)接河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū) 2 近國(guó)外最高水平。在不遠(yuǎn)的將來(lái)，語(yǔ)音識(shí)別技術(shù)有可能作為一種重要的人機(jī)交互手段，輔助甚至取代傳統(tǒng)的鍵盤(pán)、鼠標(biāo)等輸入設(shè)備，在個(gè)人計(jì)算機(jī)上進(jìn)行文字錄入 和操作控制。特定人是指只針對(duì)一個(gè)用戶(hù)的語(yǔ)音識(shí)別，非特定人則可用于不同的用戶(hù)。 3，特征參數(shù)要計(jì)算方便，最好有高效的計(jì)算方法，以保證語(yǔ)音識(shí)別的實(shí)時(shí)實(shí)現(xiàn)。首先要明確的是，口音是指同一種語(yǔ)言在不同地區(qū)的發(fā)音有所不同，與同一地區(qū) (例如中國(guó) )的不同方言是有區(qū)別的。而針對(duì)嚴(yán)重的口音問(wèn)題，它的聲學(xué)模型適應(yīng)機(jī)制提供了很好的解決方案，可以使 系統(tǒng)的識(shí)別率有很大改善。 第三個(gè)就是“口語(yǔ)”的問(wèn)題。它為用戶(hù)提供了一種像“人人對(duì)話(huà)”的自然語(yǔ)音交互界面，這種更加友善的界面允許一般對(duì)話(huà)時(shí)的一些行為，如停頓及不完全的語(yǔ)句等。語(yǔ)音識(shí)別技術(shù)的成熟使人機(jī)界面發(fā)生革命性突破，網(wǎng)絡(luò)時(shí)代用戶(hù)需要更自然、更簡(jiǎn)單、更方便的以語(yǔ)音為中心點(diǎn)的人機(jī)界面。 (5)語(yǔ)言學(xué)：有關(guān)人的語(yǔ)言產(chǎn)生、感覺(jué)方面的知識(shí)。當(dāng)聲帶振動(dòng)發(fā)出的聲音氣流從喉腔、咽腔進(jìn)入口腔從唇腔出去時(shí)，這些聲腔完全開(kāi)放，氣流順利通過(guò)，這種音稱(chēng)為元音。 漢語(yǔ)普通話(huà)的聲調(diào)有陰平、陽(yáng)平、上聲、去聲等四種聲調(diào) (另外，有時(shí)還包括“輕聲” )，這些基本的調(diào)型在語(yǔ)句中雖然受語(yǔ)法、語(yǔ)氣的影響而有所變動(dòng)，但基 本上不改變?cè)械哪Ｊ揭徽{(diào)型。由于在發(fā)音過(guò)程中聲道是運(yùn)動(dòng)的，因此可以用一個(gè)時(shí)變線(xiàn)性系統(tǒng)來(lái)模擬。在信號(hào)的帶寬不明確時(shí)，采樣前應(yīng)接入抗混疊濾波器 (低通濾波器 )，使其帶寬限制在某個(gè)范圍內(nèi)；否則，如果采樣頻率不滿(mǎn)足采樣定理，則會(huì)產(chǎn)生混疊。當(dāng) B=7位時(shí)， SNR=35dB。所以為盡量提高 SNR，應(yīng)在 A/D 轉(zhuǎn)換之前進(jìn)行預(yù)加重。低通濾波器的截至頻率由語(yǔ)音信號(hào)帶寬決定，用于慮除高于 l/2 采樣頻率的信號(hào)成分 或噪聲，并且希望其帶內(nèi)波動(dòng)和帶外衰減特性盡可能好。幀移與幀長(zhǎng)之比一般取為 0～ 。通幫采用最多的窗函數(shù)是矩形窗、漢寧窗(Hanning)和哈明窗 (Hamming)。 圖 短時(shí)能量的方框圖表示 如果用 xw表示 x(n)經(jīng)過(guò)加窗處理后的信號(hào)，窗函數(shù)的長(zhǎng)度為 N，則短時(shí)能量可表示為： 河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū) 10 ? ?????? 1 2Nn nm wn mxE (24) 如圖 “ 0”時(shí)域波形圖和語(yǔ)音“ 0”短時(shí)能量圖。在一定程度上短時(shí)過(guò)零率可以反映出頻率的信息，在濁音段一般具有較低的過(guò)零率，而在清音段具有較高的過(guò)零率，這樣就可以初步 判斷清音和濁音，但只是相對(duì)而言，沒(méi)有精確的數(shù)值關(guān)系。短時(shí)自相關(guān)函數(shù)具有一 些性質(zhì)，如它是偶函數(shù)假設(shè)序列具有周期性，則其自相關(guān)函數(shù)也是同周期的周期函數(shù)等。即： ? ? ? ? ? ? ? ??,2,00 pp NNkknxnxnd ??????? (29) 對(duì)于實(shí)際的語(yǔ)音信號(hào)， d(n)雖不為零，但其值很小。語(yǔ)音端點(diǎn)檢測(cè)算法主要是根據(jù)語(yǔ)音的一些特征參數(shù)，短時(shí)能量、過(guò)零率等完成端點(diǎn)檢測(cè)。 利用一組濾波器來(lái)分析語(yǔ)音信號(hào)的頻譜，方法使用簡(jiǎn)單、實(shí)時(shí)性好、受外界環(huán)境的影響小。 傅立葉頻譜分析是語(yǔ)音信號(hào)頻域分析中廣泛采用的一種方法。圖 。由于充分考慮了人耳的聽(tīng)覺(jué)特性，而且沒(méi)有任何的前提假設(shè)， MFCC參數(shù)具有良好的識(shí)別性能和抗噪聲能力，但其計(jì)算量和計(jì)算精度要求高。 (2)求出頻譜平方，即能量譜，并用 M 個(gè) Mel 帶通濾波器進(jìn)行濾波；由于每一個(gè)頻帶中分量的作用在入耳中是疊加的，因此將每個(gè)濾 波器頻帶內(nèi)的能量進(jìn)行疊加，這時(shí)第 k 個(gè)濾波器輸出功率譜 X(k)。所以在孤立詞語(yǔ)音識(shí)別中， DTW算法仍得到廣泛的應(yīng)用。距離函數(shù)取決于實(shí)際采用的距離度量，在 DTW算法中通常采用歐氏距離。 DTW 是河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書(shū) 18 一個(gè)典型的最優(yōu)化問(wèn)題。 但是，如果系統(tǒng)稍微復(fù)雜一些，這種算法就顯得力不從心了。所以從七十年代后期到現(xiàn)在，雖然仍然有人應(yīng)用人工智 能的方法進(jìn)行語(yǔ)音識(shí)別，但他們很少取得成果。 人工神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別中的主要應(yīng)用，如矢量量化、分類(lèi)區(qū)分、降噪濾波、共振峰檢測(cè)等，其中用的最多的是神經(jīng)網(wǎng)絡(luò)的區(qū)分能力。但神經(jīng)網(wǎng)絡(luò)識(shí)別方法有個(gè)較大的缺點(diǎn)，就是時(shí)序性很差，沒(méi)有解決時(shí)間對(duì)準(zhǔn)問(wèn)題。因此考慮將人工神經(jīng)網(wǎng)絡(luò)與已經(jīng)發(fā)展的方法結(jié)合構(gòu)成一種混和系統(tǒng)，在這種系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)或者作為其前端進(jìn)行預(yù)處理，或者作為后端進(jìn)行后處理。這為系統(tǒng)最后給出一個(gè)穩(wěn)健的判決創(chuàng)造了條件。且模型所需要的存儲(chǔ)量和匹配計(jì)算 (包括特征矢量的輸出概率計(jì)算 )的運(yùn)算量相對(duì)較大，通常需要具有一定容量 SRAN的 DSP才能完成。用神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)觀(guān)測(cè)概率，設(shè)計(jì)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法有很多，最簡(jiǎn)單的方式就是將一幀語(yǔ)音矢量直接映射成觀(guān)察概率，網(wǎng)絡(luò)的訓(xùn)練也是一幀接一幀地進(jìn)行，這種方法就成為幀層面上的網(wǎng)絡(luò)訓(xùn)練。與傳統(tǒng)的 HMM相比，混合 HMM/ANN 模型還為融合多種語(yǔ)音特征矢量，考慮不同層次上的多種約束提供了一個(gè)非常方便的接口。在混合 HMM/ANN 中用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行聲學(xué)建模，而時(shí)域建模依賴(lài)于傳統(tǒng)的 HMM。分類(lèi)網(wǎng)絡(luò)可以用 n個(gè)輸出節(jié)點(diǎn)表示 n個(gè)類(lèi)，將輸入映射成 n類(lèi)中的一種?；旌夏Ｐ屠昧?HMM在這方面的特長(zhǎng)?；旌夏Ｐ涂朔俗畲笏迫粶?zhǔn)則(MLE)區(qū)分能力差的缺陷。因此考慮將人工神經(jīng)網(wǎng)絡(luò)與已經(jīng)發(fā)展的方法結(jié)合構(gòu)成一種混合系統(tǒng)，在這種系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)或者作為其前端進(jìn)行預(yù)處理，或者作為后端進(jìn)行后處理。 隨著語(yǔ)音識(shí)別研究工作的深入開(kāi)展， HMM 語(yǔ)音識(shí)別方法愈來(lái)愈收到人們的重視，基于HMM 技術(shù)的識(shí)別系統(tǒng)的缺點(diǎn)就在于統(tǒng)計(jì)模型的建立需要依賴(lài)一個(gè)較大的語(yǔ)音庫(kù)。這種隱含馬爾可夫模型的算法是將語(yǔ)音看成是一連串特定狀態(tài)，這種狀態(tài)是不能被直接觀(guān)測(cè)到的 (如這種狀態(tài)可以是語(yǔ)音的某個(gè)音素的特征 )，而是以某種隱含的關(guān)系與語(yǔ)音的觀(guān)測(cè)量 (或特征 )相關(guān)聯(lián)。 神經(jīng)網(wǎng)絡(luò)依靠連接權(quán)能夠進(jìn)行長(zhǎng)時(shí)間記憶和知識(shí)存儲(chǔ)，但對(duì)于輸入模式的瞬時(shí)響應(yīng)的短時(shí)記憶能力比較差。從信息處理的角度來(lái)看：一組信息的存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)內(nèi)部 是混迭在一起的，在存儲(chǔ)過(guò)程中對(duì)信息進(jìn)行了大量的加工，而絕對(duì)不是只把它們孤立地放在那里。連接權(quán)的建立是通過(guò)訓(xùn)練算法進(jìn)行的。這個(gè)系統(tǒng)應(yīng)用了“黑板模式”完成底層和頂層之間不同層次的信息交換和規(guī)則調(diào)用 ，在人工句法約束的 1000 詞表的連續(xù)語(yǔ)音識(shí)別任務(wù)中，所產(chǎn)生的語(yǔ)義誤差不大于10％，雖然從人工智能的角度看，對(duì)這個(gè)系統(tǒng)評(píng)價(jià)很高，但從語(yǔ)音識(shí)別的角度所做的評(píng)價(jià)與此相反，因?yàn)閺恼Z(yǔ)音識(shí)別的角度看，語(yǔ)音的多變性和不確定性是其固有的，一些研究者經(jīng)長(zhǎng)期研究后著重宣稱(chēng)：人們對(duì)于語(yǔ)音的最大知識(shí)就是確認(rèn)對(duì)于語(yǔ)音的無(wú)知，正是需要在這一前提下來(lái)研制具有高識(shí)別率的系統(tǒng)。 圖