【文章內(nèi)容簡介】 。 41 程序 43 程序 44 函數(shù)程序 49 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 3 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 引言 語音識(shí)別技術(shù)就是讓機(jī)器通過識(shí)別和理解過程把人類的語音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)，屬于多維 模式識(shí)別和智能計(jì)算機(jī)接口的范疇。其研究目標(biāo)是讓計(jì)算機(jī) “ 聽懂 ” 人類口述的語言 ， 這是人類自計(jì)算機(jī)誕生以來夢(mèng)寐以求的想法。隨著計(jì)算機(jī)軟硬件和信息技術(shù)的飛速發(fā)展，這種想法更加明顯，人們?cè)絹碓狡惹幸髷[脫鍵盤的束縛而代之以語音輸入這樣便于使用的、自然的、人性化的輸入方式。 語音識(shí)別起源于 20世紀(jì) 50年代 AT＆ T貝爾實(shí)驗(yàn)室的 Audry 系統(tǒng)， 它第一次實(shí)現(xiàn)了10 個(gè)英文數(shù)字的語音識(shí)別，這是語音識(shí)別研究工作的開端。 60 年代，計(jì)算機(jī)的應(yīng)用推動(dòng)了語音識(shí)別的發(fā)展。這時(shí)期的重要成果是提出了動(dòng)態(tài)規(guī)劃和線性預(yù)測(cè)分析技術(shù)（ LP），其 中后者較好地解決了語音信號(hào)產(chǎn)生模型的問題，對(duì)語音識(shí)別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。 70 年代，語音識(shí)別領(lǐng)域取得了突破。 LP 技術(shù)得到進(jìn)一步發(fā)展，動(dòng)態(tài)時(shí)間歸正技術(shù)（ DTW）基本成熟，特別是提出了矢量量化（ VQ）和隱馬爾可夫模型（ HMM）理論， 并實(shí)現(xiàn)了基于線性預(yù)測(cè)倒譜和 DTW 技術(shù)的特定人孤立語音識(shí)別系統(tǒng)。 80 年代，實(shí)驗(yàn)室語音識(shí)別研究產(chǎn)生了巨大突破，一方面各種連接詞語音識(shí)別算法被開發(fā)，例如多級(jí)動(dòng)態(tài)規(guī)劃語音識(shí)別算法；另一方面語音識(shí)別算法從模板匹配技術(shù)轉(zhuǎn)向基于統(tǒng)計(jì)模型技術(shù)，研究從微觀轉(zhuǎn)向宏觀，從統(tǒng)計(jì)的角度來建立最佳的語 音識(shí)別系統(tǒng)。進(jìn)入90 年代以后， 人工神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用成為語音識(shí)別的一條新途徑， 它具有自適應(yīng)性、并行性、非線性、魯棒性、容錯(cuò)性和學(xué)習(xí)特性，在結(jié)構(gòu)和算法上都顯示出了很大的潛力，而且還在細(xì)化模型的設(shè)計(jì)、參數(shù)提取和優(yōu)化 ,以及系統(tǒng)的自適應(yīng)技術(shù)上取得了關(guān)鍵進(jìn)展。語音識(shí)別技術(shù)進(jìn)一步成熟，語音識(shí)別系統(tǒng)從實(shí)驗(yàn)室走向?qū)嵱谩? 語音識(shí)別技術(shù)是非常重要的人機(jī)交互技術(shù)，應(yīng)用語音的自動(dòng)理解和翻譯，可消除人類相互交往的語言障礙。國外已有多種基于語音識(shí)別產(chǎn)品如聲控?fù)芴?hào)電話、語音記事本等已經(jīng)應(yīng)用，基于特定任務(wù)和環(huán)境的聽寫機(jī)也已經(jīng)進(jìn)入應(yīng)用 階段，這預(yù)示著語音識(shí)別技術(shù)有著非常廣泛的應(yīng)用領(lǐng)域和市場(chǎng)前景。隨著語音技術(shù)的進(jìn)步和通信技術(shù)的飛速發(fā)展，語音識(shí)別技術(shù)將為網(wǎng)上會(huì)議、商業(yè)管理、醫(yī)藥衛(wèi)生、教育培訓(xùn)等各個(gè)領(lǐng)域帶來極大的便利。 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 4 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 第一章 語音識(shí)別簡介 語音識(shí)別的研究歷史及現(xiàn)狀 語音識(shí)別的研究工作始于 20 世紀(jì) 50 年代， 1952 年 Bell實(shí)驗(yàn)室開發(fā)的 Audry 系統(tǒng)是第一個(gè)可以識(shí)別 10 個(gè)英文數(shù)字的語音識(shí)別系統(tǒng)。 1959 年， Rie 和 Fe 采用數(shù)字計(jì)算機(jī)識(shí)別英文元音和孤立詞，從此開始了計(jì)算機(jī)語音識(shí)別。 60 年代，蘇聯(lián)的 Matin 等提出了語音結(jié)束點(diǎn)的端點(diǎn)檢測(cè)，使語音識(shí)別水平明顯上升； Vintsyuk 提出了動(dòng)態(tài)編程，這一提法在以后的識(shí)別中不可或缺。 60 年代末、 70 年代初的重要成果是提出了信號(hào)線性預(yù)測(cè)編碼 (LPC)技術(shù)和動(dòng)態(tài)時(shí)間規(guī)整 (DTW)技術(shù)，有效地解決了語音信號(hào)的特征提取和不等長語音匹配問題 ； 同時(shí)提出了矢量量化 (VQ)和隱馬爾可夫模型 (HMM)理論。 80 年代語音識(shí)別研究進(jìn)一步走向深入： HMM 模型和人工神經(jīng)網(wǎng)絡(luò) (ANN)在語音識(shí)別中成功應(yīng)用。 1988 年， FULEE Kai 等用 VQ/IIMM 方法實(shí)現(xiàn)了 997 個(gè)詞匯的非特定 人連續(xù)語音識(shí)別系統(tǒng) SPHINX。這是世界上第 1 個(gè)高性能的非特定人、大詞匯量、連續(xù)語音識(shí)別系統(tǒng)。 進(jìn) 入 90 年代后，語音識(shí)別技術(shù)進(jìn)一步成熟，并開始向市場(chǎng)提供產(chǎn)品。許多發(fā)達(dá)國家如美國、日本、韓國以及 IBM、 Apple、 ATamp。T、 Microsoft 等公司都為語音識(shí)別系統(tǒng)的實(shí)用化開發(fā)研究投以巨資。同時(shí)漢語語音識(shí)別也越來越受到重視。 IBM 開發(fā)的 ViaVoice 和 Microsoft 開發(fā)的中文識(shí)別引擎都具有了相當(dāng)高的漢語語音識(shí)別水平。 進(jìn)入 21 世紀(jì)，隨著消費(fèi)類電子產(chǎn)品的普及 ， 嵌入式語音處理技術(shù)發(fā)展迅速?；谡Z音識(shí)別 芯片的嵌入式產(chǎn)品也越來越多，如 Sensory 公司的 RSC 系列語音識(shí)別芯片、 Infineon 公司的 Unispeech 和 Unilite 語音芯片等，這些芯片在嵌入式硬件開發(fā)中得到了廣泛的應(yīng)用。在軟件 上，目前比較成功的語音識(shí)別軟件 有： Nuance、 IBM 的 Viavoice 和 Microsoft 的 SAPI 以及開源軟件 HTK，這些軟件都是面向非特定 人 大詞匯量的連續(xù)語音識(shí)別系統(tǒng)。 我國語音識(shí)別研究一直緊跟國際水平，國家也很重視。國內(nèi)中科院的自動(dòng)化所、聲學(xué)所以及清華大學(xué)等科研機(jī)構(gòu)和高校都在從事語音識(shí)別領(lǐng)域的研究和開發(fā)。 國家 863 智能計(jì)算機(jī)專家組為語音識(shí)別技術(shù)研究專門立項(xiàng)，并取得了高水平的科研成果。我國中科院自動(dòng)化所研制的非特定人、連續(xù)語音聽寫系統(tǒng)和漢語語音人機(jī)對(duì)話 系統(tǒng)，其準(zhǔn)確率和系統(tǒng)響應(yīng)率均可達(dá) 90%以上。 語音識(shí)別系統(tǒng)的分類 語音識(shí)別系統(tǒng)可以根據(jù)對(duì)輸入語音的限制加以分類。如果從說話者與識(shí)別系統(tǒng)的相關(guān)性考慮，可以將識(shí)別系統(tǒng)分為三類：（ 1）特定人語音識(shí)別系統(tǒng)。僅考慮對(duì)于專人的話音進(jìn)行識(shí)別。（ 2）非特定人語音系統(tǒng)。識(shí)別的語音與人無關(guān)，通常要用大量不同 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 5 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 人的語音數(shù)據(jù)庫對(duì)識(shí)別系統(tǒng)進(jìn)行學(xué)習(xí)。（ 3）多人的識(shí)別系統(tǒng)。通常能識(shí) 別一組人的語音，或者成為特定組語音識(shí)別系統(tǒng)，該系統(tǒng)僅要求對(duì)要識(shí)別的那組人的語音進(jìn)行訓(xùn)練。 如果從說話的方式考慮，也可以將識(shí)別系統(tǒng)分為三類：（ 1）孤立詞語音識(shí)別系統(tǒng)。孤立詞識(shí)別系統(tǒng)要求輸入每個(gè)詞后要停頓。（ 2）連接詞語音識(shí)別系統(tǒng)。連接詞輸入系統(tǒng)要求對(duì)每個(gè)詞都清楚發(fā)音，一些連音現(xiàn)象開始出現(xiàn)。（ 3）連續(xù)語音識(shí)別系統(tǒng)。連續(xù)語音輸入是自然流利的連續(xù)語音輸入，大量連音和變音會(huì)出現(xiàn)。 如果從識(shí)別系統(tǒng)的詞匯量大小考慮，也可以將識(shí)別系統(tǒng)分為三類：（ 1）小詞匯量語音識(shí)別系統(tǒng)。通常包括幾十個(gè)詞的語音識(shí)別系統(tǒng)。（ 2）中等詞 匯量的語音識(shí)別系統(tǒng)。通常包括幾百個(gè)詞到上千個(gè)詞的識(shí)別系統(tǒng)。（ 3）大詞匯量語音識(shí)別系統(tǒng)。通常包括幾千到幾萬個(gè)詞的語音識(shí)別系統(tǒng)。隨著計(jì)算機(jī)與數(shù)字信號(hào)處理器運(yùn)算能力以及識(shí)別系統(tǒng)精度的提高，識(shí)別系統(tǒng)根據(jù)詞匯量大小進(jìn)行分類也不斷進(jìn)行變化。目前是中等詞匯量的識(shí)別系統(tǒng)，將來可能就是小詞匯量的語音識(shí)別系統(tǒng)。這些不同的限制也確定了語音識(shí)別系統(tǒng)的困難度。 語音識(shí)別系統(tǒng)的基本原理 目 前，大多數(shù)語音識(shí)別系統(tǒng)都采用了模式匹配的原理。根據(jù)這個(gè)原理，未知語音的模式要與已知語音的參考模式逐一進(jìn)行比較，最佳匹配的參考模式被作為識(shí)別結(jié)果。圖 11 是基于模式匹配原理的自動(dòng)語音識(shí)別系統(tǒng)方框圖。 圖 11 語音識(shí)別原理圖 該圖中， 待識(shí)別語音先經(jīng)話筒變換成語音信號(hào)，然后從識(shí)別系統(tǒng)前端輸入，再進(jìn)行預(yù)處理。預(yù)處理包括語音信號(hào)采樣、反混疊帶通濾波、去除個(gè)體發(fā)音差異和設(shè)備、環(huán)境引起的噪聲影響等，并涉及到語音識(shí)別基元的選取和端點(diǎn)檢測(cè)問題，有時(shí)還包括模數(shù)轉(zhuǎn)換器。特征提取部分用于提取語音中反映本質(zhì)特征的聲學(xué)參數(shù)，常用的特征有短時(shí)平均能量或幅度、短時(shí)平均跨零率、短時(shí)自相關(guān)函數(shù)、線性預(yù)測(cè)系數(shù)、清音 /濁音標(biāo)志、基音頻率、短時(shí)傅立葉變換、倒譜、共振峰等。訓(xùn)練在識(shí)別之前進(jìn)行， 是通過讓講話者多次重復(fù)語音，從原始語音樣本中去除冗余信息，保留關(guān)鍵數(shù)據(jù)，再按語音輸入 預(yù)處理 特征提取 模式匹配 判別規(guī)則 模板庫 訓(xùn)練練 識(shí)別 識(shí)別結(jié)果 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 一定規(guī)則對(duì)數(shù)據(jù)加以聚類，形成模式庫。模式匹配是整個(gè)語音識(shí)別系統(tǒng)的核心，是根據(jù)一定的準(zhǔn)則以及專家知識(shí)（例如構(gòu)詞規(guī)則、語法規(guī)則、語義規(guī)則等），計(jì)算輸入特征與庫存模式之間的相似度，判斷出輸入語音的語意信息 ，斷定相似度最高的模板為輸入的語音信息 。 所以，模板庫的 廣大和清晰度是衡量模板庫的兩個(gè)標(biāo)準(zhǔn)。清晰度和廣泛度越高的模板庫可以更好的提高語音識(shí)別的準(zhǔn)確率。 語音識(shí) 別的基本構(gòu)成 語音識(shí)別系統(tǒng)的典型實(shí)現(xiàn)方案為：輸入的模擬語音信號(hào)首先要進(jìn)行預(yù)處理，包括預(yù)濾波，采樣和量化，加窗，端點(diǎn)處理，預(yù)加重等。語音信號(hào)經(jīng)過預(yù)處理后，重要的一環(huán)就是特征參數(shù)的提取。對(duì)特征參數(shù)的要求是： 1) 提取的特征參數(shù)能有效的代表語音特征，具有良好的區(qū)分性。 2) 各階參數(shù)具有良好的區(qū)分性。 3) 特征參數(shù)要計(jì)算方便，最好有高效的計(jì)算方法，以保證語音識(shí)別的實(shí)時(shí)實(shí)現(xiàn)。 在訓(xùn)練階段，將特征參數(shù)進(jìn)行預(yù)處理后，每個(gè)詞條都得到一個(gè)模型，保存為模板庫。在識(shí)別階段，語音喜好經(jīng)過相同的通道的到語音參數(shù)，生成測(cè)試模板，與參考模板進(jìn)行匹 配，將匹配分?jǐn)?shù)最高的模板作為識(shí)別結(jié)果，同時(shí)，還可以在許多先驗(yàn)知識(shí)的幫助下，提高準(zhǔn)確率。 語音識(shí)別的幾種基本方法 語音識(shí)別方法主要有動(dòng)態(tài)時(shí)間歸正技術(shù) （ DTW） 、 矢量量化技術(shù) （ VQ） 、 隱馬爾可夫模型 （ HMM） 、 基于段長分布的非齊次隱含馬爾可夫模型 （ Duration Distribution Based Hidden Markov Model， DDBHMM） 和人工神經(jīng)元網(wǎng)絡(luò) （ ANN） 。 DTW和 VQ DTW 是較早的一種模式匹配和模型訓(xùn)練技術(shù) ， 它應(yīng)用動(dòng)態(tài)規(guī)劃方法成功解決了語音信號(hào)特征參數(shù)序列比 較時(shí)時(shí)長不等的難題 ， 在孤立詞語音識(shí)別中獲得了良好 性能 。 但因其不適合連續(xù)語音大詞匯量語音識(shí)別系統(tǒng) ， 目前已被 HMM 模型和 ANN 代替 。 VQ 技術(shù)從訓(xùn)練語音提取特征矢量 ， 得到特征矢量集 ， 通過 LBG 算法生成碼本 ，在識(shí)別時(shí)從測(cè)試語音提取特征矢量序列 ， 把它們與各個(gè)碼本進(jìn)行匹配 ， 計(jì)算各自的平均量化誤差 ， 選擇平均量化誤差最小的碼本 ， 作為被識(shí)別的語音 。 但同樣只適用孤立詞而不適合連續(xù)語音大詞匯量語音識(shí)別 。 HMM模型 HMM 模型是語音信號(hào)時(shí)變特征的有參表示法，它由相互關(guān)聯(lián)的兩個(gè)隨機(jī)過程共同描述信號(hào)的統(tǒng)計(jì)特性 ，其中一個(gè)是隱蔽的（不可觀測(cè)的）具有有限狀態(tài)的 Markov 鏈，另一個(gè)是與 Markov 鏈的每一狀態(tài)相關(guān)聯(lián)的觀察矢量的隨機(jī)過程（可觀測(cè)的）。隱蔽Markov鏈的特征要靠可觀測(cè)到的信號(hào)特征揭示。這樣，語音時(shí)變信號(hào)某一段的特征就 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 7 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 由對(duì)應(yīng)狀態(tài)觀察符號(hào)的隨機(jī)過程描述， 而信號(hào)隨時(shí)間的變化由隱蔽 Markov 鏈的轉(zhuǎn)移概率描述。模型參數(shù)包括 HMM 拓?fù)浣Y(jié)構(gòu)、狀態(tài)轉(zhuǎn)移概率及描述觀察符號(hào)統(tǒng)計(jì)特性的一組隨機(jī)函數(shù)。按照隨機(jī)函數(shù)的特點(diǎn)， HMM 模型可分為離散隱馬爾可夫模型（采用離散概率密度函數(shù)，簡稱 DHMM）和連續(xù)隱馬爾可夫模型（ 采用連續(xù)概率密度函數(shù)，簡稱 CHMM）以及半連續(xù)隱馬爾可夫模型（ SCHMM）。一般來講， 在訓(xùn)練數(shù)據(jù)足夠的情況下， CHMM 優(yōu)于 DHMM 和 SCHMM。 HMM 模型統(tǒng)一了語音識(shí)別中聲學(xué)層和語音學(xué)層的算法結(jié)構(gòu)，以概率的形式將聲學(xué)層中得到的信息和語音學(xué)層中已有的信息完美地結(jié)合在一起，極大地增強(qiáng)了連續(xù)語音識(shí)別的效果。 改進(jìn)的 HMMDDBHMM 王作英教授提出了一個(gè)基于段長分布的非齊次隱含馬爾可夫模型 DDBHMM， 以此理論為指導(dǎo)所設(shè)計(jì)的語音識(shí)別聽寫機(jī)系統(tǒng)在 1998 年的全國語音識(shí)別系統(tǒng)評(píng)測(cè)中取得冠 軍，從而顯示了這一新模型的生命力和在這一研究領(lǐng)域內(nèi)的領(lǐng)先水平。 語音學(xué)的研究表明，語音單位在詞中的長度有一個(gè)相對(duì)平穩(wěn)的分布。正是這種狀態(tài)長度分布的相對(duì)平穩(wěn)性破壞了 HMM 模型的齊次性結(jié)構(gòu)，而王作英教授提出 的 DDBHMM模型解決了這一缺陷。它是一個(gè)非齊次的 HMM 語音識(shí)別模型，從非平穩(wěn)的角度考慮問題 ， 用狀態(tài)的段長分布函數(shù)替代了齊次 HMM 中的狀態(tài)轉(zhuǎn)移矩陣，徹底拋棄了 “平穩(wěn)的假設(shè) ”，使模型成為一種基于狀態(tài)段長分布的隱含 Markov模型。段長分布函數(shù)的引入澄清了經(jīng)典 HMM 語音識(shí)別模型的許多矛盾 ， 這使得 DDBHMM比國 際 上流行的 HMM 語音識(shí)別模型有更好的識(shí)別性能和更低的計(jì)算復(fù)雜度（訓(xùn)練算法比流行的Baum 算法復(fù)雜度低兩個(gè)數(shù)量級(jí)）。由于該模型解除了對(duì)語音信號(hào)狀態(tài)的齊次性和對(duì)語音特征的非相關(guān)性的限制，因此為語音識(shí)別研究的深入發(fā)展提供了一個(gè)和諧的框架。 人工神經(jīng)元網(wǎng)絡(luò)（ ANN） 人工神經(jīng)元網(wǎng)絡(luò)在語音識(shí)別中的應(yīng)用是現(xiàn)在研究的又一熱點(diǎn)。 ANN本質(zhì)上是一個(gè)自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，模擬了人類神經(jīng)元活動(dòng)的原理，具有自學(xué)、聯(lián)想、對(duì)比、推理和概括能力 。 這些能力是 HMM 模型不具備的 ， 但 ANN又不具有 HMM 模型的動(dòng)態(tài)時(shí) 間歸正性能。因此 ， 人們嘗試研究基于 HMM 和 ANN 的混合模型，把二者的優(yōu)點(diǎn)有機(jī)結(jié)合起來，從而提高整個(gè)模型的魯棒性，這也是現(xiàn)在研究的一個(gè)熱點(diǎn)。 語音識(shí)別技術(shù)面臨的技術(shù)難點(diǎn)及對(duì)策 語音識(shí)別面臨的主要困難是理論上沒有突破，雖然各種新的修正方法不斷涌現(xiàn)，但其普遍適用性都值得商榷。另外，語音識(shí)別系統(tǒng)在商品化的進(jìn)程中還要解決諸如識(shí)別速度、拒識(shí)問題以及關(guān)鍵詞（句）檢測(cè)等具體問題，主要表現(xiàn)在兩個(gè)方面：一是對(duì)環(huán)境的依賴性強(qiáng)。語音識(shí)別系統(tǒng)在某些環(huán)境下采集的語音進(jìn)行訓(xùn)練后，必須在相同的環(huán)境下進(jìn)行識(shí)別，否則性能急劇下降， 例如自適應(yīng)性差，最近凸現(xiàn)出的方言或口音、 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 50 頁 第 8 頁 ┊