【正文】 l,the extraction of characteristic parameters the training of the recognition template,identifying matching algorithm。研究語(yǔ)音識(shí)別，開(kāi)發(fā)相應(yīng)的產(chǎn)品有著廣泛的社會(huì)意義和經(jīng)濟(jì)意義。 Bell實(shí)驗(yàn)室的 S． Pruzansky提出了模版匹配和概率統(tǒng)計(jì)方差分析的聲紋識(shí)別方法，形成了聲紋識(shí)別研究的一個(gè)高潮。另一個(gè)重要發(fā)展是語(yǔ)音識(shí)別算法從模板匹配技術(shù)轉(zhuǎn)向基于統(tǒng)計(jì)模型技術(shù)。 IBM、 Microsoft、 Lamp。日本也先 后在語(yǔ)音識(shí)別領(lǐng)域大展頭角，還有如 Philips公司開(kāi)發(fā)的 Speech— Media和 Speech Pearl兩套軟件，涵蓋了自然語(yǔ)音識(shí)別與理解的對(duì) 話系統(tǒng)。漢語(yǔ)語(yǔ)音識(shí)別研究已經(jīng)走上組織化的道路。 經(jīng)過(guò)幾十年的發(fā)展和摸索，人們終于在實(shí)驗(yàn)室突破了大詞匯量、連續(xù)語(yǔ)音和非特定人這三大障礙，第一次把這三個(gè)特性一起集中于一個(gè)系統(tǒng)中，并以此確定了統(tǒng)計(jì)方法和模型在語(yǔ)音識(shí)別和語(yǔ)音處理中的主流地位。 語(yǔ)音識(shí)別系統(tǒng)的分類 語(yǔ)音識(shí)別是近年來(lái)十分活躍的一個(gè)研究領(lǐng)域。孤立詞識(shí)別是指說(shuō)話人每次只說(shuō)一個(gè)詞或短語(yǔ)，每個(gè)詞或短語(yǔ)在詞匯表中都算作一個(gè)詞條，一般用在語(yǔ)音電話撥號(hào)系統(tǒng)中。 從識(shí)別對(duì)象的類型來(lái)看，語(yǔ)音識(shí)別可以分為特定人 (Speaker Dependent)語(yǔ)音識(shí)別和非特定人 (Speaker Independent)語(yǔ)音識(shí) 別。目前的連續(xù)語(yǔ)音識(shí)別大多是基于 HMM(隱馬爾可夫模型 )框架，并將聲學(xué)、語(yǔ)言學(xué)的知識(shí)統(tǒng)一引入來(lái)改善這個(gè)框架，其硬件平臺(tái)通常是功能強(qiáng)大的工作站或 PC機(jī)。 2，各階參數(shù)之間有良好的獨(dú)立性。同時(shí) 還可以在很多先驗(yàn)知識(shí)的幫助下，提高識(shí)別的準(zhǔn)確率。 首先，帶口音 (Dialect)語(yǔ)音的識(shí)別。而對(duì)于口音的適應(yīng)性首先是由聲學(xué)模型本身的品質(zhì)決定的。優(yōu)化過(guò)程對(duì)所有系統(tǒng)的表現(xiàn)都會(huì)有提高，也可以解決小范圍的口音問(wèn)題。它將破壞原始語(yǔ)音的頻譜，或者把原始語(yǔ)音部分或全部掩蓋掉，造成識(shí)別率下降。在這方面， Nuance優(yōu)化的語(yǔ)音參數(shù)、靈活的模型結(jié)構(gòu)、新 的建模方法以及獨(dú)有的噪音抑制功能，使得系統(tǒng)在背景環(huán)境噪聲、手機(jī)、車載免提等高噪音環(huán)境下能保持良好的工作狀況。語(yǔ)音識(shí)別技術(shù)的最終目的是要讓用戶在“人機(jī)對(duì)話”的時(shí)候，能夠像進(jìn)行“人人對(duì)話”一樣自然。例如，“我對(duì)我的手機(jī)上的一些功能不太明白，想問(wèn)一下”，或者“嗯，我的賬單應(yīng)該到期了，請(qǐng)幫我查一下要交多少錢”。語(yǔ)音作為當(dāng)前通訊系統(tǒng)中最自 然的通信媒介，隨著計(jì)算機(jī)和語(yǔ)音處理技術(shù)的發(fā)展，不同語(yǔ)種之間的語(yǔ)音翻譯將成為語(yǔ)音研究的熱點(diǎn)。 一位業(yè)界的資深人士對(duì) IT產(chǎn)業(yè)發(fā)展的提出的八大預(yù)言之一即為：語(yǔ)音成為 新人機(jī)界面。 另外，語(yǔ)音識(shí)別是一門交叉學(xué)科， 語(yǔ)音識(shí)別技術(shù)關(guān)系到多學(xué)科的研究領(lǐng)域，在不同領(lǐng)域上的進(jìn)步都會(huì)促進(jìn)語(yǔ)音識(shí)別的發(fā)展。 (4)信息理論和計(jì)算機(jī)科學(xué)：各種算法的研究、快速搜索查找匹配的方法。 二、語(yǔ)音信號(hào)分析 語(yǔ)音學(xué)知識(shí) 在連續(xù)數(shù)字語(yǔ)音識(shí)別過(guò)程中，為了提高連續(xù)數(shù)字匹配搜索算法的有效性以及數(shù)字的識(shí)別率，必須要將對(duì)數(shù)字語(yǔ)音的研究細(xì)化到語(yǔ)音學(xué)的層次上，包括對(duì)各數(shù)字的音素和音節(jié)的特性和各數(shù)字的聲調(diào)進(jìn)行深入研究。 音節(jié)是由音素結(jié)合而成的發(fā)聲最小單位，一個(gè)音節(jié)由“元音”和“輔音”構(gòu)成。發(fā)音時(shí)呼出的氣流，由于通路的某一部分封閉起來(lái)或受到阻礙， 氣流被阻不能暢通，而克服發(fā)音器官的這種阻礙而產(chǎn)生的音素稱為輔音。所以，在漢語(yǔ)的相互交談中，不但要憑借不同的元音和輔音來(lái)辨別這些字或詞的意義，還需要從不同的聲調(diào)來(lái)區(qū)別它，也就是說(shuō)聲調(diào)有辨義作用。不同聲調(diào)的聲調(diào)曲線的開(kāi)始段稱為彎頭段，呈共同上升走向；末尾一段呈共同下降走向，稱為降尾段；而中間一段具有不同的特點(diǎn)，這一段稱為調(diào)型段。 河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 6 圖 聲調(diào)的四種模式 語(yǔ)音信號(hào)是聲道被激勵(lì)發(fā)生共振而產(chǎn)生的輸出。它包括激勵(lì)模型、聲道模型、和輻射模型。在實(shí)際語(yǔ)音信號(hào)處理中，采樣頻率通常為 7～ 10kHz。量化后的信號(hào)值與原始信號(hào)之間的差值為量化誤差，又稱為量化噪聲。上式表明，量化器中每位字長(zhǎng)對(duì) SNR貢獻(xiàn)為 6dB。為了在語(yǔ)音信號(hào)變化范圍內(nèi)保持 35dB 的信噪比，常用 12 位來(lái)量化，其中附加的 5 位用于補(bǔ)償 30dB左右的輸入動(dòng)態(tài)范圍變化。這樣，不僅能夠進(jìn)行預(yù)加重，而且可以壓縮信號(hào)的動(dòng)態(tài)范圍，有效地提高信噪比。 加重的信號(hào)在分析處理后，需要進(jìn)行去加重處理，即加上 6dB/oct的下降的頻率特性來(lái)還原成原來(lái)的特性。如果頻率干擾 (50或 60Hz)不嚴(yán)重或另有抗干擾措施，則不必用帶通濾波器而只用低通濾波器即可。 已經(jīng)數(shù)字化的語(yǔ)音信號(hào)序列將被依次存入一個(gè)數(shù)據(jù)區(qū)。在河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 9 取數(shù)據(jù)時(shí)，前一幀與后一幀的交疊部分稱為幀移。分幀既可連續(xù)，也可采用交疊分段的方法，用可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)的方法來(lái)實(shí)現(xiàn)。其一般式為 ????? ??? mn mnwmxTQ )()]([，其中T[*]表示某種運(yùn)算 {x(m)}為輸入信號(hào)序列。然而，不同人的基音周期變化范圍很大，從女性兒童的 2ms到老年男子的 14ms(即基音頻率為 50～ 70Hz)，所以 L 的選擇比較困難?？梢钥闯觯虝r(shí)能量可以看作語(yǔ)音信號(hào)的平方經(jīng)過(guò)一個(gè)線性濾波器的輸出，該線性濾波器的單位沖激響應(yīng)為 h(n)，如圖 。 短時(shí)能量由于是對(duì)信號(hào)進(jìn)行平方運(yùn)算，因而認(rèn)為增加了高低信號(hào)之間的差距，因此要采用短時(shí)平均幅度來(lái)表示能量的變化，其公式為： ? ? ? ? ? ??? ?? ????? ??? 1Nn nm wmn mxmnwmxM (25) 如圖 “ 0”的短時(shí)平均幅度圖。對(duì)于離散信號(hào)，它實(shí)質(zhì)上是信號(hào)采樣點(diǎn)符號(hào)變化的次數(shù)。于是有： ? ?? ? ? ?? ?? ?? ? ? ?? ? ? ?????? ??????????? ????? ?????mn mnwTmxTmxTmxTmxz1s g ns g n1s g ns g n21 (27) 另外，可以將短時(shí)平均過(guò)零率和短時(shí)能量結(jié)合起來(lái)判斷語(yǔ)音起止點(diǎn)的位置，即進(jìn)行端點(diǎn)檢測(cè)。 河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 12 圖 語(yǔ)音信號(hào)“ 0”的短時(shí)平均過(guò)零率 語(yǔ)音信號(hào) xw(n)的短時(shí)自相關(guān)函數(shù) Rn(k)的計(jì)算式如下： ? ? ? ? ? ? ? ?KkmxmxkR nkNm nn ???? ??? 010 (28) 這里 K 是最大的延遲點(diǎn)數(shù)。但是，計(jì)算自相關(guān)函數(shù)的運(yùn)算量很大，其原因是乘法運(yùn)算所需要的時(shí)間較長(zhǎng)。 )，則相距為周期的整數(shù)倍的樣點(diǎn)上的幅值是相等的，差值為零。如圖 ，對(duì)于周期性的 x(n)， Fn(k)也呈現(xiàn)周期性。正確確定語(yǔ) 音端點(diǎn)也會(huì)減少系統(tǒng)的計(jì)算量和存儲(chǔ)量。 多門限過(guò)零率前端檢測(cè)算法是設(shè)多個(gè)高低不同的門限。因此，對(duì)語(yǔ)音信號(hào)進(jìn)行頻譜分析，是認(rèn)識(shí)語(yǔ)音信號(hào)和處理語(yǔ)音信號(hào)的的重要方法。寬帶帶通濾波器具有平坦 性，用它可以粗略地求取語(yǔ)音的頻譜，其頻率分辨率降低，相當(dāng)于短時(shí)處理時(shí)窗寬較窄的那種情況。這種信號(hào)可以輸入計(jì)算機(jī)進(jìn)行各種分析和處理。由于語(yǔ)音信號(hào)的特性是隨著時(shí)間緩慢變化的，由此引出語(yǔ)音信號(hào)的短時(shí)分析。 短時(shí)功率譜實(shí)際上是短時(shí)傅立葉變換幅度的平方，它是信號(hào) x(n)的短時(shí)自相關(guān)函數(shù)的傅立葉變換，即 ? ? ? ? ? ???????? k jwnjwnjwn kekReXeP 2 (213) 式中 Rn（ k）是自相關(guān)函數(shù)。 語(yǔ)音信號(hào)的倒譜與 LPC系數(shù)之間的遞推關(guān)系 : ? ?? ? ? ?? ? ? ?pnpnkncanknckncankancacpkknkkn ????????????????????? ????????? ?????????1,1111111 (214) 或是由 LPC得到 ? ? ? ? ? ? ? ?kCknCn knnCnC L P CL P C CnkL P CL P C C ???? ??? 11 (215) 根據(jù)同態(tài)處理的概念和語(yǔ)音信號(hào)產(chǎn)生的模型，語(yǔ)音信號(hào)的倒譜 c(n)等于激勵(lì)信號(hào)的倒河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 16 譜 ??ne? 與聲道傳輸函數(shù)的倒譜 ??hh? 之和。 Mel頻率倒譜系數(shù) 美爾頻標(biāo)倒譜系數(shù) (Mel Frequency Cepstrum Coefficient， MFCC)考慮了人耳的聽(tīng)覺(jué)特性，將頻譜轉(zhuǎn)化為基于 Mel 頻標(biāo)的非線性頻譜，然后轉(zhuǎn)換到倒譜域上。 MFCC是采用濾波器組的方法計(jì)算出來(lái)的，這組濾波器在頻率的美爾坐標(biāo)上是等寬的。在實(shí)際應(yīng)用中， MFCC倒譜系數(shù)計(jì)算過(guò)程如下： (1)將信號(hào)進(jìn)行分幀，預(yù)加重和加哈明窗處理，然后進(jìn)行短時(shí)傅立葉變換并得到其頻譜。得到相應(yīng)的動(dòng)態(tài)特征。用于孤立詞識(shí)別， DTW 算法與 HMM 算法在相同的環(huán)境條件下，識(shí)別效果相差不大，但 HMM算法要復(fù)雜得多，主要體現(xiàn)在 HMM 算法在訓(xùn)練階段需要提供大量的語(yǔ)音數(shù)據(jù)，通過(guò)反復(fù)計(jì)算才能得到模型參數(shù)，而 DTW 算法的訓(xùn)練中 幾乎不需要額外的計(jì)算。所要識(shí)別的一個(gè)輸入詞條語(yǔ)音稱為測(cè)試模板，可表示為 ,為測(cè)試語(yǔ)音幀的時(shí)序標(biāo)號(hào)， n=1為起點(diǎn)語(yǔ)音幀， n=N為終點(diǎn)語(yǔ)音幀，因此 N為該模板所包含的語(yǔ)音幀總數(shù)， T(n)為第 n幀的語(yǔ)音特征矢量。設(shè) n和 m 分別是T 和 R 中任意選擇的幀號(hào)， d[T(n),R(m)]表示這兩幀之間的距離。 (2)輸入語(yǔ)音特征矢量序列為 Nbbb , 21 ? ，如果 M≠ N，那么 DTW 算法就是要尋找時(shí)間規(guī)正函數(shù) m=w(n)，它把輸入模板的時(shí)間軸療非線性的映射到參考模板的時(shí)間軸 m，并且該 w滿足： ? ? ? ?? ????Nnnw nwndD 1 ,m in (31) 式中， d[n,w(n)]是第 n幀輸入矢量和第 m幀參考矢量的 距離， D是相應(yīng)于最優(yōu)時(shí)間規(guī)正下二模板的距離測(cè)度。因而更多地是采用動(dòng)態(tài)規(guī)劃 (DP)的方法。但它沒(méi)有一個(gè)有效的用統(tǒng)計(jì)方法進(jìn)行訓(xùn)練的框架。其系統(tǒng)開(kāi)銷小，識(shí)別速度快，在對(duì)付小詞匯量的語(yǔ)音命令控制系統(tǒng)中是一個(gè)非常有效的算法。語(yǔ)音學(xué)家通過(guò)研究不同語(yǔ)音的語(yǔ)譜及其變化后發(fā)現(xiàn)，雖然不同的人說(shuō)同一些語(yǔ)音時(shí)，相應(yīng)的語(yǔ)譜機(jī)器變化種種差異，但是總有一些共同的特點(diǎn)足以使他們區(qū)分于其他語(yǔ)音，這些特點(diǎn)就是語(yǔ)音學(xué)家提出的“區(qū)別性特征 (Distinctive Feature)”。知識(shí)和規(guī)則的方法之所以很難取得更大的進(jìn)展，既由于語(yǔ)音的多變，又由于規(guī)則的難以搜集完備，還有執(zhí)行規(guī)則的算法難以高效運(yùn)行。著名的神經(jīng)網(wǎng)絡(luò)研究專家 Hecht— Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過(guò)對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理”。神經(jīng)網(wǎng)絡(luò)之所以能吸引眾多研究人員的興趣，在于它具有一系列傳統(tǒng)的數(shù)字計(jì)算機(jī)系統(tǒng)及線性網(wǎng)絡(luò)所沒(méi)有的優(yōu)點(diǎn)。 在基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別方法中，系統(tǒng)參數(shù)就是整個(gè)神經(jīng)網(wǎng)絡(luò)的權(quán)值所構(gòu)成的集合，這些權(quán)值是針對(duì)全部待識(shí)別的語(yǔ)音基元，經(jīng)過(guò)大量訓(xùn)練學(xué)習(xí)而建立的，是語(yǔ)音特征在系統(tǒng)中的一種映射。信息存儲(chǔ)和信息處理二者密不可分，信息處理過(guò)程同人腦一樣，如同一個(gè)黑箱。在靜態(tài)識(shí)別中，神經(jīng)網(wǎng)絡(luò)一次輸入整個(gè)待識(shí)的語(yǔ)音特征矢量序列，然后做出一個(gè)判決。語(yǔ)音信號(hào)是一種典型的動(dòng)態(tài)模式序列，前后幀之間的 時(shí)間相關(guān)性非常強(qiáng)，所以要將神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別，必須解決好瞬時(shí)輸出的記憶問(wèn)題。目前所能見(jiàn)到的各種性能優(yōu)良的連續(xù)語(yǔ)音識(shí)別系統(tǒng)幾乎無(wú)一例外地采用了這種模型。而這種隱含關(guān)系在 HMM 模型中通常以概率形式表現(xiàn)出來(lái)，模型的輸出結(jié)果也以概率形式給出。圖 為一個(gè)基于 HMM的語(yǔ)音識(shí)別流程圖。這在實(shí)際工作中占有很大的工作量。段長(zhǎng)分布函數(shù)的引入澄清了經(jīng)典 HMM語(yǔ)音識(shí)別模的許多矛盾， DDBHMM比國(guó)際上流行的 HMM語(yǔ)音識(shí)別模型有更好的識(shí)別性能和更低的計(jì)算復(fù)雜度 (訓(xùn)練算法比較流行的 Baum算法復(fù)雜度低兩個(gè)數(shù)量級(jí) )。 ANN 和 HMM 可以以不同的方式進(jìn)行結(jié)合，如 ANN 直接實(shí)現(xiàn) HMM，兩者在幀層面上的結(jié)合，語(yǔ)音層面上的結(jié)合， 音段層面的結(jié)合和子層面上的結(jié)合等方式，而 HMM和 ANN 混合模型的結(jié)合，即能優(yōu)化 HMM 模型，又能充分利用每一種技術(shù)的長(zhǎng)處： HMM 的時(shí)間建模和 ANN河南理工大學(xué)畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 22 的聲學(xué)建模，特別是用神經(jīng)網(wǎng)絡(luò)計(jì)算 HMM 狀態(tài)的觀測(cè)概率。這個(gè)方法的缺點(diǎn)是必須先對(duì)語(yǔ)音進(jìn)行分段，神經(jīng)網(wǎng)絡(luò)才能對(duì)分出的各個(gè)音段進(jìn)行計(jì)算。而且在系統(tǒng)體系上又保持了 HMM的框架，所以混合 HMM/ANN模型是 HMM 和 ANN兩種模型的有機(jī)結(jié)合，具有 明確的數(shù)學(xué)和物理意義。 (3)分類神經(jīng)網(wǎng)絡(luò)的輸出端可以逼近任意形式的概率分布 函數(shù)，它能很好地掌握蘊(yùn)含在訓(xùn)練數(shù)據(jù)中的概率分布特性，所以能夠較真實(shí)地描述語(yǔ)音信號(hào)的概率分布特性。 所以混合模型在系統(tǒng)框架上保持了傳統(tǒng) HMM的框架，而局部功能模塊如：概率估計(jì)、上下文關(guān)聯(lián)等則通過(guò) ANN 實(shí)現(xiàn)，這樣有機(jī)地將 HMM 和 ANN 的各自優(yōu)勢(shì)統(tǒng)一在一個(gè)系統(tǒng)之中．又彌補(bǔ)了各自的不足。 第二種方法是分類網(wǎng)絡(luò)。分類網(wǎng)絡(luò)具有簡(jiǎn)單直觀、在本質(zhì)上是區(qū)分性的、在設(shè)計(jì)上是模塊化的、可以方便地組合成更大的系統(tǒng)、具有完善的數(shù)學(xué)解釋等優(yōu)點(diǎn)，所以可以很容易地集成到