【文章內(nèi)容簡(jiǎn)介】 用于發(fā)現(xiàn)語(yǔ)音知識(shí)數(shù)據(jù)挖掘作為一種在大量數(shù)據(jù)庫(kù)中發(fā)現(xiàn)隱藏新知識(shí)的計(jì)算技術(shù)方法，通過(guò)語(yǔ)音定性模型的建立，將數(shù)據(jù)分析和挖掘結(jié)果轉(zhuǎn)化為邏輯規(guī)則或用可視化的形式進(jìn)行表達(dá)。因此，將數(shù)據(jù)挖掘和人機(jī)交互接口緊密地聯(lián)系在一起，將對(duì)計(jì)算機(jī)語(yǔ)音信號(hào)處理的研究工作產(chǎn)生巨大的推動(dòng)力，為語(yǔ)音信號(hào)處理提供了一條嶄新的研究途徑。文本可視語(yǔ)音轉(zhuǎn)換系統(tǒng)研制成功文本可視語(yǔ)音轉(zhuǎn)換技術(shù)的出現(xiàn)是多媒體技術(shù)迅速發(fā)展的產(chǎn)物 也迎合了社會(huì)發(fā)展的需求。它給人們的生活增添了新的色彩，使計(jì)算機(jī)更加人性化，人們與計(jì)算機(jī)的交流變得更為簡(jiǎn)單。相信在不久的將來(lái)，它會(huì)在眾多的技術(shù)、商業(yè)和娛樂(lè)領(lǐng)域得到廣泛的應(yīng)用，并逐步進(jìn)入我們每個(gè)人的生活。、7 語(yǔ)音識(shí)別技術(shù)的研究方向連續(xù)自然語(yǔ)音的識(shí)別與理解自然語(yǔ)音識(shí)別與理解研究的是計(jì)算機(jī)如何理解人類(lèi)的語(yǔ)言 其目的就是讓計(jì)算機(jī)能夠理解人說(shuō)的話，當(dāng)我們使用計(jì)算機(jī)時(shí)，要告訴它應(yīng)該做什么，它就能按照所理解的去執(zhí)行。雖然現(xiàn)在自然語(yǔ)音識(shí)別與理解的理論研究得到了進(jìn)一步完善，同時(shí)，計(jì)算機(jī)的功能、容量和速度都有了很大的提高，但研究仍局限在對(duì)孤立音節(jié)的識(shí)別與理解上。人類(lèi)流暢的自然發(fā)音不是孤立音節(jié)發(fā)音的簡(jiǎn)單組合，它是在一定時(shí)間范圍內(nèi)輸出的一種連續(xù)語(yǔ)流，因此，需要對(duì)連續(xù)語(yǔ)音進(jìn)行處理。連續(xù)語(yǔ)音識(shí)別與理解技術(shù)中需要解決的難點(diǎn)很多，對(duì)它的研究是語(yǔ)音技術(shù)今后的目標(biāo)之一。高自然度、具有表現(xiàn)力的合成語(yǔ)音提高合成語(yǔ)音的自然度仍然是高性能文語(yǔ)轉(zhuǎn)換的當(dāng)務(wù)之急。就漢語(yǔ)語(yǔ)音合成來(lái)說(shuō)，目前在單字和詞組級(jí)上，合成語(yǔ)音的可懂度和自然度已基本解決，但是對(duì)于句子乃至篇章級(jí)，其自然度問(wèn)題就比較大。未來(lái)的文語(yǔ)轉(zhuǎn)換系統(tǒng)的發(fā)展趨勢(shì)是采用基于語(yǔ)境相關(guān)的合成思想進(jìn)行設(shè)計(jì)，能夠?qū)l(fā)音人的原始發(fā)音特征最大限度地保留下來(lái)，輔助以先進(jìn)的層次化語(yǔ)言韻律模型，通過(guò)分散統(tǒng)計(jì)的模型方法來(lái)涵蓋語(yǔ)義語(yǔ)音之間的內(nèi)在聯(lián)系，使系統(tǒng)能夠輸出具有高自然度和表現(xiàn)力的合成語(yǔ)音。但是，在目前的合成系統(tǒng)中，普遍存在合成輸出語(yǔ)音的機(jī)器味比較濃、語(yǔ)境的知識(shí)層次模型研究不完善等問(wèn)題。因此，獲得高自然度、具有表現(xiàn)力的合成語(yǔ)音，也是今后語(yǔ)音技術(shù)的研究目標(biāo)之一 。語(yǔ)音技術(shù)與多媒體技術(shù)的結(jié)合伴隨著現(xiàn)代語(yǔ)音技術(shù)的不斷發(fā)展，人類(lèi)對(duì)語(yǔ)音信號(hào)的需要已經(jīng)不僅僅停留在可懂性和正確性上，語(yǔ)音合成技術(shù)的研究方向已是合成語(yǔ)音的美感并同時(shí)輸出輔助的視頻特征，實(shí)現(xiàn)虛擬主持人的效果，通過(guò)將視覺(jué)效果包括人的頭部建模、唇形同步技術(shù)和表情因素等視頻信息的加入，可以更好地體現(xiàn)語(yǔ)音合成系統(tǒng)的表現(xiàn)力和感染力。因此，我們完全有理由相信，語(yǔ)音技術(shù)和多媒體技術(shù)的有機(jī)結(jié)合將使合成系統(tǒng)展現(xiàn)出廣闊的應(yīng)用前景。語(yǔ)音技術(shù)與網(wǎng)絡(luò)技術(shù)的結(jié)合目前，語(yǔ)音技術(shù)已逐漸應(yīng)用于電信的聲訊信息服務(wù)領(lǐng)域和互聯(lián)網(wǎng)消息收發(fā)方面。隨著電話網(wǎng)與互聯(lián)網(wǎng)的融合、網(wǎng)絡(luò)信息項(xiàng)目的增多和時(shí)效性要求逐步提高，建立適合于股票交易、航班動(dòng)態(tài)查詢、電話自動(dòng)報(bào)稅等業(yè)務(wù)的語(yǔ)音系統(tǒng)成為可能，電話用戶可以通過(guò)傳統(tǒng)的語(yǔ)音、傳真獲取互聯(lián)網(wǎng)上無(wú)窮無(wú)盡的信息。這些業(yè)務(wù)將徹底解決傳統(tǒng)數(shù)字錄音回放技術(shù)所無(wú)法解決的海量信息庫(kù)和動(dòng)態(tài)變化信息的實(shí)時(shí)生成與存儲(chǔ)的難題。因此，將語(yǔ)音技術(shù)與網(wǎng)絡(luò)進(jìn)行完美的結(jié)合具有強(qiáng)大的生命力。多語(yǔ)種語(yǔ)言是人們交流的工具，不同民族有自己不同的語(yǔ)言，不同語(yǔ)言之間的交流在今天開(kāi)放的信息社會(huì)和網(wǎng)絡(luò)時(shí)代顯得十分重要，因此，多語(yǔ)種的文語(yǔ)合成有著獨(dú)特的應(yīng)用價(jià)值。例如，、8在自動(dòng)電話翻譯、有聲電子郵件等應(yīng)用中都提出了多語(yǔ)種語(yǔ)音合成的需求，即使是對(duì)漢語(yǔ)合成也有多方言文語(yǔ)轉(zhuǎn)換問(wèn)題。理想的多語(yǔ)種合成系統(tǒng)最好是各種語(yǔ)言共用一種合成算法或語(yǔ)音合成器，但現(xiàn)有的語(yǔ)音合成系統(tǒng)大多是針對(duì)某一種語(yǔ)言或若干種語(yǔ)言開(kāi)發(fā)出來(lái)的，所采用的算法及規(guī)則都是與某種語(yǔ)言密切相關(guān)的，因此很難推廣到其他語(yǔ)種。如漢語(yǔ)和西方語(yǔ)言之間存在著很大的差異，而目前國(guó)內(nèi)的系統(tǒng)都是做漢語(yǔ)文語(yǔ)轉(zhuǎn)換的 其韻律控制規(guī)則完全不適合于英語(yǔ)，而且它們主要是合成漢語(yǔ)普通話的，即使推廣到廣東話和上海話都有相當(dāng)?shù)碾y度?？梢?jiàn)要真正解決多語(yǔ)種的文語(yǔ)合成，從文本處理到語(yǔ)音合成都必須有新的思路，因此，研制多語(yǔ)種語(yǔ)音合成轉(zhuǎn)換系統(tǒng)具有重要的理論和現(xiàn)實(shí)意義。、9第二章 主要研究?jī)?nèi)容和方法 語(yǔ)音識(shí)別的研究?jī)?nèi)容語(yǔ)音識(shí)別技術(shù)是利用計(jì)算機(jī)對(duì)語(yǔ)音進(jìn)行特征提取，獲取最能表征語(yǔ)音特征的有用信息，根據(jù)這些信息來(lái)對(duì)語(yǔ)音所代表的內(nèi)容或說(shuō)話人身份判斷的技術(shù)。因此需要對(duì)語(yǔ)音波形的幅值、頻率等特點(diǎn)進(jìn)行研究，我們把語(yǔ)音識(shí)別的研究?jī)?nèi)容大致可以分為語(yǔ)音提取、特征提取、語(yǔ)音識(shí)別、內(nèi)容分析、內(nèi)容匹配。語(yǔ)音識(shí)別是一門(mén)交叉學(xué)科，語(yǔ)音識(shí)別正逐步成為信息技術(shù)中人機(jī)接口的關(guān)鍵技術(shù)，語(yǔ)音識(shí)別技術(shù)與語(yǔ)音合成技術(shù)結(jié)合使人們能夠甩掉鍵盤(pán)，通過(guò)語(yǔ)音命令進(jìn)行操作。語(yǔ)音技術(shù)的應(yīng)用已經(jīng)成為一個(gè)具有競(jìng)爭(zhēng)性的新興高技術(shù)產(chǎn)業(yè)。與機(jī)器進(jìn)行語(yǔ)音交流，讓機(jī)器明白你說(shuō)什么，這是人們長(zhǎng)期以來(lái)夢(mèng)寐以求的事情。語(yǔ)音識(shí)別技術(shù)就是讓機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語(yǔ)音識(shí)別是一門(mén)交叉學(xué)科。近二十年來(lái)，語(yǔ)音識(shí)別技術(shù)取得顯著進(jìn)步，開(kāi)始從實(shí)驗(yàn)室走向市場(chǎng)。人們預(yù)計(jì)，未來(lái) 10 年內(nèi)，語(yǔ)音識(shí)別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車(chē)電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域。語(yǔ)音識(shí)別聽(tīng)寫(xiě)機(jī)在一些領(lǐng)域的應(yīng)用被美國(guó)新聞界評(píng)為 1997年計(jì)算機(jī)發(fā)展十件大事之一。很多專家都認(rèn)為語(yǔ)音識(shí)別技術(shù)是 2022 年至 2022 年間信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。 語(yǔ)音識(shí)別系統(tǒng)的分類(lèi)語(yǔ)音識(shí)別系統(tǒng)可以根據(jù)對(duì)輸入語(yǔ)音的限制加以分類(lèi)。如果從說(shuō)話者與識(shí)別系統(tǒng)的相關(guān)性考慮，可以將識(shí)別系統(tǒng)分為 3 類(lèi)：(1)特定人語(yǔ)音識(shí)別系統(tǒng)：僅考慮對(duì)于專人的話音進(jìn)行識(shí)別；(2)非特定人語(yǔ)音系統(tǒng)：識(shí)別的語(yǔ)音與人無(wú)關(guān)，通常要用大量不同人的語(yǔ)音數(shù)據(jù)庫(kù)對(duì)識(shí)別系統(tǒng)進(jìn)行學(xué)習(xí)；(3) 多人的識(shí)別系統(tǒng)：通常能識(shí)別一組人的語(yǔ)音，或者成為特定組語(yǔ)音識(shí)別系統(tǒng)，該系統(tǒng)僅要求對(duì)要識(shí)別的那組人的語(yǔ)音進(jìn)行訓(xùn)練。如果從說(shuō)話的方式考慮，也可以將識(shí)別系統(tǒng)分為 3 類(lèi)：(1)孤立詞語(yǔ)音識(shí)別系統(tǒng)：孤立詞識(shí)別系統(tǒng)要求輸入每個(gè)詞后要停頓；(2)連接詞語(yǔ)音識(shí)別系統(tǒng)：連接詞輸入系統(tǒng)要求對(duì)每個(gè)詞都清楚發(fā)音，一些連音現(xiàn)象開(kāi)始出現(xiàn)；(3)連續(xù)語(yǔ)音識(shí)別系統(tǒng)：連續(xù)語(yǔ)音輸入是自然流利的連續(xù)語(yǔ)音輸入，大量連音和變音會(huì)出現(xiàn)。如果從識(shí)別系統(tǒng)的詞匯量大小考慮，也可以將識(shí)別系統(tǒng)分為 3 類(lèi)：(1)小詞匯量語(yǔ)音識(shí)別系統(tǒng)。通常包括幾十個(gè)詞的語(yǔ)音識(shí)別系統(tǒng)。(2)中等詞匯量的語(yǔ)音識(shí)別系統(tǒng)。通常包括幾百個(gè)詞到上千個(gè)詞的識(shí)別系統(tǒng)。(3)大詞匯量語(yǔ)音識(shí)別系統(tǒng)。通常包括幾千到幾萬(wàn)個(gè)詞的語(yǔ)音識(shí)別系統(tǒng)。隨著計(jì)算機(jī)與數(shù)字信號(hào)處理器運(yùn)算能力以及識(shí)別系統(tǒng)精度的提高，識(shí)別系統(tǒng)根據(jù)詞匯、10量大小進(jìn)行分類(lèi)也不斷進(jìn)行變化。目前是中等詞匯量的識(shí)別系統(tǒng)到將來(lái)可能就是小詞匯量的語(yǔ)音識(shí)別系統(tǒng)。這些不同的限制也確定了語(yǔ)音識(shí)別系統(tǒng)的困難度。 語(yǔ)音識(shí)別的研究方法根據(jù)語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史，語(yǔ)音識(shí)別方法大致可分為基于說(shuō)話人的語(yǔ)音識(shí)別方法、基于說(shuō)話內(nèi)容的語(yǔ)音識(shí)別方法、基于統(tǒng)計(jì)的語(yǔ)音識(shí)別方法和基于網(wǎng)絡(luò)的語(yǔ)音識(shí)別方法。目前，主流的大詞匯量語(yǔ)音識(shí)別系統(tǒng)多采用統(tǒng)計(jì)模式識(shí)別技術(shù)。典型的基于統(tǒng)計(jì)模式識(shí)別方法的語(yǔ)音識(shí)別系統(tǒng)由以下幾個(gè)基本模塊所構(gòu)成：信號(hào)處理及特征提取模塊。該模塊的主要任務(wù)是從輸入信號(hào)中提取特征，供聲學(xué)模型處理。同時(shí)，它一般也包括了一些信號(hào)處理技術(shù)，以盡可能降低環(huán)境噪聲、信道、說(shuō)話人等因素對(duì)特征造成的影響。統(tǒng)計(jì)聲學(xué)模型。典型系統(tǒng)多采用基于一階隱馬爾科夫模型進(jìn)行建模。 發(fā)音詞典。發(fā)音詞典包含系統(tǒng)所能處理的詞匯集及其發(fā)音。發(fā)音詞典實(shí)際提供了聲學(xué)模型建模單元與語(yǔ)言模型建模單元間的映射。語(yǔ)言模型對(duì)系統(tǒng)所針對(duì)的語(yǔ)言進(jìn)行建模。理論上，包括正則語(yǔ)言，上下文無(wú)關(guān)文法在內(nèi)的各種語(yǔ)言模型都可以作為語(yǔ)言模型，但目前各種系統(tǒng)普遍采用的還是基于統(tǒng)計(jì)的 N 元文法及其變體。 解碼器，解碼器是語(yǔ)音識(shí)別系統(tǒng)的核心之一，其任務(wù)是對(duì)輸入的信號(hào)，根據(jù)聲學(xué)、語(yǔ)言模型及詞典，尋找能夠以最大概率輸出該信號(hào)的詞串。 從數(shù)學(xué)角度可以更加清楚的了解上述模塊之間的關(guān)系。首先，統(tǒng)計(jì)語(yǔ)音識(shí)別的最基本問(wèn)題是，給定輸入信號(hào)或特征序列，符號(hào)集（詞典），求解符號(hào)串使得：W = argmaxP(W | O) 通過(guò)貝葉斯公式，上式可以改寫(xiě)為：由于對(duì)于確定的輸入串 O，P(O)是確定的，因此省略它并不會(huì)影響上式的最終結(jié)果，因此，一般來(lái)說(shuō)語(yǔ)音識(shí)別所討論的問(wèn)題可以用下面的公式來(lái)表示，可以將它稱為語(yǔ)音識(shí)別的基本公式。從這個(gè)角度來(lái)看，信號(hào)處理模塊提供了對(duì)輸入信號(hào)的預(yù)處理，也就是說(shuō)，提供了從采集的語(yǔ)音信號(hào)(記為 S)到 特征序列 O 的映射。而聲學(xué)模型本身定義了一些更具推廣性的聲學(xué)建模單元，并且提供了在給定輸入特征下，估計(jì) P(O | uk)的方法。為了將聲學(xué)模型建模單元串映射到符號(hào)集，就需要發(fā)音詞典發(fā)揮作用。它實(shí)際上定義了映射的映射。為了表示方便，也可以定義一個(gè)由到 U 的全集的笛卡爾積，而發(fā)音詞典則是這個(gè)笛卡爾積的一個(gè)子集。并且有：最后，語(yǔ)言模型則提供了 P(W)。這樣，基本公式就可以更加具體的寫(xiě)成：對(duì)于解碼器來(lái)所，就是要在由 ui 以及時(shí)間標(biāo)度 t 張成的搜索空間中，找到上式所指明的W。、11 并行計(jì)算技術(shù)多任務(wù)在 32 位的 Windows 系統(tǒng)中，采用的是搶先式多任務(wù)，這意味著程序?qū)?CPU 的占用時(shí)間是由系統(tǒng)決定的。系統(tǒng)為每個(gè)程序分配一定的 CPU 時(shí)間，當(dāng)程序的運(yùn)行超過(guò)規(guī)定時(shí)間后，系統(tǒng)就會(huì)中斷該程序并把 CPU 控制權(quán)轉(zhuǎn)交給別的程序。與協(xié)同式多任務(wù)不同，這種中斷是匯編語(yǔ)言級(jí)的。程序不必調(diào)用像 PeekMessage 這樣的函數(shù)來(lái)放棄對(duì) CPU 的控制權(quán)，就可以進(jìn)行費(fèi)時(shí)的工作，而且不會(huì)導(dǎo)致系統(tǒng)的掛起。例如，在 Windows 3．x 中，如果某一個(gè)應(yīng)用程序陷入了死循環(huán)，那么整個(gè)系統(tǒng)都會(huì)癱瘓，這時(shí)惟一的解決辦法就是重新啟動(dòng)機(jī)器。而在 Windows 95／NT 中，一個(gè)程序的崩潰一般不會(huì)造成死機(jī)，其他程序仍然可以運(yùn)行，用戶可以按 Ctrl+Alt+Del 鍵來(lái)打開(kāi)任務(wù)列表并關(guān)閉沒(méi)有響應(yīng)的程序。 進(jìn)程與線程 在 32 位的 Windows 系統(tǒng)中，多任務(wù)指系統(tǒng)可同時(shí)運(yùn)行多個(gè)進(jìn)程，而每個(gè)進(jìn)程也可同時(shí)執(zhí)行多個(gè)線程。 進(jìn)程就是應(yīng)用程序的運(yùn)行實(shí)例。每個(gè)進(jìn)程都有自己私有的虛擬地址空間，都有一個(gè)主線程．但可以建立另外的線程。進(jìn)程中的線程是并行執(zhí)行的，每個(gè)線程占用 CPU 的時(shí)間由系統(tǒng)來(lái)劃分。 可以把線程看成是操作系統(tǒng)分配 CPU 時(shí)間的基本實(shí)體。系統(tǒng)不停地在各個(gè)線程之間切換，他對(duì)線程的中斷是匯編語(yǔ)言級(jí)的。系統(tǒng)為每一個(gè)線程分配一個(gè) CPU 時(shí)間片，某個(gè)線程只有在分配的時(shí)間片內(nèi)才有對(duì) CPU 的控制權(quán)。實(shí)際上，在 PC 機(jī)中，同一時(shí)間只有一個(gè)線程在運(yùn)行。由于系統(tǒng)為每個(gè)線程劃分的時(shí)間片很小(20ms 左右)，所以看上去好像是多個(gè)線程在同時(shí)運(yùn)行。進(jìn)程中的所有線程共享進(jìn)程的虛擬地址空間，這意味著所有線程都可以訪問(wèn)進(jìn)程的全局變量和資源。這一方面為編程帶來(lái)了方便，但另一方面也容易造成沖突。雖然在進(jìn)程中進(jìn)行費(fèi)時(shí)的工作不會(huì)導(dǎo)致系統(tǒng)的掛起，但這會(huì)導(dǎo)致進(jìn)程本身的掛起。所以，如果進(jìn)程既要進(jìn)行長(zhǎng)期的工作，又要響應(yīng)用戶的輸入，那么他可以啟動(dòng)一個(gè)線程來(lái)專門(mén)負(fù)責(zé)費(fèi)時(shí)的工作，而主線程仍然可以與用戶進(jìn)行交互。基于 Win 32 基礎(chǔ)上進(jìn)行多線程編程的過(guò)程線程分用戶界面線程和工作者線程 2 種。用戶界面線程擁有自己的消息泵來(lái)處理界面消息，可以與用戶進(jìn)行交互。工作者線程沒(méi)有消息泵，一般用來(lái)完成后臺(tái)工作。(1)用 Win 32 函數(shù)創(chuàng)建和中止線程 win32 函數(shù)庫(kù)中提供了多線程控制的操作函數(shù)，包括創(chuàng)建線程、中止線程、建立互斥區(qū)等。首先，在應(yīng)用程序的主線程或者其他活動(dòng)線程的適當(dāng)?shù)胤絼?chuàng)建新的線程。創(chuàng)建線程的函數(shù)如下： HANDLE CreateThread(LPSECURITY—ATTRIBUTES lpThreadAttributes DWORD dwStackSize。、12LPTHREAD—START—ROUTINE lpStartAddress。 LPVOID IpParameter DWORD dwCreationFlags。 LPDW0RDIpThreadId)； 其中：lpThreadAttributes 指定了線程的安全屬性，在 Windows 95 中被忽略；dwStackSize 指定了線程的堆棧深度；lpStartAddress 指定了線程的起始地址，一般情況為原型函數(shù) DW0RDWINAPI ThreadFunc (I PVOID)；lpParameter 指定了線程執(zhí)行時(shí)傳送給線程的32 位參數(shù)，即上面函數(shù)的參數(shù)；dwCreationFlags 指定了線程創(chuàng)建的特性；lpThreadld 指向一個(gè) DWORD 變量，可返回線程 ID 值。如果創(chuàng)建成功則返回線程的句柄，否則返回 NUII。創(chuàng)建了新的線程后，則該線程就開(kāi)始啟動(dòng)執(zhí)行了。如果在 dwCreationFlags 中用了 CREATE—SUSPENDED 特性，那么線程并不馬上執(zhí)行，而是先掛起，等到調(diào)用 ResumeThread 后才開(kāi)始啟動(dòng)線程，在這個(gè)過(guò)程中可以調(diào)用函數(shù)：BOOI SetThread Priority (HANDI E hThread，int nPriority)來(lái)設(shè)置線程的優(yōu)先權(quán)。當(dāng)線程的函數(shù)返回后，線程自動(dòng)中止。如果在線程的執(zhí)行過(guò)程中中止的話，則可調(diào)用函數(shù)：VOID Exit Thread(DWORD dwExit Code)；如果在線程的外面中止線程的話，則可調(diào)用下面的函數(shù)：BOoI TerminateThread (HANDI E hThread，DWORD dwExitCode)。但應(yīng)注意：該函數(shù)可能會(huì)引起系統(tǒng)不穩(wěn)定，而且線程所占用的