【文章內容簡介】 翻譯的一個重要目的就是幫助聾啞人與正常人交流，近來越來越受到人們的重視。首先，聾啞人要戴上一副特制的手套，計算機根據他打出的手語進行識別，然后，通過語音合成系統(tǒng)就可以把圖像信息翻譯成語言信息。同時，系統(tǒng)還能夠完成將正常人的語言翻譯成聾啞人的手語，只要將正常人說的話鍵入計算機，經程序分析處理之后，翻譯成有表情、有動作的三維圖像，從而最終達到聾啞人與正常人之間通過翻譯機進行交流的目的?？谡Z翻譯的研究在其他很多方面都有重要價值，如用手勢控制計算機，甚至用手勢導航等。 語音 識別技術的發(fā)展 神經網絡用于訓練韻律模型 由于人工神經網絡具備良好的自學習和自適應能力，將其應用于語音合成系統(tǒng)中的韻律模型研究具有很重要的意義。將神經網絡模型與已有的文語轉換系統(tǒng)有機結合，可以改變傳統(tǒng)的文語轉換系統(tǒng)的韻律模型，具有更強的適應性和可訓練性，使合成語音的自然度得到顯著提高，增加了系統(tǒng)的靈活性和風格的多樣性。 數據挖掘用于發(fā)現語音知識 數據挖掘作為一種在大量數據庫中發(fā)現隱藏新知識的計算技術方法，通過語音定性模型的建立，將數據分析和挖掘結果轉化為邏輯規(guī)則或用可視化的形式進行表達。因此，將數 據挖掘和人機交互接口緊密地聯系在一起，將對計算機語音信號處理的研究工作產生巨大的推動力，為語音信號處理提供了一條嶄新的研究途徑。 文本 可視語音轉換系統(tǒng)研制成功 文本 可視語音轉換技術的出現是多媒體技術迅速發(fā)展的產物 也迎合了社會發(fā)展的需求。它給人們的生活增添了新的色彩，使計算機更加人性化，人們與計算機的交流變得更為簡單。相信在不久的將來，它會在眾多的技術、商業(yè)和娛樂領域得到廣泛的應用，并逐步進入我們每個人的生活。 、 7 語音 識別技術的 研究方向 連續(xù)自然語音的識別與理解 自然語音識別與理解研究的 是計算機如何理解人類的語言 其目的就是讓計算機能夠理解人說的話，當我們使用計算機時，要告訴它應該做什么，它就能按照所理解的去執(zhí)行。雖然現在自然語音識別與理解的理論研究得到了進一步完善，同時，計算機的功能、容量和速度都有了很大的提高，但研究仍局限在對孤立音節(jié)的識別與理解上。人類流暢的自然發(fā)音不是孤立音節(jié)發(fā)音的簡單組合，它是在一定時間范圍內輸出的一種連續(xù)語流，因此，需要對連續(xù)語音進行處理。連續(xù)語音識別與理解技術中需要解決的難點很多，對它的研究是語音技術今后的目標之一。 高自然度、具有表現力的合成語音 提高合 成語音的自然度仍然是高性能文語轉換的當務之急。就漢語語音合成來說，目前在單字和詞組級上，合成語音的可懂度和自然度已基本解決，但是對于句子乃至篇章級，其自然度問題就比較大。未來的文語轉換系統(tǒng)的發(fā)展趨勢是采用基于語境相關的合成思想進行設計，能夠將發(fā)音人的原始發(fā)音特征最大限度地保留下來，輔助以先進的層次化語言韻律模型，通過分散統(tǒng)計的模型方法來涵蓋語義語音之間的內在聯系，使系統(tǒng)能夠輸出具有高自然度和表現力的合成語音。但是，在目前的合成系統(tǒng)中，普遍存在合成輸出語音的機器味比較濃、語境的知識層次模型研究不完善等問題。因 此 ， 獲得高自然度、具有表現力的合成語音，也是今后語音技術的研究目標之一 。 語音技術與多媒體技術的結合 伴隨著現代語音技術的不斷發(fā)展，人類對語音信號的需要已經不僅僅停留在可懂性和正確性上，語音合成技術的研究方向已是合成語音的美感并同時輸出輔助的視頻特征，實現虛擬主持人的效果，通過將視覺效果包括人的頭部建模、唇形同步技術和表情因素等視頻信息的加入，可以更好地體現語音合成系統(tǒng)的表現力和感染力。因此，我們完全有理由相信，語音技術和多媒體技術的有機結合將使合成系統(tǒng)展現出廣闊的應用前景。 語音技術與網絡技術的 結合 目前，語音技術已逐漸應用于電信的聲訊信息服務領域和互聯網消息收發(fā)方面。隨著電話網與互聯網的融合、網絡信息項目的增多和時效性要求逐步提高，建立適合于股票交易、航班動態(tài)查詢、電話自動報稅等業(yè)務的語音系統(tǒng)成為可能，電話用戶可以通過傳統(tǒng)的語音、傳真獲取互聯網上無窮無盡的信息。這些業(yè)務將徹底解決傳統(tǒng)數字錄音回放技術所無法解決的海量信息庫和動態(tài)變化信息的實時生成與存儲的難題 。 因此 ， 將語音技術與網絡進行完美的結合具有強大的生命力。 多語種 語言是人們交流的工具，不同民族有自己不同的語言，不同語言之間的交流在今天 開放的信息社會和網絡時代顯得十分重要，因此，多語種的文語合成有著獨特的應用價值。例如，、 8 在自動電話翻譯、有聲電子郵件等應用中都提出了多語種語音合成的需求，即使是對漢語合成也有多方言文語轉換問題。理想的多語種合成系統(tǒng)最好是各種語言共用一種合成算法或語音合成器，但現有的語音合成系統(tǒng)大多是針對某一種語言或若干種語言開發(fā)出來的，所采用的算法及規(guī)則都是與某種語言密切相關的，因此很難推廣到其他語種。如漢語和西方語言之間存在著很大的差異，而目前國內的系統(tǒng)都是做漢語文語轉換的 其韻律控制規(guī)則完全不適合于英語，而且它們主要是合 成漢語普通話的，即使推廣到廣東話和上海話都有相當的難度。 可見要真正解決多語種的文語合成，從文本處理到語音合成都必須有新的思路，因此，研制多語種語音合成轉換系統(tǒng)具有重要的理論和現實意義。 、 9 第二章 主要研究內容和方法 語音識別的研究內容 語音 識別技術是利用計算機對 語音 進行特征提取，獲取最能表征 語音 特征的有用信息，根據這些信息來對 語音 所代表的 內容或說話人 身份判斷的技術。因此需要對 語音波形的幅值、頻率等 特點 進行 研究，我們把 語音 識別的研究內容大致可以分為 語音提取 、 特征提取 、 語音識別 、 內容 分析 、 內容匹配 。 語音識別是一門交叉學科，語音識別正逐步成為信息技術中人機接口的關鍵技術，語音識別技術與語音合成技術結合使人們能夠甩掉鍵盤，通過語音命令進行操作。語音技術的應用已經成為一個具有競爭性的新興高技術產業(yè)。 與機器進行語音交流，讓機器明白你說什么，這是人們長期以來夢寐以求的事情。語音識別技術就是讓機器通過識別和理解過程把語音信號轉變?yōu)橄鄳奈谋净蛎畹母呒夹g。語音識別是一門交叉學科。近二十年來，語音識別技術取得顯著進步，開始從實驗室走向市場。人們預計，未來 10 年內，語音識別技術將進入工業(yè)、家電、通信、汽車電子、醫(yī) 療、家庭服務、消費電子產品等各個領域。語音識別聽寫機在一些領域的應用被美國新聞界評為 1997 年計算機發(fā)展十件大事之一。很多專家都認為語音識別技術是 2021 年至 2021 年間信息技術領域十大重要的科技發(fā)展技術之一。 語音識別系統(tǒng)的分類 語音識別系統(tǒng)可以根據對輸入語音的限制加以分類。如果從說話者與識別系統(tǒng)的相關性考慮，可以將識別系統(tǒng)分為 3 類： (1)特定人語音識別系統(tǒng)：僅考慮對于專人的話音進行識別；(2)非特定人語音系統(tǒng)：識別的語音與人無關，通常要用大量不同人的語音數據庫對識別系統(tǒng)進行學習； (3)多人的識 別系統(tǒng)：通常能識別一組人的語音，或者成為特定組語音識別系統(tǒng)，該系統(tǒng)僅要求對要識別的那組人的語音進行訓練。 如果從說話的方式考慮，也可以將識別系統(tǒng)分為 3 類： (1)孤立詞語音識別系統(tǒng)：孤立詞識別系統(tǒng)要求輸入每個詞后要停頓； (2)連接詞語音識別系統(tǒng)：連接詞輸入系統(tǒng)要求對每個詞都清楚發(fā)音，一些連音現象開始出現； (3)連續(xù)語音識別系統(tǒng)：連續(xù)語音輸入是自然流利的連續(xù)語音輸入，大量連音和變音會出現。 如果從識別系統(tǒng)的詞匯量大小考慮，也可以將識別系統(tǒng)分為 3 類： (1)小詞匯量語音識別系統(tǒng)。通常包括幾十個詞的語音識別系統(tǒng)。 (2)中等詞匯量的語音識別系統(tǒng)。通常包括幾百個詞到上千個詞的識別系統(tǒng)。 (3)大詞匯量語音識別系統(tǒng)。通常包括幾千到幾萬個詞的語音識別系統(tǒng)。隨著計算機與數字信號處理器運算能力以及識別系統(tǒng)精度的提高，識別系統(tǒng)根據詞匯、 10 量大小進行分類也不斷進行變化。目前是中等詞匯量的識別系統(tǒng)到將來可能就是小詞匯量的語音識別系統(tǒng)。這些不同的限制也確定了語音識別系統(tǒng)的困難度。 語音識別的研究方法 根據 語音 識別技術的發(fā)展歷史， 語音 識別方法大致可分為基于 說話人 的 語音 識別方法、基于 說話內容 的 語音 識別方法、基于統(tǒng)計的 語音 識別方法和基于網絡 的 語音 識別方法。 目前，主流的大詞匯量語音識別系統(tǒng)多采用統(tǒng)計模式識別技術。典型的基于統(tǒng)計模式識別方法的語音識別系統(tǒng)由以下幾個基本模塊所構成 ： 信號處理及特征提取模塊。該模塊的主要任務是從輸入信號中提取特征，供聲學模型處理。同時，它一般也包括了一些信號處理技術，以盡可能降低環(huán)境噪聲、信道、說話人等因素對特征造成的影響。統(tǒng)計聲學模型。典型系統(tǒng)多采用基于一階隱馬爾科夫模型進行建模。 發(fā)音詞典。發(fā)音詞典包含系統(tǒng)所能處理的詞匯集及其發(fā)音 。發(fā)音詞典實際提供了聲學模型建模單元與語言模型建模單元間的映射。 語言模型對系統(tǒng)所針 對的語言進行建模。理論上，包括正則語言，上下文無關文法在內的各種語言模型都可以作為語言模型，但目前各種系統(tǒng)普遍采用的還是基于統(tǒng)計的 N 元文法及其變體。 解碼器 ， 解碼器是語音識別系統(tǒng)的核心之一，其任務是對輸入的信號，根據聲學、語言模型及詞典，尋找能夠以最大概率輸出該信號的詞串。 從數學角度可以更加清楚的了解上述模塊之間的關系。首先，統(tǒng)計語音識別的最基本問題是，給定輸入信號或特征序列，符號集（詞典），求解符號串使得： W = argmaxP(W | O) 通過貝葉斯公式，上式可以改寫為 ： 由于對于確定的輸入串 O， P(O)是確定的，因此省略它并不會影響上式的最終結果，因此，一般來說語音識別所討論的問題可以用下面的公式來表示，可以將它稱為語音識別的基本公式。 從這個角度來看，信號處理模塊提供了對輸入信號的預處理，也就是說，提供了從采集的語音信號 (記為 S)到 特征序列 O 的映射。而聲學模型本身定義了一些更具推廣性的聲學建模單元，并且提供了在給定輸入特征下，估計 P(O | uk)的方法。 為了將聲學模型建模單元串映射到符號集，就需要發(fā)音詞典發(fā)揮作用。它實際上定義了映射的映射。為了表示方便，也可以定義一個由到 U 的全集的笛卡爾積 ，而發(fā)音詞典則是這個笛卡爾積的一個子集。并且有： 最后，語言模型則提供了 P(W)。這樣，基本公式就可以更加具體的寫成： 對于解碼器來所，就是要在由 ui 以及時間標度 t 張成的搜索空間中，找到上式所指明的W。 、 11 并行 計 算 技術 多任務在 32 位的 Windows 系統(tǒng)中，采用的是搶先式多任務，這意味著程序對 CPU 的占用時間是由系統(tǒng)決定的。系統(tǒng)為每個程序分配一定的 CPU 時間，當程序的運行超過規(guī)定時間后，系統(tǒng)就會中斷該程序并把 CPU 控制權轉交給別的程序。與協(xié)同式多任務不同，這種中斷是匯編語言級的。程序不必調用像 PeekMessage 這樣的函數來放棄對 CPU 的控制權，就可以進行費時的工作，而且不會導致系統(tǒng)的掛起。 例如，在 Windows 3． x 中，如果某一個應用程序陷入了死循環(huán)，那么整個系統(tǒng)都會癱瘓，這時惟一的解決辦法就是重新啟動機器。而在 Windows 95／ NT 中，一個程序的崩潰一般不會造成死機，其他程序仍然可以運行，用戶可以按 Ctrl+Alt+Del 鍵來打開任務列表并關閉沒有響應的程序。 進程與線程 在 32 位的 Windows 系統(tǒng)中，多任務指系統(tǒng)可同時運行多個進程，而每個進程也可同時執(zhí)行多個線程。 進程就是 應用程序的運行實例。每個進程都有自己私有的虛擬地址空間，都有一個主線程．但可以建立另外的線程。進程中的線程是并行執(zhí)行的，每個線程占用 CPU 的時間由系統(tǒng)來劃分。 可以把線程看成是操作系統(tǒng)分配 CPU時間的基本實體。系統(tǒng)不停地在各個線程之間切換，他對線程的中斷是匯編語言級的。系統(tǒng)為每一個線程分配一個 CPU 時間片，某個線程只有在分配的時間片內才有對 CPU 的控制權。實際上，在 PC 機中，同一時間只有一個線程在運行。由于系統(tǒng)為每個線程劃分的時間片很小 (20ms 左右 )，所以看上去好像是多個線程在同時運行。進程中的所有線程 共享進程的虛擬地址空間，這意味著所有線程都可以訪問進程的全局變量和資源。這一方面為編程帶來了方便，但另一方面也容易造成沖突。雖然在進程中進行費時的工作不會導致系統(tǒng)的掛起，但這會導致進程本身的掛起。所以，如果進程既要進行長期的工作，又要響應用戶的輸入，那么他可以啟動一個線程來專門負責費時的工作，而主線程仍然可以與用戶進行交互。 基于 Win 32 基礎上進行多線程編程的過程線程分用戶界面線程和工作者線程 2 種。用戶界面線程擁有自己的消息泵來處理界面消息，可以與用戶進行交互。工作者線程沒有消息泵，一般用來完成后臺 工作。 (1)用 Win 32 函數創(chuàng)建和中止線程 win32 函數庫中提供了多線程控制的操作函數，包括創(chuàng)建線程、中止線程、建立互斥區(qū)等。首先，在應用程序的主線程或者其他活動線程的適當地方創(chuàng)建新的線程。創(chuàng)建線程的函數如下： HANDLE CreateThread(LPSECURITY—ATTRIBUTES lpThreadAttributes DWORD dwStackSize。 、 12 LPTHREAD— START— ROUTINE lpStartAddress。 LPVOID IpParameter DWORD dwCreationFlags。 LPDW0RDIpThreadId)； 其中： lpThr