【正文】 3)定義一個(gè)由 M 個(gè)三角型帶通濾波器組成的濾波器組，每個(gè)濾波器的中心頻率為 f。 Hz 頻率 Melf 與 Mel頻率 Melf 之間的轉(zhuǎn)換關(guān)系如公式 ： Melf =1127ln(1+700Hzf ) (4) 、 24 Mel 倒譜頻率系數(shù) (MFCC)是上述 Mel 頻率概念基礎(chǔ)上提出的，其計(jì)算機(jī)流程如圖 3331 所示 1)將原始語(yǔ)音信號(hào)預(yù)加重，分幀加窗之后得到一幀語(yǔ)音信號(hào)。結(jié)合人耳的生理結(jié)構(gòu)，運(yùn)用對(duì)數(shù)關(guān)系來(lái)模擬人耳對(duì)不同頻率語(yǔ)音的感知特性， Davies 和 Merelstein 于 1980 年提出了 Mel 頻率的概念。和協(xié)方差矩陣 U 這四個(gè)參數(shù)的訓(xùn)練過(guò)程，并進(jìn)行極大似然值估計(jì)。常見(jiàn)的窗函數(shù)有： 1)矩形窗 (RectangularWindow) ? 1 ( 0 1 )0( 0) nN? ? ? ?其 他 (1) 2)漢明窗 (Hamming Window) 20 . 5 4 0 . 4 6 c o s ( ) ( 0 1 )10( n )n nNN?? ? ? ? ????? 其 他 (2) 3)哈寧窗 (Hann Window) 20 . 5 0 . 5 c o s ( ) ( 0 1 )10( n )n nNN?? ? ? ? ????? 其 他 (3) 漢明窗和哈寧窗都屬于廣義升余弦函數(shù)，通過(guò)分析他們的頻率響應(yīng)幅度特征，可以發(fā)現(xiàn)，矩形窗的譜平滑性能好，但是旁瓣太高，容易造成頻譜泄露，損失高頻成分；哈寧窗衰減太快，低通特性不平滑；漢明窗由于其平滑的低通特性和最低的旁瓣高度而得到廣泛的應(yīng)用。 閾值采用 (最大值 最 小值 )， 語(yǔ)音信號(hào)是一種典型的非平穩(wěn)信號(hào)，處理中一般使用窗函數(shù)截取其中一段來(lái)進(jìn)行分析，截取出來(lái)的那部分信號(hào)被認(rèn)為是短時(shí)平穩(wěn)的。 值接近于 1，或者采用公式y(tǒng)(n)=x(n)αx(n1)，其中， x(n)為原始信號(hào)序列； y(n)為預(yù)加重后序列； α為預(yù)加重系數(shù)。： H(Z)=1181。預(yù)加重的目的是使信號(hào)的頻譜變得平坦，保持從低頻到高頻的整個(gè)頻帶中，能用同樣的信噪比求頻譜，以便于頻譜分析或聲道參數(shù)分析。求語(yǔ)音信號(hào)頻譜時(shí)，頻率越高，相應(yīng)的成分越小。 預(yù)加重處理 提升高頻部分， 使 信號(hào)頻譜變得平坦，以便于進(jìn)行聲道參數(shù)分析或頻譜分析。 語(yǔ)音信號(hào)預(yù)處理 語(yǔ)音信號(hào)數(shù)字化 通過(guò)采樣及量化提取語(yǔ)音信號(hào)的數(shù)據(jù)。 由于 ANN 不能很好的描述語(yǔ)音信號(hào)的時(shí)間動(dòng)態(tài)特性，所以常把 ANN 與傳統(tǒng)識(shí)別方法結(jié)合，分別利用各自?xún)?yōu)點(diǎn)來(lái)進(jìn)行語(yǔ)音識(shí)別。人工神經(jīng)網(wǎng)絡(luò)(ANN)本質(zhì)上是一個(gè)自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，模擬了人類(lèi)神經(jīng)活動(dòng)的原理，具有自適應(yīng)性、并行性、魯棒性、容錯(cuò) 性和學(xué)習(xí)特性，其 較 強(qiáng)的分類(lèi)能力和輸入 － 輸出映射能力在語(yǔ)音識(shí)別中都很有吸引力。無(wú)記憶的矢量量化包括樹(shù)形搜索的矢量量化和多級(jí)矢量量化。 核心思想可以這樣理解：如果一個(gè)碼書(shū)是為某一特定的信源而優(yōu)化 設(shè)計(jì)的，那么由這一信息源產(chǎn)生的信號(hào)與該碼書(shū)的平均量化失真就應(yīng)小于其他信息的信號(hào)與該碼書(shū)的平均量化失真，也就是說(shuō)編碼器本身存在區(qū)分能力。量化時(shí)，將 k維無(wú)限空間劃分為 M 個(gè)區(qū)域邊界，然后將輸入矢量與這些邊界進(jìn)行比較，并被量化為 “ 距離 ”最小的區(qū)域邊界的中心矢量值。與 HMM 相比 ,矢量量化主要 適用于小詞匯量、孤立詞的語(yǔ)音識(shí)別中?？梢?jiàn) HMM 合理地模仿了這一過(guò)程，很好地描述了語(yǔ)音信號(hào)的整體非平穩(wěn)性和局部平穩(wěn)性 ,是較為理想的一種語(yǔ)音模型。前者通過(guò)后者表現(xiàn)出來(lái)，但前者的具體參數(shù)是不可測(cè)的。 HMM 方法現(xiàn)已成為語(yǔ)音識(shí)別的主流技術(shù)，目前大多數(shù)大詞匯量、連續(xù)語(yǔ)音的非特定人語(yǔ)音識(shí)別系統(tǒng)都是基于 HMM 模型的。在這一過(guò)程中，未知單詞的時(shí)間軸要不均勻地扭曲或彎折，以使其特征與模型特征對(duì)正。 60 年代日本學(xué)者 Itakura 提出了動(dòng)態(tài)時(shí)間規(guī)整算法 (DTW： DynamicTimeWarping)。在早期，進(jìn)行端點(diǎn)檢測(cè)的主要依據(jù)是能量、振幅和過(guò)零率。 (DTW) 語(yǔ)音信號(hào)的端點(diǎn)檢測(cè)是進(jìn)行語(yǔ)音識(shí)別中的一個(gè)基本步驟，它是特征訓(xùn)練和識(shí)別的基礎(chǔ)。在模板匹配方法中，要經(jīng)過(guò)四個(gè)步驟：特征提取、 模板訓(xùn)練、模板分類(lèi)、判決。 第二步，得到詞序列 根據(jù)第一步所得語(yǔ)音標(biāo)號(hào)序列得到一個(gè)語(yǔ)音基元網(wǎng)格，從詞典得到有效的詞序列，也可結(jié)合句子的文法和語(yǔ)義同時(shí)進(jìn)行。這樣該方法分為兩步實(shí)現(xiàn)： 第一步，分段和標(biāo)號(hào) 把語(yǔ)音信號(hào)按時(shí)間分成離散的段，每段對(duì)應(yīng)一個(gè)或幾個(gè)語(yǔ)音基元的聲學(xué)特性。 (1)基于語(yǔ)音學(xué)和聲學(xué)的方法 該方法起步較早，在語(yǔ)音識(shí)別技術(shù)提出的開(kāi)始，就有了這方面的研究，但由于其模型及語(yǔ)音知識(shí)過(guò)于復(fù)雜，現(xiàn)階段沒(méi)有達(dá)到 實(shí)用的階段。 (4)識(shí)別階段：將輸入的語(yǔ)音提取特征矢量參數(shù)后與參考模式庫(kù)中的模式進(jìn)行相似性度量比較，并結(jié)合一定的判別規(guī)則和專(zhuān)家知識(shí)（如構(gòu)詞規(guī)則，語(yǔ)法規(guī)則等 )得出最終的識(shí)別結(jié)果。其中， Mel 頻率倒譜系數(shù)（ MFCC)參數(shù)因其良好的抗噪性和魯棒性而應(yīng)用廣泛。 (2)特征提取模塊：負(fù)責(zé)計(jì)算語(yǔ)音的聲學(xué)參數(shù)，并進(jìn)行特征的計(jì)算，以便提取出反映信號(hào)特征的關(guān)鍵特征參數(shù)用于后續(xù)處理。圖 31 是基于模式匹配原理的自動(dòng)語(yǔ)音識(shí)別系統(tǒng)原理框圖。 、 18 第三章 基于 VC2021 孤立詞語(yǔ)音識(shí)別的 編程 實(shí)現(xiàn) 語(yǔ)音識(shí)別系統(tǒng)原理 及設(shè)計(jì)方法 語(yǔ)音識(shí)別系統(tǒng)的基本原理 使用 C 語(yǔ)言編程，實(shí)現(xiàn)基于 馬爾科夫模型 的數(shù)據(jù)特征提取，在此基礎(chǔ)上編程實(shí)現(xiàn) 特 定 語(yǔ)音實(shí)例 的 語(yǔ)音 識(shí)別；將 語(yǔ)音 識(shí)別功能編寫(xiě)成可供其他模塊調(diào)用的函數(shù)，為進(jìn)一步實(shí)現(xiàn) 語(yǔ)音 識(shí)別系統(tǒng)提供基礎(chǔ)；并且從中培養(yǎng)、提高查閱文獻(xiàn)和綜合運(yùn)用知識(shí)的編程開(kāi)發(fā)能力。 SPMD 形式的缺點(diǎn)是編寫(xiě)困難，因?yàn)橐紤]諸如 并行塊結(jié)構(gòu)是否合適，是否存在冗余的同步等問(wèn)題。利用 OpenMP 的庫(kù)函數(shù) omp _get_num_threads()和 omp _get_ thread _ num ()可以進(jìn)行任務(wù)劃分。 OpenMP 程序下的 SPMD 形式的程序是指在一個(gè)完整的程序有一個(gè)多或多個(gè)具有 SPMD 特征的并行塊組成。這種開(kāi)發(fā)形式的缺點(diǎn)是性能不高，主要有以下幾個(gè)方面的原因：一是對(duì)程序局部進(jìn)行變化，并不能有效地開(kāi)發(fā)并行性；二是頻繁的啟動(dòng)和銷(xiāo)毀線程組，會(huì)帶來(lái)比較高的開(kāi)銷(xiāo)；三是對(duì)程序的局部性（ CACHE 不能有效利用）開(kāi)發(fā)不夠，因?yàn)楹芏嗫缪h(huán)的優(yōu)化無(wú)法實(shí)施。 forkjoin 形式的程序。 通過(guò)流圖的形式來(lái)對(duì) OpenMP 指導(dǎo)命令進(jìn)行描繪，可以很清晰的觀察出 OpenMP 指導(dǎo)命令的特點(diǎn)。 、 14 OpenMP 由指導(dǎo)命令、環(huán)境變量和運(yùn)行庫(kù)組成，見(jiàn)圖 22 通過(guò)在串行程序里加入適當(dāng)?shù)闹笇?dǎo)命令和運(yùn)行庫(kù)函數(shù)，就可以把串行并行化，這種增量并行的模式使得開(kāi)發(fā)并行程序變得很容易。 OpenMP編程模型 OpenMP 介紹 OpenMP 使用 forkjoin(見(jiàn) 圖 21)并行機(jī)制，程序開(kāi)始串行執(zhí)行，此時(shí)只有一個(gè)主線程，然后在遇到用戶(hù)定義的并行區(qū)域時(shí)創(chuàng)建出一組線程。排斥區(qū)異步執(zhí)行的線程同步方法只能用于同一進(jìn)程的線程之問(wèn)共享資源處理，但是這種方法的使用效率較高，而且編程也相對(duì)簡(jiǎn)單一些。創(chuàng)建返回的是 HANDLE 句柄，可以用函數(shù) DuplicateHandle 來(lái)復(fù)制對(duì)象句柄，這樣每個(gè)進(jìn)程都可以擁有同一對(duì)象的句柄，實(shí)現(xiàn)進(jìn)程之間的 線程同步操作?；コ怏w對(duì)象、信號(hào)對(duì)象和事件對(duì)象也可以用于進(jìn)程間的線程同步操作。雖然此時(shí)上面介紹的 3 種方法均可使用，但是，使用排斥區(qū)的方法則使同步管理的效率更高；先定義一個(gè)CRITICAl 一 SECTlON 結(jié)構(gòu)的排斥區(qū)對(duì)象，在進(jìn)程使用之前先對(duì)對(duì)象進(jìn)行初始化，調(diào)用如下函數(shù)： VO1D Initialize Critical Section(LPCRlTlCAL— SECTlON)；當(dāng)一個(gè)線程使用排斥區(qū)時(shí) ，調(diào)用函數(shù)： EnterCriticalSection 或者 TryEnterCriticalSection；當(dāng)要求占用、退出排斥區(qū)時(shí)，調(diào)用函數(shù)： LeaveCriticalSection。如果是手工釋放 ，則按照上述 2 個(gè)函數(shù)處理事件的狀態(tài)；如果是自動(dòng)釋放，則在一個(gè)線程結(jié)束后，自動(dòng)清除事件狀態(tài)，允許其他線程通過(guò)。 (3)利用事件對(duì)象的狀態(tài)，進(jìn)行線程對(duì)共享資源的訪問(wèn)用 ResetEvent 函數(shù)設(shè)置事件對(duì)象狀態(tài)為不允許線程通過(guò)；用 SetEvent 函數(shù)設(shè)置事件對(duì)象狀態(tài)為可以允許線程通過(guò)。假定一個(gè)應(yīng)用在創(chuàng)建一個(gè)信號(hào)對(duì)象時(shí)，將其計(jì)數(shù)器的初始值設(shè)為 0，這樣就阻塞了其他線程，保護(hù)了資源。其中 ，計(jì)數(shù)器值≤創(chuàng)建時(shí)指定的最大值。共享資源訪問(wèn)完后，釋放對(duì)信號(hào)對(duì)象的占用： ReleaseSemaphore()；信號(hào)對(duì)象允許同時(shí)對(duì)多個(gè)線程共享資源的訪問(wèn)，在創(chuàng)建對(duì)象時(shí)指定最大可同時(shí)訪問(wèn)的線程數(shù)。這類(lèi)似于互 斥體對(duì)象的處理。當(dāng)互斥體對(duì)象被一個(gè)線程占用時(shí)，若有另一線程想占用他，則必須等到前一線程釋放后才能成功。這時(shí)如果不進(jìn)行沖突控制的話，則很可能顯示的是不正確的結(jié)果。但是，在多線程處理時(shí)情況常常不是這樣，線程之間經(jīng)常要同時(shí)訪問(wèn)一些資源。如果要中止的線程是進(jìn)程內(nèi)的最后一個(gè)線程，則在線程被中止后相應(yīng)的進(jìn)程也應(yīng)中止。但應(yīng)注意：該函數(shù)可能會(huì)引起系統(tǒng)不穩(wěn)定，而且線程所占用的資源也不釋放。當(dāng)線程的函數(shù)返回后，線程自動(dòng)中止。創(chuàng)建了新的線程后，則該線程就開(kāi)始啟動(dòng)執(zhí)行了。 LPDW0RDIpThreadId)； 其中： lpThreadAttributes 指定了線程的安全屬性，在 Windows 95 中被忽略； dwStackSize指定了線程的堆棧深度； lpStartAddress 指定了線程的起始地址，一般情況為原型函數(shù)DW0RDWINAPI ThreadFunc (I PVOID)； lpParameter 指定了線程執(zhí)行時(shí)傳送給線程的 32 位參數(shù)，即上面函數(shù)的參數(shù)； dwCreationFlags 指定了線程創(chuàng)建的特性； lpThreadld 指向一 個(gè) DWORD變量，可返回線程 ID 值。 、 12 LPTHREAD— START— ROUTINE lpStartAddress。首先，在應(yīng)用程序的主線程或者其他活動(dòng)線程的適當(dāng)?shù)胤絼?chuàng)建新的線程。工作者線程沒(méi)有消息泵，一般用來(lái)完成后臺(tái) 工作。 基于 Win 32 基礎(chǔ)上進(jìn)行多線程編程的過(guò)程線程分用戶(hù)界面線程和工作者線程 2 種。雖然在進(jìn)程中進(jìn)行費(fèi)時(shí)的工作不會(huì)導(dǎo)致系統(tǒng)的掛起，但這會(huì)導(dǎo)致進(jìn)程本身的掛起。進(jìn)程中的所有線程 共享進(jìn)程的虛擬地址空間，這意味著所有線程都可以訪問(wèn)進(jìn)程的全局變量和資源。實(shí)際上，在 PC 機(jī)中，同一時(shí)間只有一個(gè)線程在運(yùn)行。系統(tǒng)不停地在各個(gè)線程之間切換，他對(duì)線程的中斷是匯編語(yǔ)言級(jí)的。進(jìn)程中的線程是并行執(zhí)行的，每個(gè)線程占用 CPU 的時(shí)間由系統(tǒng)來(lái)劃分。 進(jìn)程就是 應(yīng)用程序的運(yùn)行實(shí)例。而在 Windows 95／ NT 中，一個(gè)程序的崩潰一般不會(huì)造成死機(jī)，其他程序仍然可以運(yùn)行，用戶(hù)可以按 Ctrl+Alt+Del 鍵來(lái)打開(kāi)任務(wù)列表并關(guān)閉沒(méi)有響應(yīng)的程序。程序不必調(diào)用像 PeekMessage 這樣的函數(shù)來(lái)放棄對(duì) CPU 的控制權(quán)，就可以進(jìn)行費(fèi)時(shí)的工作，而且不會(huì)導(dǎo)致系統(tǒng)的掛起。系統(tǒng)為每個(gè)程序分配一定的 CPU 時(shí)間，當(dāng)程序的運(yùn)行超過(guò)規(guī)定時(shí)間后，系統(tǒng)就會(huì)中斷該程序并把 CPU 控制權(quán)轉(zhuǎn)交給別的程序。這樣，基本公式就可以更加具體的寫(xiě)成： 對(duì)于解碼器來(lái)所，就是要在由 ui 以及時(shí)間標(biāo)度 t 張成的搜索空間中，找到上式所指明的W。為了表示方便，也可以定義一個(gè)由到 U 的全集的笛卡爾積 ，而發(fā)音詞典則是這個(gè)笛卡爾積的一個(gè)子集。 為了將聲學(xué)模型建模單元串映射到符號(hào)集，就需要發(fā)音詞典發(fā)揮作用。 從這個(gè)角度來(lái)看，信號(hào)處理模塊提供了對(duì)輸入信號(hào)的預(yù)處理，也就是說(shuō)，提供了從采集的語(yǔ)音信號(hào) (記為 S)到 特征序列 O 的映射。 從數(shù)學(xué)角度可以更加清楚的了解上述模塊之間的關(guān)系。理論上，包括正則語(yǔ)言，上下文無(wú)關(guān)文法在內(nèi)的各種語(yǔ)言模型都可以作為語(yǔ)言模型，但目前各種系統(tǒng)普遍采用的還是基于統(tǒng)計(jì)的 N 元文法及其變體。發(fā)音詞典實(shí)際提供了聲學(xué)模型建模單元與語(yǔ)言模型建模單元間的映射。 發(fā)音詞典。統(tǒng)計(jì)聲學(xué)模型。該模塊的主要任務(wù)是從輸入信號(hào)中提取特征，供聲學(xué)模型處理。 目前，主流的大詞匯量語(yǔ)音識(shí)別系統(tǒng)多采用統(tǒng)計(jì)模式識(shí)別技術(shù)。這些不同的限制也確定了語(yǔ)音識(shí)別系統(tǒng)的困難度。隨著計(jì)算機(jī)與數(shù)字信號(hào)處理器運(yùn)算能力以及識(shí)別系統(tǒng)精度的提高，識(shí)別系統(tǒng)根據(jù)詞匯、 10 量大小進(jìn)行分類(lèi)也不斷進(jìn)行變化。 (3)大詞匯量語(yǔ)音識(shí)別系統(tǒng)。 (2)中等詞匯量的語(yǔ)音識(shí)別系統(tǒng)。 如果從識(shí)別系統(tǒng)的詞匯量大小考慮，也可以將識(shí)別系統(tǒng)分為 3 類(lèi)： (1)小詞匯量語(yǔ)音識(shí)別系統(tǒng)。如果從說(shuō)話者與識(shí)別系統(tǒng)的相關(guān)性考慮，可以將識(shí)別系統(tǒng)分為 3 類(lèi)： (1)特定人語(yǔ)音識(shí)別系統(tǒng)：僅考慮對(duì)于專(zhuān)人的話音進(jìn)行識(shí)別；(2)非特定人語(yǔ)音系統(tǒng)：識(shí)別的語(yǔ)音與人無(wú)關(guān)，通常要用大量不同人的語(yǔ)音數(shù)據(jù)庫(kù)對(duì)識(shí)別系統(tǒng)進(jìn)行學(xué)習(xí)； (3)多人的識(shí) 別系統(tǒng)：通常能識(shí)別一組人的語(yǔ)音，或者成為特定組語(yǔ)音識(shí)別系統(tǒng)，該系統(tǒng)僅要求對(duì)要識(shí)別的那組人的語(yǔ)音進(jìn)行訓(xùn)練。很多專(zhuān)家都認(rèn)為語(yǔ)音識(shí)別技術(shù)是 2021 年至 2021 年間信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。人們預(yù)計(jì)，未來(lái) 10 年內(nèi)，語(yǔ)音識(shí)別技術(shù)將進(jìn)入工業(yè)