【文章內(nèi)容簡(jiǎn)介】 x 年 等學(xué)者 提出基于噪聲特征空間投影的魯棒性端點(diǎn)檢測(cè)算法 [4 ]。 語音與噪音 在能量域 通常 有不同的分布，如果我們能分清含有低功率噪音和高功率語音的成分，即使帶噪語音的平均信噪比很低，我們也有可能提取更多可靠的語音信息。 由 此，首先，用主元分析 (PCA)分析噪聲觀察值的估計(jì)協(xié)方差矩陣構(gòu)造噪聲特征空間。將帶噪語音映射到噪聲特征空間。在具 有較小特征值得子特征空間中可以找到可靠的信息。與規(guī)模較小的特征值。因此，基于可靠信息就可以實(shí)現(xiàn)魯棒性 VAD。 除了 上述 幾種方法外，近些年來，還有短時(shí)分形維數(shù)的帶噪聲語音信號(hào)端點(diǎn)檢測(cè)方法；應(yīng)用倒譜系數(shù)作為判決特征的帶噪語音端點(diǎn)檢測(cè)方法，它包括應(yīng)用倒譜距離測(cè)量軌跡和應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)的方法。經(jīng)過研究發(fā)現(xiàn)，倒譜 4 特征參數(shù)的語音信號(hào)端點(diǎn)檢測(cè)方法 [5]在噪聲環(huán)境下具有傳統(tǒng)的能量方法無法比擬的優(yōu)越性。基于 HMM 模型的檢測(cè)方法也是語音信號(hào)端點(diǎn)檢測(cè)中的重要方法，用 viterbi 解碼算法對(duì)待測(cè)信號(hào)進(jìn)行分解，求出語音的哪些語音幀與模型相匹配，從而得出端點(diǎn)所在處。隨著小波分析在信號(hào)處理領(lǐng)域的廣泛應(yīng)用，也有不少基于小波分析語音端點(diǎn)檢測(cè)算法被提出，如：選擇小波部分子帶跟蹤信號(hào)的能量變化以實(shí)現(xiàn)端點(diǎn)檢測(cè)，將小波變換模極大值應(yīng)用于信號(hào)突變點(diǎn)的檢測(cè)等 [6]。 數(shù)字信號(hào)處理器 (DSP)的發(fā)展?fàn)顩r DSP(Digital Signal Processing)是一種具有特殊結(jié)構(gòu)的微處理器，是建立在數(shù)字信號(hào)處理的各種理論和算法基礎(chǔ)上，專門完成各種實(shí)時(shí)數(shù)字信息處理的芯片。與單片機(jī)相比， DSP 有著更適合數(shù)字信號(hào)處理的優(yōu)點(diǎn)。芯片內(nèi)部采用程序和數(shù)據(jù)分開的哈佛結(jié)構(gòu) ，具有專門的硬件乘法器，廣泛采用流水線操作，具有良好的并行特性，提供特殊的 DSP 指令，可以快速地實(shí)現(xiàn)各種數(shù)字信號(hào)處理算法 。 DSP 發(fā)展歷程大致分為三個(gè)階段： 70 年代理論先行， 80 年代產(chǎn)品普及， 90 年代突飛猛進(jìn)。在 DSP 出現(xiàn)之前數(shù)字信號(hào)處理主要依靠 MPU（ 微處理器 ） 來完成。但 MPU 較低的處理速度無法滿足高速實(shí)時(shí)的要求。因此，直到 70 年代，有人才提出了 DSP 的理論和算法基礎(chǔ)。隨著大規(guī)模集成電路技術(shù)的發(fā)展， 1982 年世界上誕生了首枚通用可編程 DSP 芯片 TI 公司 的TMS320xx。 DSP 芯片的問世是個(gè)里程碑，它標(biāo)志 著 DSP 應(yīng)用系統(tǒng)由大型系統(tǒng)向小型化邁進(jìn)了一大步。當(dāng)時(shí)的 DSP 技術(shù)在醫(yī)療電子、生物電子、應(yīng)用地球物理等領(lǐng)域獲得應(yīng)用。進(jìn)入 80 年代后期，隨著數(shù)字信號(hào)處理技術(shù)應(yīng)用范圍的擴(kuò)大，要求提高處理速度，到 1988 年出現(xiàn)了浮點(diǎn) DSP，同時(shí)提供了高級(jí)語言的編譯器，使運(yùn)算速度進(jìn)一步提高，其應(yīng)用范圍逐步擴(kuò)大到通信、計(jì)算機(jī)領(lǐng)域。 90 年代 DSP 發(fā)展十分驚人，相繼出現(xiàn)了第四代和第五代 DSP器件。以 DSP 作為主要元件，再加上外圍設(shè)備和特定功能單元綜合成的單一芯片，加速了 DSP 解決方案 (DSP Solution)的發(fā)展，同時(shí)產(chǎn)品價(jià)格降低，運(yùn) 算速度和集成度大幅提高 [7]。 進(jìn)入 21 世紀(jì)， DSP 正 向著 高速，高系統(tǒng)集成，高性能方向發(fā)展。當(dāng)前的 DSP 多數(shù)基于 RISC（ 精簡(jiǎn)指令集計(jì)算機(jī) ） 結(jié)構(gòu)，且進(jìn)入了 VLSI（ 超大規(guī)模集成電路 ） 階段。如 TI 公司的 TMS320C80 代表了新一代芯片集成技 5 術(shù)，它將 4 個(gè) 32 位的 DSP， 1 個(gè) 32 位 RISC 主處理器， 1 個(gè)傳輸控制器， 2個(gè)視頻控制器和 50Kb SRAM 集成在一個(gè)芯片上。這樣的芯片通常稱之為MVP（ 多媒體視頻處理器 ） 。它可支持各種圖像規(guī)格和各種算法，功能相當(dāng)強(qiáng)。而第六代 TMSC6000 系列則是目前速度最快，性能最高的 DSP 芯片，該系列芯片的發(fā)展 中有高至 5000MIPS， 3G FLOPS 的處理性能。按照CMOS 的發(fā)展趨勢(shì)， DSP 的運(yùn)算速度提高到 1000MIPS 是完全有可能的。 作為 DSP 業(yè)界公認(rèn)的龍頭， TI 一直在技術(shù)上獨(dú)領(lǐng)風(fēng)騷，為 適應(yīng) 不同領(lǐng)域提供了不同的解決方案。 TI 公司將常用的 DSP 芯片歸納為三大系列，即TMS320C20xx 系列 (TMS320C2xx)， TMS320C5000(TMS320C54xx/C55x)，TMS320C6000 系列 (TMS320C62x/67x)。其中 C54xx 以其低廉的價(jià)格，低功耗和高性能等 特點(diǎn)被廣泛應(yīng)用到通信和個(gè)人消費(fèi)電子領(lǐng)域。而以 C54xx 系列內(nèi)核為基礎(chǔ)的 DSP 器件 TMS320C5402 不僅繼承了上述優(yōu)點(diǎn)，而且存儲(chǔ)器有三個(gè)獨(dú)立的可選擇的空間：程序存儲(chǔ)空間、數(shù)據(jù)存儲(chǔ)空間和 I/O 空間。大小都是 64K，總共是 192K 大小。包括隨機(jī)存儲(chǔ)器 (RAM)和只讀存儲(chǔ)器(ROM) 。其中， TMS320C5402 所 采 用的 RAM 是 雙 存 取訪 問 RAM (DARAM)。片上雙存取訪問 RAM 被組織在一些塊上，因?yàn)槊總€(gè) DARAM塊能夠在每個(gè)機(jī)器周期中被訪問兩次，結(jié)合并行的體系結(jié)構(gòu)，使得 5402 得以在一個(gè)指定的周期內(nèi)完成四個(gè) 并發(fā)的存儲(chǔ)器操作：一個(gè)取指操作、兩個(gè)數(shù)據(jù)讀操作和一個(gè)數(shù)據(jù)寫操作。 DARAM 總是被映射到數(shù)據(jù)存儲(chǔ)空間上，也可被映射進(jìn)程序存儲(chǔ)空間用于保存程序代碼。 TMS320C5402 的 26 個(gè) CPU 寄存器和片上外設(shè)寄存器被映射在數(shù)據(jù)存儲(chǔ)空間。所以， TMS320C5402 是 54系列芯片的典型代表。本文開發(fā)的系統(tǒng)就是建立在 TMS320C5402 的基礎(chǔ)上。 本論文主要把語音端點(diǎn)檢測(cè)的算法應(yīng)用到實(shí)際的音視頻矩陣控制系統(tǒng)中，借住了 TI 公司的數(shù)字信號(hào)處理器 TMS320C5402 利用語音端點(diǎn)檢測(cè)的算法實(shí)現(xiàn)音視頻矩陣的智能控制，符合了音視頻 矩陣控制的發(fā)展現(xiàn)狀。 本論文主要工作內(nèi)容和任務(wù) 本文以語音端點(diǎn)檢測(cè)的算法為核心，以小波分析理論為基礎(chǔ)，分析討論了子帶平均能量方差和小波系數(shù)方差的算法，并將優(yōu)化算法運(yùn)用到了基于DSP 音視頻矩陣控制的系統(tǒng)中，本論文主要工作如下： 1．掌握語音信號(hào)處理的相關(guān)理論和處理方法， 分析 基于小波理論的 子 6 帶平均能量方差和小波系數(shù)方差的語音端點(diǎn)檢測(cè)算法 。本文主要研究音頻信號(hào)的處理，對(duì)視頻信號(hào)只用做控制和傳輸。 2．使用 MATLAB 軟件進(jìn)行算法仿真，分析實(shí)驗(yàn)結(jié)果得出并驗(yàn)證優(yōu)化后的算法。 3．掌握 DSP 開發(fā)板的工作原理、硬件結(jié)構(gòu)， 以 TMS320C5402 為核心設(shè)計(jì)硬件電路。 4．使用 CCS 開發(fā)環(huán)境進(jìn)行 軟件系統(tǒng)的設(shè)計(jì) ， 算法的移植與 DSP 內(nèi)核的配置、針對(duì)硬件平臺(tái)對(duì)應(yīng)用程序的編寫和實(shí)現(xiàn)。 5．優(yōu)化系統(tǒng)，對(duì)軟硬件進(jìn)行合理配置，提高系統(tǒng)性能。 7 第 2章 語音端點(diǎn)檢測(cè)算法的分析 及其優(yōu)化 語音分析的一般方法 計(jì)算機(jī)語音分析是計(jì)算機(jī)語音處理的一個(gè)重要內(nèi)容，也是計(jì)算機(jī)語音合成及語音識(shí)別的基礎(chǔ) [8 ]。計(jì)算機(jī)合成的語音音質(zhì)的好壞，計(jì)算機(jī)語音識(shí)別率的高低，都取決于計(jì)算機(jī)語音分析工作質(zhì)量的高低。例如 ： 利用帶通濾波器組法來進(jìn)行計(jì)算機(jī)語音識(shí)別，其先決條件是要弄清楚語音的共 振峰的幅值、個(gè)數(shù)、頻率變化范圍及其分布情況。因此，可以先對(duì)語音做頻譜分析，得到提高語音識(shí)別率的有用數(shù)據(jù)，并據(jù)此來設(shè)計(jì)計(jì)算機(jī)語音識(shí)別系統(tǒng)的硬件和軟件。 國外的經(jīng)驗(yàn)說明，語音分析的工作必須先于其它的語音處理工作。例如， 20 世紀(jì) 40 年代，貝爾電話實(shí)驗(yàn)室的研究人員就對(duì)語音分析做了大量、細(xì)微且卓有成效的工作，這些工作的成果推動(dòng)了計(jì)算機(jī)語音處理的發(fā)展。 語音分析有時(shí)域分析、頻譜分析和語譜分析 3 種方法。這 3 種方法分別由對(duì)應(yīng)的圖來表示：時(shí)域分析對(duì)應(yīng)時(shí)域波形圖 、 頻譜分析對(duì)應(yīng)頻域波形圖 、語譜分析則對(duì)應(yīng)語譜圖。 時(shí)域分析法 時(shí)域 分析是最早被使用的一種方法，也是應(yīng)用范圍最廣泛的一種方法。各種電信號(hào)可以記錄成時(shí)域波形，人體的生物電 （ 如腦電、心電等 ） 也可以記錄成時(shí)域波形。語音的時(shí)域分析采用時(shí)域波形圖，一般來說，橫坐標(biāo)是時(shí)間，縱坐標(biāo)是幅值。 時(shí)域分析法的特點(diǎn)是： 1． 用時(shí)域波形表示的語音信號(hào)比較直觀，清晰易懂 。 2． 時(shí)域波形語音信號(hào)的數(shù)字處理實(shí)現(xiàn)起來比較簡(jiǎn)單 。 3． 用時(shí)域語音信號(hào)進(jìn)行一些數(shù)字處理，可以得到語音信號(hào)的一些重要特征參數(shù)，為分析語音信號(hào)提供了有用的基礎(chǔ) 。 4． 分析語音信號(hào)的時(shí)域波形圖，所采用的方法較為簡(jiǎn)單 。 音頻時(shí)域波形圖如圖 21 所示 。 8 圖 21 音頻時(shí)域波形圖 The plot of audio in time domain 頻域分析方法 頻域分析是常用的第二種語音分析方法。語音信號(hào)的頻域分析包含有語音信號(hào)的頻譜、功率譜、倒頻譜、頻譜包絡(luò)、短時(shí)間頻譜等。常用的頻域分析方法有帶通濾波器組法、傅立葉變換法、線性預(yù)測(cè)法等幾種。與上文時(shí)域圖相對(duì)應(yīng)的一幅頻譜圖如圖 22 所示。 圖 22 音頻頻域波形圖 plot of audio in frequency domain 9 頻域分析方法的特點(diǎn)是： 1． 語音信號(hào)的頻譜波形不太容易受外界環(huán)境的影響，而時(shí)域波形易隨外界環(huán)境變化 。 2． 語音信號(hào)的頻譜具有非常明顯的聲學(xué)概念，利用頻譜分析獲得的語音特征具有實(shí)際的物理意義 。 3． 頻域分析容易獲得某些重要的音頻特征參數(shù)，如信息嫡、帶寬、共振峰等 。 4． 頻域分析要用到 FFT 變換等，有時(shí)會(huì)需要專門的硬件工具 。 語譜分析法 利用語譜圖是第三種語音分析方法。 20 世紀(jì) 40 年代已經(jīng)研制成功了語譜儀，將它用于語音分析做出的圖叫語譜圖。語譜圖的橫坐標(biāo)是時(shí)間，縱坐標(biāo)是頻率，黑度是第三個(gè)坐標(biāo)，表示音強(qiáng)。語譜圖提供有關(guān)不同時(shí)間不同頻率的相對(duì)音強(qiáng)的有價(jià)值信息，可以在二個(gè)維度 （ 時(shí)間及頻率 ） 上表示出音強(qiáng)的關(guān)系。 語譜分析法的特點(diǎn)是： 1． 它是時(shí)間、頻率、音強(qiáng)的三位顯示圖，同時(shí) 也是時(shí)域波形與頻譜圖的結(jié)合。這一點(diǎn)是優(yōu)于前兩種分析方法的 。 從語譜圖中可以得到一些頻域分析參數(shù) （ 如共振峰、基音周期等 ）隨語音發(fā)生過程 （ 時(shí)間 ） 的變化情況，這是 前兩種分析方法所沒有的 。 3． 從語譜圖上還可以得到能量隨語音發(fā)生過程 （ 時(shí)間 ） 的變化情況，由此可以區(qū)別濁音及清音、輔音 （ 或聲母 ） 等的不同種類。 4． 由于語譜圖具有不同的黑白程度，形成不同的花紋，這種花紋被稱作聲紋。與不同的人有不同的指紋類似，不同講話者的語譜圖有不同的聲紋，據(jù)此可以用于識(shí)別講話者的身份。 論文中用到了時(shí)域分析方法和頻域分析方法，分別提取分析了時(shí)域和頻域中的一些重要音頻特征參數(shù)。對(duì)于語譜分析方法，目前在語音端點(diǎn)檢測(cè)的方法中應(yīng)用還有待進(jìn)一步的研究。 語音端點(diǎn)檢測(cè)算法的分析 隨著越來越多的學(xué)者對(duì)語音 端點(diǎn)檢測(cè)技術(shù)的關(guān)注，大量新的語音端點(diǎn)檢測(cè)算法相繼被提出。通過大量的文獻(xiàn)調(diào)研與實(shí)際研究發(fā)現(xiàn)，現(xiàn)有的各種語音 10 信號(hào)端點(diǎn)檢測(cè)技術(shù)都存在各自的不足，比如基于自相關(guān)相似距離的語音信號(hào)端點(diǎn)檢測(cè)方法，總的來說它與 HMM 方法的效果大致相同，但是對(duì)于結(jié)尾的判斷卻優(yōu)于 HMM 模型，這是因?yàn)檎Z音大多以濁音結(jié)尾，此時(shí)自相關(guān)法的判斷精度較高，但是對(duì)于清音開頭的語音，尤其是 [s]， [ks]， [n]等音節(jié)，自相關(guān)算法的檢測(cè)精度就不高。主要幾類方法各自的優(yōu)點(diǎn)與不足列于表 21。 表 21 各類方法優(yōu)缺點(diǎn)比較 Table 21 The camparison of characteristic of several methods 方法 優(yōu)點(diǎn) 缺點(diǎn) 短時(shí)平均過零率 較簡(jiǎn)單 難以識(shí)別弱爆破音、摩擦音、 末尾的鼻音拖長(zhǎng)的元音等 短時(shí)能量或平均幅度 較簡(jiǎn)單 弱摩擦音與結(jié)尾時(shí)的鼻音易和 噪聲混淆 HMM 較準(zhǔn)確 需要事先訓(xùn)練 雙門限比較法 有效區(qū)分語音信號(hào)中的 濁音和噪聲 難以區(qū)分清音和噪聲 自相關(guān)相似距離 對(duì)濁音的檢測(cè)精度較高 對(duì)開端的清音檢測(cè)精度不夠 頻帶方差 較準(zhǔn)確 在脈沖干擾下門限值需要 測(cè)定 盡管語音端點(diǎn)檢測(cè)的研究工作迄今已近幾十年，取 得了輝煌的成就，但是現(xiàn)有的語音識(shí)別系統(tǒng)還面臨著許多困難，具體表現(xiàn)在以下幾個(gè)方面： 1．語音端點(diǎn)檢測(cè)算法的適應(yīng)性差。主要體現(xiàn)在對(duì)環(huán)境條件的依賴性很強(qiáng)，繼續(xù)要保持測(cè)試條件和訓(xùn)練條件的一致性，否則系統(tǒng)性能嚴(yán)重下降。另外，全世界有近百種官方語言，每種語言有多達(dá)幾十種方言，同種語言的不同方 言 在語音上相差懸殊，這樣，隨著語言環(huán)境的改變，系統(tǒng)性能也會(huì)變得很差。 2．噪聲問題，在強(qiáng)噪聲干擾環(huán)境下語音端點(diǎn)檢測(cè)困難。由于語音數(shù)據(jù)大部分都是在接近理想的條件下采集的，語音一般都要在高保真設(shè)備上錄制語音，尤其要在無噪環(huán)境下錄音。然而 ，當(dāng)語音處理由實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用時(shí)，環(huán)境噪聲的存在所帶來的問題就變得越來越重要。 3．對(duì)于一些能量較低的爆破音、鼻音，如： ///,//,//,//,/ shstthf 等，與噪聲相混合容易造成誤判而截去這些音節(jié)的有效成分，對(duì)識(shí)別結(jié)果造成影響。 11 4．為了更好的應(yīng)用，理想的端點(diǎn)檢測(cè)應(yīng)具備以下特點(diǎn)：可靠性 、 魯棒性、低的存儲(chǔ)器和計(jì)算資源消耗、實(shí)時(shí)性、自適應(yīng)性和不需要對(duì)噪音的先驗(yàn)知識(shí) 等 [9]。 基于上述提到的噪聲和適應(yīng)性 等 問題，論文在研究了兩種基于小波的語音端點(diǎn)檢測(cè)算