【文章內容簡介】 x 年 等學者 提出基于噪聲特征空間投影的魯棒性端點檢測算法 [4 ]。 語音與噪音 在能量域 通常 有不同的分布，如果我們能分清含有低功率噪音和高功率語音的成分，即使帶噪語音的平均信噪比很低，我們也有可能提取更多可靠的語音信息。 由 此，首先，用主元分析 (PCA)分析噪聲觀察值的估計協(xié)方差矩陣構造噪聲特征空間。將帶噪語音映射到噪聲特征空間。在具 有較小特征值得子特征空間中可以找到可靠的信息。與規(guī)模較小的特征值。因此，基于可靠信息就可以實現(xiàn)魯棒性 VAD。 除了 上述 幾種方法外，近些年來，還有短時分形維數(shù)的帶噪聲語音信號端點檢測方法；應用倒譜系數(shù)作為判決特征的帶噪語音端點檢測方法，它包括應用倒譜距離測量軌跡和應用循環(huán)神經網絡的方法。經過研究發(fā)現(xiàn)，倒譜 4 特征參數(shù)的語音信號端點檢測方法 [5]在噪聲環(huán)境下具有傳統(tǒng)的能量方法無法比擬的優(yōu)越性?；?HMM 模型的檢測方法也是語音信號端點檢測中的重要方法，用 viterbi 解碼算法對待測信號進行分解，求出語音的哪些語音幀與模型相匹配，從而得出端點所在處。隨著小波分析在信號處理領域的廣泛應用，也有不少基于小波分析語音端點檢測算法被提出，如：選擇小波部分子帶跟蹤信號的能量變化以實現(xiàn)端點檢測，將小波變換模極大值應用于信號突變點的檢測等 [6]。 數(shù)字信號處理器 (DSP)的發(fā)展狀況 DSP(Digital Signal Processing)是一種具有特殊結構的微處理器，是建立在數(shù)字信號處理的各種理論和算法基礎上，專門完成各種實時數(shù)字信息處理的芯片。與單片機相比， DSP 有著更適合數(shù)字信號處理的優(yōu)點。芯片內部采用程序和數(shù)據(jù)分開的哈佛結構 ，具有專門的硬件乘法器，廣泛采用流水線操作，具有良好的并行特性，提供特殊的 DSP 指令，可以快速地實現(xiàn)各種數(shù)字信號處理算法 。 DSP 發(fā)展歷程大致分為三個階段： 70 年代理論先行， 80 年代產品普及， 90 年代突飛猛進。在 DSP 出現(xiàn)之前數(shù)字信號處理主要依靠 MPU（ 微處理器 ） 來完成。但 MPU 較低的處理速度無法滿足高速實時的要求。因此，直到 70 年代，有人才提出了 DSP 的理論和算法基礎。隨著大規(guī)模集成電路技術的發(fā)展， 1982 年世界上誕生了首枚通用可編程 DSP 芯片 TI 公司 的TMS320xx。 DSP 芯片的問世是個里程碑，它標志 著 DSP 應用系統(tǒng)由大型系統(tǒng)向小型化邁進了一大步。當時的 DSP 技術在醫(yī)療電子、生物電子、應用地球物理等領域獲得應用。進入 80 年代后期，隨著數(shù)字信號處理技術應用范圍的擴大，要求提高處理速度，到 1988 年出現(xiàn)了浮點 DSP，同時提供了高級語言的編譯器，使運算速度進一步提高，其應用范圍逐步擴大到通信、計算機領域。 90 年代 DSP 發(fā)展十分驚人，相繼出現(xiàn)了第四代和第五代 DSP器件。以 DSP 作為主要元件，再加上外圍設備和特定功能單元綜合成的單一芯片，加速了 DSP 解決方案 (DSP Solution)的發(fā)展，同時產品價格降低，運 算速度和集成度大幅提高 [7]。 進入 21 世紀， DSP 正 向著 高速，高系統(tǒng)集成，高性能方向發(fā)展。當前的 DSP 多數(shù)基于 RISC（ 精簡指令集計算機 ） 結構，且進入了 VLSI（ 超大規(guī)模集成電路 ） 階段。如 TI 公司的 TMS320C80 代表了新一代芯片集成技 5 術，它將 4 個 32 位的 DSP， 1 個 32 位 RISC 主處理器， 1 個傳輸控制器， 2個視頻控制器和 50Kb SRAM 集成在一個芯片上。這樣的芯片通常稱之為MVP（ 多媒體視頻處理器 ） 。它可支持各種圖像規(guī)格和各種算法，功能相當強。而第六代 TMSC6000 系列則是目前速度最快，性能最高的 DSP 芯片，該系列芯片的發(fā)展 中有高至 5000MIPS， 3G FLOPS 的處理性能。按照CMOS 的發(fā)展趨勢， DSP 的運算速度提高到 1000MIPS 是完全有可能的。 作為 DSP 業(yè)界公認的龍頭， TI 一直在技術上獨領風騷，為 適應 不同領域提供了不同的解決方案。 TI 公司將常用的 DSP 芯片歸納為三大系列，即TMS320C20xx 系列 (TMS320C2xx)， TMS320C5000(TMS320C54xx/C55x)，TMS320C6000 系列 (TMS320C62x/67x)。其中 C54xx 以其低廉的價格，低功耗和高性能等 特點被廣泛應用到通信和個人消費電子領域。而以 C54xx 系列內核為基礎的 DSP 器件 TMS320C5402 不僅繼承了上述優(yōu)點，而且存儲器有三個獨立的可選擇的空間：程序存儲空間、數(shù)據(jù)存儲空間和 I/O 空間。大小都是 64K，總共是 192K 大小。包括隨機存儲器 (RAM)和只讀存儲器(ROM) 。其中， TMS320C5402 所 采 用的 RAM 是 雙 存 取訪 問 RAM (DARAM)。片上雙存取訪問 RAM 被組織在一些塊上，因為每個 DARAM塊能夠在每個機器周期中被訪問兩次，結合并行的體系結構，使得 5402 得以在一個指定的周期內完成四個 并發(fā)的存儲器操作：一個取指操作、兩個數(shù)據(jù)讀操作和一個數(shù)據(jù)寫操作。 DARAM 總是被映射到數(shù)據(jù)存儲空間上，也可被映射進程序存儲空間用于保存程序代碼。 TMS320C5402 的 26 個 CPU 寄存器和片上外設寄存器被映射在數(shù)據(jù)存儲空間。所以， TMS320C5402 是 54系列芯片的典型代表。本文開發(fā)的系統(tǒng)就是建立在 TMS320C5402 的基礎上。 本論文主要把語音端點檢測的算法應用到實際的音視頻矩陣控制系統(tǒng)中，借住了 TI 公司的數(shù)字信號處理器 TMS320C5402 利用語音端點檢測的算法實現(xiàn)音視頻矩陣的智能控制，符合了音視頻 矩陣控制的發(fā)展現(xiàn)狀。 本論文主要工作內容和任務 本文以語音端點檢測的算法為核心，以小波分析理論為基礎，分析討論了子帶平均能量方差和小波系數(shù)方差的算法，并將優(yōu)化算法運用到了基于DSP 音視頻矩陣控制的系統(tǒng)中，本論文主要工作如下： 1．掌握語音信號處理的相關理論和處理方法， 分析 基于小波理論的 子 6 帶平均能量方差和小波系數(shù)方差的語音端點檢測算法 。本文主要研究音頻信號的處理，對視頻信號只用做控制和傳輸。 2．使用 MATLAB 軟件進行算法仿真，分析實驗結果得出并驗證優(yōu)化后的算法。 3．掌握 DSP 開發(fā)板的工作原理、硬件結構， 以 TMS320C5402 為核心設計硬件電路。 4．使用 CCS 開發(fā)環(huán)境進行 軟件系統(tǒng)的設計 ， 算法的移植與 DSP 內核的配置、針對硬件平臺對應用程序的編寫和實現(xiàn)。 5．優(yōu)化系統(tǒng)，對軟硬件進行合理配置，提高系統(tǒng)性能。 7 第 2章 語音端點檢測算法的分析 及其優(yōu)化 語音分析的一般方法 計算機語音分析是計算機語音處理的一個重要內容，也是計算機語音合成及語音識別的基礎 [8 ]。計算機合成的語音音質的好壞，計算機語音識別率的高低，都取決于計算機語音分析工作質量的高低。例如 ： 利用帶通濾波器組法來進行計算機語音識別，其先決條件是要弄清楚語音的共 振峰的幅值、個數(shù)、頻率變化范圍及其分布情況。因此，可以先對語音做頻譜分析，得到提高語音識別率的有用數(shù)據(jù)，并據(jù)此來設計計算機語音識別系統(tǒng)的硬件和軟件。 國外的經驗說明，語音分析的工作必須先于其它的語音處理工作。例如， 20 世紀 40 年代，貝爾電話實驗室的研究人員就對語音分析做了大量、細微且卓有成效的工作，這些工作的成果推動了計算機語音處理的發(fā)展。 語音分析有時域分析、頻譜分析和語譜分析 3 種方法。這 3 種方法分別由對應的圖來表示：時域分析對應時域波形圖 、 頻譜分析對應頻域波形圖 、語譜分析則對應語譜圖。 時域分析法 時域 分析是最早被使用的一種方法，也是應用范圍最廣泛的一種方法。各種電信號可以記錄成時域波形，人體的生物電 （ 如腦電、心電等 ） 也可以記錄成時域波形。語音的時域分析采用時域波形圖，一般來說，橫坐標是時間，縱坐標是幅值。 時域分析法的特點是： 1． 用時域波形表示的語音信號比較直觀，清晰易懂 。 2． 時域波形語音信號的數(shù)字處理實現(xiàn)起來比較簡單 。 3． 用時域語音信號進行一些數(shù)字處理，可以得到語音信號的一些重要特征參數(shù)，為分析語音信號提供了有用的基礎 。 4． 分析語音信號的時域波形圖，所采用的方法較為簡單 。 音頻時域波形圖如圖 21 所示 。 8 圖 21 音頻時域波形圖 The plot of audio in time domain 頻域分析方法 頻域分析是常用的第二種語音分析方法。語音信號的頻域分析包含有語音信號的頻譜、功率譜、倒頻譜、頻譜包絡、短時間頻譜等。常用的頻域分析方法有帶通濾波器組法、傅立葉變換法、線性預測法等幾種。與上文時域圖相對應的一幅頻譜圖如圖 22 所示。 圖 22 音頻頻域波形圖 plot of audio in frequency domain 9 頻域分析方法的特點是： 1． 語音信號的頻譜波形不太容易受外界環(huán)境的影響，而時域波形易隨外界環(huán)境變化 。 2． 語音信號的頻譜具有非常明顯的聲學概念，利用頻譜分析獲得的語音特征具有實際的物理意義 。 3． 頻域分析容易獲得某些重要的音頻特征參數(shù)，如信息嫡、帶寬、共振峰等 。 4． 頻域分析要用到 FFT 變換等，有時會需要專門的硬件工具 。 語譜分析法 利用語譜圖是第三種語音分析方法。 20 世紀 40 年代已經研制成功了語譜儀，將它用于語音分析做出的圖叫語譜圖。語譜圖的橫坐標是時間，縱坐標是頻率，黑度是第三個坐標，表示音強。語譜圖提供有關不同時間不同頻率的相對音強的有價值信息，可以在二個維度 （ 時間及頻率 ） 上表示出音強的關系。 語譜分析法的特點是： 1． 它是時間、頻率、音強的三位顯示圖，同時 也是時域波形與頻譜圖的結合。這一點是優(yōu)于前兩種分析方法的 。 從語譜圖中可以得到一些頻域分析參數(shù) （ 如共振峰、基音周期等 ）隨語音發(fā)生過程 （ 時間 ） 的變化情況，這是 前兩種分析方法所沒有的 。 3． 從語譜圖上還可以得到能量隨語音發(fā)生過程 （ 時間 ） 的變化情況，由此可以區(qū)別濁音及清音、輔音 （ 或聲母 ） 等的不同種類。 4． 由于語譜圖具有不同的黑白程度，形成不同的花紋，這種花紋被稱作聲紋。與不同的人有不同的指紋類似，不同講話者的語譜圖有不同的聲紋，據(jù)此可以用于識別講話者的身份。 論文中用到了時域分析方法和頻域分析方法，分別提取分析了時域和頻域中的一些重要音頻特征參數(shù)。對于語譜分析方法，目前在語音端點檢測的方法中應用還有待進一步的研究。 語音端點檢測算法的分析 隨著越來越多的學者對語音 端點檢測技術的關注，大量新的語音端點檢測算法相繼被提出。通過大量的文獻調研與實際研究發(fā)現(xiàn)，現(xiàn)有的各種語音 10 信號端點檢測技術都存在各自的不足，比如基于自相關相似距離的語音信號端點檢測方法，總的來說它與 HMM 方法的效果大致相同，但是對于結尾的判斷卻優(yōu)于 HMM 模型，這是因為語音大多以濁音結尾，此時自相關法的判斷精度較高，但是對于清音開頭的語音，尤其是 [s]， [ks]， [n]等音節(jié)，自相關算法的檢測精度就不高。主要幾類方法各自的優(yōu)點與不足列于表 21。 表 21 各類方法優(yōu)缺點比較 Table 21 The camparison of characteristic of several methods 方法 優(yōu)點 缺點 短時平均過零率 較簡單 難以識別弱爆破音、摩擦音、 末尾的鼻音拖長的元音等 短時能量或平均幅度 較簡單 弱摩擦音與結尾時的鼻音易和 噪聲混淆 HMM 較準確 需要事先訓練 雙門限比較法 有效區(qū)分語音信號中的 濁音和噪聲 難以區(qū)分清音和噪聲 自相關相似距離 對濁音的檢測精度較高 對開端的清音檢測精度不夠 頻帶方差 較準確 在脈沖干擾下門限值需要 測定 盡管語音端點檢測的研究工作迄今已近幾十年，取 得了輝煌的成就，但是現(xiàn)有的語音識別系統(tǒng)還面臨著許多困難，具體表現(xiàn)在以下幾個方面： 1．語音端點檢測算法的適應性差。主要體現(xiàn)在對環(huán)境條件的依賴性很強，繼續(xù)要保持測試條件和訓練條件的一致性，否則系統(tǒng)性能嚴重下降。另外，全世界有近百種官方語言，每種語言有多達幾十種方言，同種語言的不同方 言 在語音上相差懸殊，這樣，隨著語言環(huán)境的改變，系統(tǒng)性能也會變得很差。 2．噪聲問題，在強噪聲干擾環(huán)境下語音端點檢測困難。由于語音數(shù)據(jù)大部分都是在接近理想的條件下采集的，語音一般都要在高保真設備上錄制語音，尤其要在無噪環(huán)境下錄音。然而 ，當語音處理由實驗室走向實際應用時，環(huán)境噪聲的存在所帶來的問題就變得越來越重要。 3．對于一些能量較低的爆破音、鼻音，如： ///,//,//,//,/ shstthf 等，與噪聲相混合容易造成誤判而截去這些音節(jié)的有效成分，對識別結果造成影響。 11 4．為了更好的應用，理想的端點檢測應具備以下特點：可靠性 、 魯棒性、低的存儲器和計算資源消耗、實時性、自適應性和不需要對噪音的先驗知識 等 [9]。 基于上述提到的噪聲和適應性 等 問題，論文在研究了兩種基于小波的語音端點檢測算