【正文】 en neural work, Finally, design and implement the VISUALIZATION of SPEECH FEATURE TRACKS system used MATLAB at Windows platform. The experiments show that SPEECH FEATURE TRACKS can be draw at Kohonen twodimensions plane. The paper is anized into six chapters: chapter 1 describes some concept, history and presents a brief overview of this design。 論文以語音特征軌跡可視化的實(shí)現(xiàn)為中心，闡述了 Kohonen 神經(jīng)網(wǎng)絡(luò)運(yùn)用于語音特征軌 跡可視化系統(tǒng)中的原理、建模方法以及可視平臺(tái)的實(shí)現(xiàn)手段。 （ 3） 用 MATLAB 在 PC 機(jī)上實(shí)現(xiàn)基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡可視化系統(tǒng)，并對(duì)給定的語料進(jìn)行語音特征軌跡測試。 （ 2） 對(duì) Kohonen 神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)原理進(jìn)行了重點(diǎn)研究分析，對(duì) Kohonen 神經(jīng)網(wǎng)絡(luò)的自組織特性、聚類特性、競爭學(xué)習(xí)等特性做了詳細(xì)闡述。若能找到一種直觀、簡便的方法直接展現(xiàn)不同語音的特征矢量將給語音特征的辨識(shí)帶來很大便利?；?Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 I 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 摘 要 目前在語音識(shí)別處理領(lǐng)域有著諸多方法，其中的基本處理手段大都基于對(duì)語音特征矢量的比對(duì)分析，因?yàn)檎Z音特征量能有效地代表語音特征，包括聲道特征和聽覺特征，具有很好的區(qū)分性，可以成為比對(duì)分析的依據(jù)。但是特征矢量抽象、不直觀，給比對(duì)分析造成一定的困難。 本文針對(duì)語音特征軌跡可視化展現(xiàn)的方法進(jìn)行了探討： （ 1） 對(duì)語音特征矢量在時(shí)域、頻域、倒譜域的提取方式進(jìn)行了分析，特別是對(duì)語音在 倒譜域上的 MFCC 特征提取方法給出了詳細(xì)說明。 對(duì)基于 Kohonen神經(jīng)網(wǎng)絡(luò)將語音特征的軌跡進(jìn)行可視化展現(xiàn)的方法進(jìn)行了探討。證明了語音軌跡在 Kohonen二維平面的可視性和直觀性。本文由六部分組成：第一章對(duì)本畢業(yè)設(shè)計(jì)的研究背景和設(shè)計(jì)目標(biāo)作宏觀介紹；第二章對(duì)本文中用到的相關(guān)概念和原理進(jìn)行介紹；第三章對(duì)基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化的方法進(jìn)行重點(diǎn)討論，給出系統(tǒng)的框架，內(nèi)部模塊的功能描述和接口；第四章詳細(xì)討論每個(gè)模塊的實(shí)現(xiàn)方法；第五章通過實(shí)驗(yàn)數(shù)據(jù)對(duì)模塊功能進(jìn)行測試，討論使用本文所述方法對(duì)語音特征軌跡實(shí)現(xiàn)可視化的效果；最后一章為總結(jié)和展望。 chapter 2 mainly introduces some fundamental concepts of speech recognition and Artificial Neural Network。 Chapter 4 discusses in detail the methods of every modules。 Chapter 6 discuss the summingup and vista. KEY WORDS: Kohonen Neural Networks， SOM， Speech Recognition， Visualization 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 III 目 錄 第一章 前 言 ............................................................................................................ 1 1． 1 語音信息處理的基本概念和現(xiàn)狀 ................................................................ 1 語音信息處理的各個(gè)領(lǐng)域 .................................................................... 1 1． 2 我的工作 ........................................................................................................ 3 工作目標(biāo) ................................................................................................ 3 主要成果 ................................................................................................ 3 本文的安排 ............................................................................................ 4 第二章 相關(guān)概念和基本原理 .................................................................................. 5 2． 1 語音識(shí)別 ........................................................................................................ 5 語音學(xué)的相關(guān)知識(shí) ................................................................................ 5 語音特征分析 ........................................................................................ 9 語音識(shí)別算法 ...................................................................................... 13 2． 2 神經(jīng)網(wǎng)絡(luò)的基本概念 .................................................................................. 14 人工神經(jīng)網(wǎng)絡(luò)的由來 .......................................................................... 14 人工神經(jīng)網(wǎng)絡(luò)的種類 .......................................................................... 16 Kohonen 神經(jīng)網(wǎng)絡(luò)的原理 ............................................................... 18 Kohonen 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) ............................................................... 18 Kohonen 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) ............................................................... 19 2. 3 Kohonen 神經(jīng)網(wǎng)絡(luò)用于語音特征分析的可行性 .................................... 20 第三章 系統(tǒng)實(shí)現(xiàn) .................................................................................................... 22 3． 1 系統(tǒng)框架 ..................................................................................................... 22 語音輸入 .............................................................................................. 22 語音采集 .............................................................................................. 23 特征提取 .............................................................................................. 23 SOM 網(wǎng)絡(luò) ........................................................................................... 23 第四章 每個(gè)模塊采用的算法和數(shù)據(jù)結(jié)構(gòu) ............................................................ 24 4． 1 語音采集 ...................................................................................................... 24 4． 2 特征量提取 .................................................................................................. 25 4． 3 SOM 網(wǎng)絡(luò) ................................................................................................... 26 第五章 實(shí)驗(yàn)結(jié)果 .................................................................................................... 30 第六章 總結(jié)和展望 ................................................................................................ 32 參考文獻(xiàn) ...................................................................................................................... 33 致謝 .............................................................................................................................. 34 基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 1 第一章 前 言 1． 1 語音信息處理的基本概念和現(xiàn)狀 語音信號(hào)數(shù)字處理是指用數(shù)字化的方法對(duì)語音進(jìn)行傳送、存儲(chǔ)、識(shí)別、合成、增強(qiáng)等處理，是數(shù)字化通信網(wǎng)中最重要、最基本的組成部分之一。 ． 1 語音信息處理的各個(gè)領(lǐng)域 ? 語音識(shí)別（ Speech Recognition）以語音信號(hào)處理為研究對(duì)象，用聲音來進(jìn)行特定范圍的詞語辨別。語音識(shí)別系統(tǒng)的性能受許多因素的影響，包括不同的說話人、說話方式、環(huán)境噪音、傳輸信道等等。 ? 說話人識(shí)別（ Speaker Recognition）它并不注意語音信號(hào)中的語義內(nèi)容，而 是希望從語音信號(hào)中提取出個(gè)人的特征，力求挖掘出包涵在語音信號(hào)中的個(gè)性因素，強(qiáng)調(diào)的是不同人之間的差別。 ? 說話人區(qū)分（ Talker separation）從多個(gè)說話人的混合話音信號(hào)中提取每個(gè)人的語音信號(hào)。 ? 語言辨識(shí)（ Language Identification）區(qū)分所處理的語音屬于哪一種語言。加之說話人的多種多樣性，不同地區(qū)的口音和發(fā)音習(xí)慣更增加了問題的難度。第一類是編碼－存儲(chǔ)－回放系統(tǒng)，或稱數(shù)字語音錄放系統(tǒng)；第二類是編碼－傳輸－解碼系統(tǒng)，或稱數(shù)字電話通信系統(tǒng)。數(shù)字語音通信系統(tǒng)具有抗干擾性強(qiáng)、基于 Kohonen 神經(jīng)網(wǎng)絡(luò)的語音特征軌跡的可視化 上海交通大學(xué)網(wǎng)絡(luò)學(xué)院 2 保密性好、易于集成化等優(yōu)點(diǎn)，因此目前語音通信系統(tǒng)都在向數(shù) 字化方向發(fā)展。 ? 語音合成文 語轉(zhuǎn)換（ TexttoSpeech Conversion）以文字串為輸入的規(guī)則合成系統(tǒng)。規(guī)則合成系統(tǒng)就可以據(jù)此合成抑揚(yáng)頓挫和不同語氣的語句。