【正文】 所以說，可以用共振峰作為區(qū)分不同情感語音的手段。由 h(n)經(jīng) DFT 得到的 H(K)就是聲道的離散譜 曲線，由于它去除了激勵(lì)引起的諧波動(dòng)，因此能更精確地得到共振峰參數(shù)。它們都將卷積運(yùn)算，變?yōu)閭螘r(shí)域中的加法運(yùn)算，使得信號可以運(yùn)用滿足疊加性的線性系統(tǒng)進(jìn)行處理。因?yàn)榈棺V運(yùn)用對數(shù)運(yùn)算和二次變換將基音諧波和聲道的頻譜包絡(luò)分離開來。耳語音不同于正常語音的特性，使得準(zhǔn)確提取其共振峰存在更大的困難。 同類文章提取方法比較 基于提取語音信號中的共振峰有多種方法，有很多采取其他共振峰提取方法的同類論文。 LPC 法的 缺點(diǎn)是用一個(gè)全極點(diǎn)模型逼近語音譜，對于含有零點(diǎn)的某些音來說 A(z)的根反映了極零點(diǎn)的復(fù)合效應(yīng)，無法區(qū)分這些根是相對于零點(diǎn)還是極點(diǎn)，或完全與聲道的諧振極點(diǎn)有關(guān)。而且，不屬于共振峰的額外極點(diǎn)容易排除掉，因?yàn)槠鋷挶裙舱穹鍘捯蟮枚唷．?dāng)前后兩個(gè)猜測值之差小于某門限時(shí)結(jié)束猜測過程。盡管其精度由于存在一 定的逼近誤差而有所降低，但去除了激勵(lì)分量的影響。 （ 1） 原始語音幀信號 （ 2）線性預(yù)測 信號 （ 3）預(yù)測誤差 （ 4）預(yù)測信號功率譜 （ 5）預(yù)測信號幅頻響應(yīng) （ 6）聲道倒譜 （ 7） LPC 倒譜 （ 8） LPC 倒譜包絡(luò) 圖 41 信號線性預(yù)測譜包絡(luò)提取分析圖 10 倒譜法提取共振峰 雖然可以直接對語音信號求離散傅里葉變換（ DFT），然后用 DFT 譜來提取語音信號的共振峰參數(shù)，但是，直接 DFT 的譜要受基頻諧波的影響，最 大值只能出現(xiàn)在諧波頻率上，因而共振峰測定誤差較大。這時(shí)會產(chǎn)生共振峰合并現(xiàn)象，而探討一種理想的能對共振峰合并進(jìn)行識別的共振峰提取算法存在很多實(shí)際困難。 提取共振峰參數(shù)所遇到的問題 與 基音 檢測類似，共振峰估計(jì)也是表面上看起來很容易，而實(shí)際上又受很多問題困擾。由于一件樂器的結(jié)構(gòu)是穩(wěn)定的，因此在一件樂器發(fā)出的所有 音調(diào) 中，不論 基頻 如何，都會表現(xiàn)出相同的共振峰值，只不過其顯著性有強(qiáng)有弱罷了。最后將不同情感的特征參數(shù)進(jìn)行訓(xùn)練形成不同的模板庫，并將待識別情感的特征參數(shù)與模板庫進(jìn)行模式匹配，從而將情感識別結(jié)果輸出。引導(dǎo)型情感語音通常通過文字對說話者進(jìn)行引導(dǎo)， 6 即通過說話人朗讀帶有一定感情色彩的文本，獲得所需要的情感語句。按照表達(dá)的情感自然度可以將情感語音數(shù)據(jù)分為 3 個(gè)類別：自然型情感語音、表演型情 感語音和引導(dǎo)型情感語音 [19]。 例如，將語音僅分為 “ 無情感含義 ”與 “ 帶情感含義 ” 兩大類 ； 或是分為 “ 情感強(qiáng)烈 ” 與 “ 情感不強(qiáng)烈 ” 兩大類 ； 部分研究只關(guān)注于用戶的情感狀態(tài)是 “ 正常 ” 還是 “ 不正常 ”； 還有的研究只注重用戶的某些負(fù)面情感，如 “ 挫敗 ” 、 “ 厭煩 ” 、 “ 僧惡 ” 等等 。 第六章是對本文主要工作和研究成果的總結(jié)，并對下一 步語音情感識別中共振峰提取的研究工作做出展望。首先簡單地介紹通過離散形式和情感維度空間兩種方法概述了情感的分類，然 4 后介紹了情感語音數(shù)據(jù)分為 3 個(gè)類別以及本文所用的情感語音數(shù)據(jù)庫。去除了激勵(lì)引起的諧波波動(dòng)，所以可以更精確地得到共振峰參數(shù)。 中國電子科技研究院的付麗琴等人以 HMM 作為語音情感分類器模型，對不同情感狀態(tài)選擇不同的特征向量進(jìn)行識別。 東南大學(xué)無線電工程系趙力教授的實(shí)驗(yàn)小組在國內(nèi)率先開展了普通話語 音情感識別的研究。 英國貝爾法斯特女王大學(xué)的 RoddyCowie 和 EllenDouglasCowie 教授領(lǐng)導(dǎo)的情感語音小組研究的重點(diǎn)在于心理學(xué)和語音分析。他們從生理、心理學(xué)角度的情感建模到語音情感的聲學(xué)關(guān)聯(lián)特征，以及各種針對語音情感識別和合成的算法、理論展開了深入的研究，還從工程學(xué)的角度將情感作為信息信號工學(xué)的研究對象。共振峰頻率簡稱共振峰，它與聲道的形狀和大小有關(guān)，一種形狀對應(yīng)著一套共振峰。語音作為一種自然有效的人機(jī)交互方式，成為當(dāng)前的研究熱點(diǎn)。由于倒譜法根據(jù)對數(shù)功率譜的逆傅立葉變換，能夠分離頻譜包絡(luò)和細(xì)微結(jié)構(gòu)，很精確地得到共振峰信息，所以本文重點(diǎn)研究倒譜法提取共振峰。 。共振峰作為情感特征信息的非韻律特征參數(shù)，我們研究提取它的方法對包含在語音信號中的情感信息分析和處理時(shí)及其有意義的 。語音情感信息處理技術(shù)的研究對于提高計(jì)算機(jī)的智能化具 有重要的現(xiàn)實(shí)意義。太原理工大學(xué) 畢業(yè)設(shè)計(jì)（論文）任務(wù) 書 畢業(yè)設(shè)計(jì)（論文）題目： 情感語音信號中共振峰參數(shù)的提取方法 畢業(yè)設(shè)計(jì)（論文）要求及原始數(shù)據(jù)（資料）： 要求： 1：大量查閱關(guān)于共振峰提取技術(shù)的資料（通過 Inter 或圖書館）。 語音情感信息處理技術(shù)作為一個(gè)重要的研究領(lǐng)域已經(jīng)有很長時(shí)間的研究歷史了，然 而在傳統(tǒng)語音信號處理中往往忽略了在語音信號中的情感因素。 2：共振峰的幾種提取方法 （ 1）譜包絡(luò)提取法：共振峰信息包含在語音頻譜包絡(luò)中， 因此共振峰參數(shù)提取的關(guān)鍵是 估計(jì)自然語音頻譜包絡(luò)， 并認(rèn)為譜包絡(luò)中的最大值就是共振峰。 （ 1）虛假峰值 （ 2）共振峰合并 （ 3）高音調(diào)語音 ，對多種共振峰提取方法進(jìn)行比較和分析。 本文通過 MATLAB 軟件利用倒譜法實(shí)現(xiàn)了 對高興、生氣、中立三種情感狀態(tài)的共振峰參數(shù)的提取。語音信號不僅包含語音信息，還包含著說話人的情感信息。共振峰是反映聲道諧振特性的重要特征，它代表了發(fā)音信息的最直接的來源，而且人在語音感知中 利用了共振峰信息。 但是，目前不論從國外還是國內(nèi)來看，情感信息處理的研究，還是處在一個(gè)低級水平，存在一些需要進(jìn)一步深入研究的課題。他們收集并創(chuàng)建了第一個(gè)大規(guī)模的高自然度聲音的情感數(shù)據(jù)庫，同時(shí)還開發(fā)了一個(gè) FEELTRACE 工具用來記錄人類從語音中感知到的情感信息 [6]。他們分析了不同情感的語音在時(shí)間構(gòu)造，能量構(gòu)造，基音構(gòu)造，共振峰構(gòu)造等方面的差別，以情感語音和自然語音特征向量的差值作為情感識別特征，用主成分分析法識別高興、驚奇、憤怒、悲傷四類情感，在較小的實(shí)驗(yàn)數(shù)據(jù)集中能達(dá)到約 80%的識別率 [11]。系統(tǒng)分兩個(gè)階段完成 :首先基于漏識率和誤識率最小的決策原則，采用優(yōu)先選擇 (PFS)算法分別為每種情感狀態(tài)選擇最優(yōu)的特征向量，然后用這些特征向量分別建立對應(yīng)情感狀態(tài)的 HMM 模型。 （ 3） LPC 法提取共振峰 從線性預(yù)測導(dǎo)出的聲道濾波器是頻譜包絡(luò)估計(jì)器的最新形式，線性預(yù)測提供了一個(gè)優(yōu)良的聲道模型（條件是語音不含噪聲）。最后介紹了語音情感識別系統(tǒng)。 5 第 2章 情感的分類與語音情感識別 情感的分類 情感類型的合理界定是對語句進(jìn)行情感標(biāo)注的基礎(chǔ)。 除了以標(biāo)簽法將情感分成離散的類別之外， 一些研究者嘗試在連續(xù)的空間中描述情感，也稱作維度輪 [19]。 自然型情感語音是在說話人不知情的情況下獲取的完全放松狀態(tài)下的情感語音。引導(dǎo)型情感語音是自然型和表演型情感語音錄制方法的一種折中，定制性比較強(qiáng)且語料的獲取相對方便，適合基于不同文本的語音情感方面的研究。典型的語音情感識別系統(tǒng)如圖 21 所示。這就可以幫助我們解釋為什么在很多的樂器中，同一樂器所發(fā)出的不同 音調(diào) 具有相同的 音質(zhì) 。這些問題包括： （ 1）虛假峰值。 8 （ 3）高音調(diào)語音。為了消除基頻諧波的影響，可以采用同態(tài)解卷技術(shù)，經(jīng)過同態(tài)濾波后得到平滑的譜，這樣簡單地檢測峰值就可以直接提取共振峰參數(shù)，因而這種方法更為有效和精確。此時(shí)求出聲道響應(yīng)分量的譜峰，就可以求出共振峰，這里有兩種途徑：一是用標(biāo)準(zhǔn)的求取復(fù)根的方法計(jì)算全級模型分母多項(xiàng)式A(z)的根，稱為求根法；一是用運(yùn)算量較少的 DFT 法，求 A(z)的離散頻率響應(yīng) A(k)的谷點(diǎn)來得到共振峰的位置。由上述過程可知，重復(fù)運(yùn)算找出復(fù)根的計(jì)算量相當(dāng)可觀。 LPC 倒譜法提取共振峰 語音信號的倒譜可以通過對信號做傅里葉變換，取模的對數(shù)， 再 求反傅里葉變換得到。聲道的系統(tǒng)函數(shù)可以由一組 LPC 預(yù)測系數(shù)唯一確定 , 因此通過分析能估計(jì)出聲道調(diào)制的效果 , 即獲得共振峰參數(shù)。 杭州電子工業(yè)學(xué)院郁伯康，郁梅在 LPC 方法提取語音信號共振峰的分析中說明線性預(yù)測編碼 (LPC)是進(jìn)行語音信號分析、語音信號編碼最有效的技術(shù)之一。文中分析了共振峰提取中存在的極點(diǎn)交叉問題，通過對極點(diǎn)排序，提出基于極點(diǎn)交叉的 LPC 改進(jìn)算法，從而有效解決這兩個(gè)問題，并在實(shí)驗(yàn)結(jié)果中證明了此算法能夠根據(jù)實(shí)際要求準(zhǔn)確提取耳語音的前三個(gè)或前四個(gè)共振峰 [25]。因此用低時(shí)窗 ()ln從語音信號倒譜 c(n)中所截取出來得 h(n)，能更精確地反映聲道響應(yīng)。復(fù)倒譜涉及復(fù)對數(shù)運(yùn)算，而 倒譜只進(jìn)行實(shí)數(shù)的對數(shù)運(yùn)算，較復(fù)倒譜的運(yùn)算量大大減少。但是使用倒譜法估計(jì)共振峰頻率中要注意，并不是所有的譜峰都是共振峰，而且當(dāng)兩個(gè)共振峰很靠近時(shí)，會發(fā)生譜重疊，很難計(jì)算共振峰的帶寬。 23 第 6章 總結(jié)與展望 全文總結(jié) 語音情感識別是新型人機(jī)交互技術(shù)的研究熱點(diǎn)之一，國內(nèi)外關(guān)于語音情感識別的研究還處于探索嘗試階段，對于語音情感特征參數(shù)的提取方法還有待進(jìn)一步地深入研究。并同時(shí)提取多種情感種類的語音信號共振峰，并分析提取結(jié)果。我的每一點(diǎn)進(jìn)步和提高與孫老師一貫的鼓勵(lì)和幫助是分不開的。同時(shí)，還要感謝所有在我大學(xué)階段指導(dǎo)過我，給予我教誨和栽培的各 位老師。 LPC 法 的缺點(diǎn)是用一個(gè)全極點(diǎn)模型逼近語音譜，對于含有零點(diǎn)的某些音來說 A(z)的根反映了極零點(diǎn)的復(fù)合效應(yīng)，無法區(qū)分這些根是相對于零點(diǎn)還是極點(diǎn)，或完全與聲道的諧振極點(diǎn)有關(guān)。 （ 2） 分析情感語音共振峰參數(shù)提取的多種方法，并比較優(yōu)缺點(diǎn)。倒譜的低時(shí)部分可以分析聲道、聲門和輻射信息，而高頻部分可用來分析激勵(lì)源信息。 下面我們分析聲道沖激響應(yīng)序列經(jīng)過倒譜后的特征。但是采用倒譜法提取共振峰的缺點(diǎn)是運(yùn)算量太大。用一組逆濾波器來逼近語音信號的短時(shí)能譜，通過動(dòng)態(tài)搜索算法可以得到濾波器組中各個(gè)濾波器的位置與帶寬，從而確定了共振峰的位置和帶寬。文中就 LPC 方法提取語音信號共振 峰進(jìn)行研究。 LPC 分析在大 多數(shù)情況下能成功提取語音的共振峰參數(shù)。 圖 44 LPC 倒譜法求取的共振峰參數(shù)圖 通過線性預(yù)測分析得到的合成濾波器的系統(tǒng)函數(shù)為 H(z)= ? ??? ??? pi iizazH 111 其沖擊響應(yīng)為 h(n)。當(dāng)求根過程初始時(shí)，第一幀的猜測值可以在單位圓上等間隔設(shè)置。但是一般預(yù)測階數(shù) p 不大，這就影響了求其谷點(diǎn)即求其共振峰頻率值的精度。因此用低時(shí)窗 ()ln從語音信號倒譜 c(n)中所截取出來得 h(n)，能更精確地反映聲道響應(yīng)。高音調(diào)語音的諧波間隔比較寬，因而為頻譜包絡(luò)估值所提供的樣點(diǎn)比較少，所以譜包絡(luò)的 估計(jì)就不夠精確。但在線性預(yù)測分析方法出現(xiàn)之前的頻譜包絡(luò)估計(jì)器中， 出現(xiàn)虛假峰值是相當(dāng)普遍的現(xiàn)象。通過利用這些共鳴空間的形狀和大小不同的變化（例如改變咽喉、嘴形），我們就能改變聲音的共振峰。共振峰參數(shù)包括共振峰頻率和頻帶寬度，它是區(qū)別不同韻母的重要參數(shù)。 由于語音情感信息的地域性差異，目前情感語音研究領(lǐng)域中缺乏標(biāo)準(zhǔn)數(shù)據(jù)庫，需要研究者錄制符合自身研究 要求的情感語料庫。然而，由于涉及法律和版權(quán)問題，這類情感語音的錄制較為困難，成本也比較高。情感語句的情感類型和強(qiáng)度可用情感輪組成的二維空間中的情感矢量表示，該矢量同自然原點(diǎn)之間的距離體現(xiàn)了情感的強(qiáng)度，方向則 表示 情感類別。傳統(tǒng)的研究通常用日常語言標(biāo)簽來標(biāo)識和分類情感，比如把情感分為高興、憤怒、害怕等 [15]。 第四章對語音情感識別中的共振峰的提取方法進(jìn)行了分析介紹。 （ 5） LPC 倒譜法提取共振峰 語音信號的倒譜可以通過對信號做傅里葉變換，取模的對數(shù)，在求反傅里葉變換得到。 本文的主要研究內(nèi)容及結(jié)構(gòu)安排 本文的主要研究內(nèi)容 ，分析情感語音識別技術(shù)的國內(nèi)外研究現(xiàn)狀、應(yīng)用領(lǐng)域。蔣丹寧通過特征的區(qū)別特性分析和分類實(shí)驗(yàn)，研究了韻律特征在普通話語音情感識別中的作用。 美國南加州大學(xué)語音情感組由 Narnyanan 教授領(lǐng)導(dǎo)。下面將分別簡單介紹國內(nèi)外情感語音識別發(fā)展現(xiàn)狀。語音的頻率特性主要是由共振峰決定的，當(dāng)聲音沿聲管傳播時(shí)，其頻譜形狀就會隨聲管而改變。 語音信號處理技術(shù)作為一個(gè)重要的研究領(lǐng)域有著很長時(shí)間的研究歷史，然而在傳統(tǒng)語音信號處理中往往忽略了在語音信號中的情感因素。所以說，可以用共振峰作為區(qū)分不同情感語音的手段。 學(xué)生應(yīng)交出的設(shè)計(jì)文件（論文）： 1：開題報(bào)告 2：中期檢查 3：畢業(yè)論文 第 3 頁 主要參考文獻(xiàn)（資料）： [1] 胡航 . 語音信號處理 [M]. 哈爾濱 : 哈爾濱工業(yè)大學(xué)出版社 , 2020: 113116. [2] 張剛 , 張雪英 , 馬建芬 . 語音處理與編碼 [M]. 北京 , 兵器工業(yè)出版社 , 2020. [3] Rosalind W Picard. Affective puting[J], Minds