【文章內(nèi)容簡(jiǎn)介】 情感維度空間兩種方法概述了情感的分類，然 4 后介紹了情感語(yǔ)音數(shù)據(jù)分為 3 個(gè)類別以及本文所用的情感語(yǔ)音數(shù)據(jù)庫(kù)。最后介紹了語(yǔ)音情感識(shí)別系統(tǒng)。 第三章介紹了共振峰的概念，說(shuō)明了共振峰在情感語(yǔ)音識(shí)別中的重要性；接 下來(lái)分析了提取共振峰參數(shù)所遇到的問(wèn)題。 第四章對(duì)語(yǔ)音情感識(shí)別中的共振峰的提取方法進(jìn)行了分析介紹。包括譜包絡(luò)提取法、倒譜法提取共振峰、 LPC 法提取共振峰、求根法提取共振峰和 LPC 倒譜法提取共振峰，并簡(jiǎn)單分析了這幾種提取共振峰方法的優(yōu)缺點(diǎn)。 第五章重點(diǎn)介紹了倒譜法提取共振峰的過(guò)程。首先介紹了倒譜的定義以及倒譜法提取共振峰的原理，接下來(lái)畫(huà)出了共振峰提取框圖和共振峰提取流程圖，最后給出了情感語(yǔ)音中高興、生氣和中立的共振峰提取結(jié)果。并對(duì)共振峰提取結(jié)果進(jìn)行分析與總結(jié)。 第六章是對(duì)本文主要工作和研究成果的總結(jié)，并對(duì)下一 步語(yǔ)音情感識(shí)別中共振峰提取的研究工作做出展望。 5 第 2章 情感的分類與語(yǔ)音情感識(shí)別 情感的分類 情感類型的合理界定是對(duì)語(yǔ)句進(jìn)行情感標(biāo)注的基礎(chǔ)。在情感計(jì)算領(lǐng)域，許多學(xué)者從不同的角度研究了情感的分類問(wèn)題，并提出了相應(yīng)的情感類型定義。傳統(tǒng)的研究通常用日常語(yǔ)言標(biāo)簽來(lái)標(biāo)識(shí)和分類情感，比如把情感分為高興、憤怒、害怕等 [15]。 美國(guó)心理學(xué)家 Eckman 提出了六種基本情緒 [16]： 憤怒、恐懼、悲傷、驚訝、高興和厭惡。而 Plutchik 提出過(guò)八種基本情緒 [17]悲痛、恐懼 、驚奇、接受、狂喜、狂怒、警惕、憎恨 。 Shaver 等人則認(rèn)為原始情緒有憤怒、愛(ài)、高興、害怕、悲傷、驚訝六類 [18]，這和 Eckman 的六類墓本情緒存在微小差異 。 另外，關(guān)于語(yǔ)音情感的研究還可以更為簡(jiǎn)單化，部分研究對(duì)情感的分類更側(cè)重于系統(tǒng)的實(shí)用性 。 例如，將語(yǔ)音僅分為 “ 無(wú)情感含義 ”與 “ 帶情感含義 ” 兩大類 ； 或是分為 “ 情感強(qiáng)烈 ” 與 “ 情感不強(qiáng)烈 ” 兩大類 ； 部分研究只關(guān)注于用戶的情感狀態(tài)是 “ 正常 ” 還是 “ 不正常 ”； 還有的研究只注重用戶的某些負(fù)面情感，如 “ 挫敗 ” 、 “ 厭煩 ” 、 “ 僧惡 ” 等等 。 除了以標(biāo)簽法將情感分成離散的類別之外， 一些研究者嘗試在連續(xù)的空間中描述情感，也稱作維度輪 [19]。在此基礎(chǔ)上， Plutchik 等人提出了 “ 情感輪 ” 理論，認(rèn)為情感分布在一個(gè)類似于鐘表盤(pán)的圓形結(jié)構(gòu)上，圓心是自然原點(diǎn)，表示人在內(nèi)心平靜時(shí)的情感狀態(tài)，而圓周上的標(biāo)注標(biāo)明兒種基本情感類型，其排列方式可根據(jù)具體研究需要設(shè)置 [20]。情感語(yǔ)句的情感類型和強(qiáng)度可用情感輪組成的二維空間中的情感矢量表示，該矢量同自然原點(diǎn)之間的距離體現(xiàn)了情感的強(qiáng)度，方向則 表示 情感類別。 盡管心理學(xué)、認(rèn)知學(xué)等領(lǐng)域的研究人員對(duì)于情感種類的定義五花八門(mén)，但在目前絕大多數(shù)的語(yǔ)音情感識(shí)別系統(tǒng)中 ，使用的情感類別是 MPEG4 國(guó)際標(biāo)準(zhǔn)定義的五種情感狀態(tài)，即 “憤 怒 (Anger)”、“ 恐懼 (Fear)”、“ 高興 (Happiness)”、“ 悲傷 (Sadness)” 和 “ 驚訝 (Surprise)” ，外加 “中立 (Neutral)” 來(lái)表征語(yǔ)音不具有情感含義。 情感語(yǔ)音數(shù)據(jù)庫(kù) 要對(duì)語(yǔ)音進(jìn)行情感識(shí)別，情感語(yǔ)音數(shù)據(jù)庫(kù)的建立是基礎(chǔ)。怎么樣才能獲取高質(zhì)量的情感語(yǔ)音是建立語(yǔ)音庫(kù)的關(guān)鍵問(wèn)題。因?yàn)檎Z(yǔ)音的質(zhì)量將直接影響整個(gè)語(yǔ)音情感識(shí)別系統(tǒng)的性能。按照表達(dá)的情感自然度可以將情感語(yǔ)音數(shù)據(jù)分為 3 個(gè)類別：自然型情感語(yǔ)音、表演型情 感語(yǔ)音和引導(dǎo)型情感語(yǔ)音 [19]。 自然型情感語(yǔ)音是在說(shuō)話人不知情的情況下獲取的完全放松狀態(tài)下的情感語(yǔ)音。這種類型的語(yǔ)音被普遍認(rèn)為是最理想最可信的情感語(yǔ)料。然而，由于涉及法律和版權(quán)問(wèn)題，這類情感語(yǔ)音的錄制較為困難，成本也比較高。 表演型情感語(yǔ)音是指情感表現(xiàn)力較強(qiáng)的演員模仿不同情感朗誦指定語(yǔ)句獲得的情感語(yǔ)料。相對(duì)于自然型情感語(yǔ)音，表演型情感語(yǔ)音較容易獲取，可控制性較強(qiáng)，可以根據(jù)需要錄制任意說(shuō)話內(nèi)容的情感語(yǔ)句。然而表演型情感語(yǔ)句中的情感成分被夸張了，而且自然度也受說(shuō)話人的演技高低影響。 引導(dǎo)型情感語(yǔ)音是指通過(guò)一定 的外界環(huán)境和手段，引導(dǎo)說(shuō)話人的情緒進(jìn)入某種特定的狀態(tài)，從而錄制情感語(yǔ)音的方法。引導(dǎo)型情感語(yǔ)音通常通過(guò)文字對(duì)說(shuō)話者進(jìn)行引導(dǎo)， 6 即通過(guò)說(shuō)話人朗讀帶有一定感情色彩的文本，獲得所需要的情感語(yǔ)句。引導(dǎo)型情感語(yǔ)音是自然型和表演型情感語(yǔ)音錄制方法的一種折中，定制性比較強(qiáng)且語(yǔ)料的獲取相對(duì)方便，適合基于不同文本的語(yǔ)音情感方面的研究。然而，純文本引導(dǎo)對(duì)于內(nèi)心情感狀態(tài)的生成比較緩慢和微弱，這種方式獲得的情感語(yǔ)句對(duì)文本內(nèi)容的選擇性比較強(qiáng)。 由于語(yǔ)音情感信息的地域性差異，目前情感語(yǔ)音研究領(lǐng)域中缺乏標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，需要研究者錄制符合自身研究 要求的情感語(yǔ)料庫(kù)。本文應(yīng)用的是由高興、生氣、中立三種情感語(yǔ)音組成的情感語(yǔ)音數(shù)據(jù)庫(kù)，每種情感語(yǔ)音分別有中英文兩種語(yǔ)言，所用情感語(yǔ)句的中文文本為“我到北京去”英文文本為“ Good morning”以 wav 格式存儲(chǔ)，持續(xù)時(shí)間五秒以內(nèi)，經(jīng)過(guò)反復(fù)的主觀聽(tīng)覺(jué)實(shí)驗(yàn)，認(rèn)為該情感語(yǔ)音數(shù)據(jù)庫(kù)的語(yǔ)料情感辨識(shí)度較高，自然度也比較理想，可以滿足本文的研究需求。 語(yǔ)音情感識(shí)別系統(tǒng) 預(yù) 處 理 特 征 提 取情 感 語(yǔ) 音 輸 入模 式 匹 配模 板 庫(kù)參 考 模 式識(shí) 別 結(jié) 果 輸 出 圖 21 典型語(yǔ)音情感識(shí)別系統(tǒng)的框圖 語(yǔ)音情感識(shí)別系統(tǒng)與語(yǔ)音識(shí)別系統(tǒng)類似，分為 語(yǔ)音情感語(yǔ)句預(yù)處理、特征參數(shù)提取和模式匹配三個(gè)部分。其識(shí)別過(guò)程如下 :首先對(duì)情感語(yǔ)句進(jìn)行預(yù)處理，語(yǔ)音情感語(yǔ)句預(yù)處理包括預(yù)加重、分幀加窗和端點(diǎn)檢測(cè)等 。其次是對(duì)情感語(yǔ)句提取特征參數(shù)，如 MFCCI、LPCC、 LPMCC 和 ZCPA 等頻譜特征參數(shù) 。最后將不同情感的特征參數(shù)進(jìn)行訓(xùn)練形成不同的模板庫(kù)，并將待識(shí)別情感的特征參數(shù)與模板庫(kù)進(jìn)行模式匹配，從而將情感識(shí)別結(jié)果輸出。典型的語(yǔ)音情感識(shí)別系統(tǒng)如圖 21 所示。 7 第 3章 共振峰的基本概念 共振峰參數(shù)的概念及產(chǎn)生原理 發(fā)音時(shí)，氣流通過(guò)聲道，引起聲道諧振，產(chǎn)生的 一組諧振頻率，稱為共振峰頻率或簡(jiǎn)稱共振峰。共振峰參數(shù)包括共振峰頻率和頻帶寬度，它是區(qū)別不同韻母的重要參數(shù)。共振峰信息包含在頻率包絡(luò)之中，因此共振峰參數(shù)提取的關(guān)鍵是估計(jì)自然語(yǔ)音頻譜包絡(luò)，一般認(rèn)為譜包絡(luò)中的最大值就是共振峰 [1]。 共振峰的分布位置是建立在 聲音 產(chǎn)生媒介的共鳴物理結(jié)構(gòu)基礎(chǔ)上的（ Resonant Physical Structure）。 無(wú)論是人聲還是樂(lè)器，它們的聲音特性都源自兩個(gè)因素，一個(gè)是發(fā)聲 系統(tǒng)，如人的聲帶或樂(lè)器的 振動(dòng) 簧片，另一個(gè)是共鳴系統(tǒng)。樂(lè)器不同的共鳴系統(tǒng)使其在一定頻域中的分音的 振幅 得以突出，這樣，這些區(qū)域就產(chǎn)生了這個(gè)樂(lè)器所特有的共振峰值，這些共振峰值同共鳴體的大小、形狀的材料密切相關(guān)。由于一件樂(lè)器的結(jié)構(gòu)是穩(wěn)定的，因此在一件樂(lè)器發(fā)出的所有 音調(diào) 中，不論 基頻 如何，都會(huì)表現(xiàn)出相同的共振峰值，只不過(guò)其顯著性有強(qiáng)有弱罷了。這就可以幫助我們解釋為什么在很多的樂(lè)器中，同一樂(lè)器所發(fā)出的不同 音調(diào) 具有相同的 音質(zhì) 。 在語(yǔ)音聲學(xué)中，人聲也同樣受自身生理如鼻孔、咽腔、口腔大小的影響有自身的共振峰區(qū)（ Formant Regions）。通過(guò)利用這些共鳴空間的形狀和大小不同的變化（例如改變咽喉、嘴形），我們就能改變聲音的共振峰。我們之所以能夠區(qū)分不同的人聲、元音，主要也是依靠它們的共振峰分布的位置。 共振峰參數(shù)的研究意義 漢語(yǔ)普通話發(fā)音中情感特征信息的特征參數(shù)主要包括發(fā)音持續(xù)時(shí)間、振幅能量、 基音 頻率和共振峰頻率等。共振峰是反映聲道諧振特性的重要特征，它 代表了發(fā)音信息的最直接來(lái)源，而且人在語(yǔ)音感知中利用 了共振峰信息，所以共振峰參數(shù)的提取一直以來(lái)都是語(yǔ)音信號(hào)處理領(lǐng)域中重要的研究題之一。共振峰參數(shù)已經(jīng)廣泛地用作語(yǔ)音識(shí)別的主要特征和語(yǔ)音編碼傳輸?shù)幕拘畔?，共振峰軌跡包含了說(shuō)話人的個(gè)性特征，對(duì)說(shuō)話人識(shí)別有著重要意義，同時(shí)也是語(yǔ)言學(xué)家研究人類發(fā)音技能的有效工具 [21]。 提取共振峰參數(shù)所遇到的問(wèn)題 與 基音 檢測(cè)類似，共振峰估計(jì)也是表面上看起來(lái)很容易，而實(shí)際上又受很多問(wèn)題困擾。這些問(wèn)題包括： （ 1）虛假峰值。在正常情況下，頻譜包絡(luò)中的極大值完全是由共振峰引起的。但在線性預(yù)測(cè)分析方法出現(xiàn)之前的頻譜包絡(luò)估計(jì)器中， 出現(xiàn)虛假峰值是相當(dāng)普遍的現(xiàn)象。甚至在采用線性預(yù)測(cè)方法時(shí)，也并非沒(méi)有虛假峰值。為了增加靈活性會(huì)給預(yù)測(cè)器增加 2~3 個(gè)額外的極點(diǎn)，有時(shí)可利用這些極點(diǎn)代表虛假峰值。 （ 2）共振峰合并。相鄰共振峰的頻率可能會(huì)靠的太近而難以分辨。這時(shí)會(huì)產(chǎn)生共振峰合并現(xiàn)象，而探討一種理想的能對(duì)共振峰合并進(jìn)行識(shí)別的共振峰提取算法存在很多實(shí)際困難。 8 （ 3）高音調(diào)語(yǔ)音。傳統(tǒng)的頻譜包絡(luò)估計(jì)方法是利用由諧波峰值提供的樣點(diǎn)。高音調(diào)語(yǔ)音的諧波間隔比較寬，因而為頻譜包絡(luò)估值所提供的樣點(diǎn)比較少，所以譜包絡(luò)的 估計(jì)就不夠精確。即使采用線性預(yù)測(cè)進(jìn)行頻譜包絡(luò)估計(jì)也會(huì)出現(xiàn)這個(gè)問(wèn)題。在這樣的語(yǔ)音中，線性預(yù)測(cè)包絡(luò)峰值趨向于離開(kāi)真實(shí)位置，而朝著最接近的諧波峰位移動(dòng)。 9 第 4章 共振峰的提取方法及分析 譜包絡(luò)提取法 共振峰信息包含在語(yǔ)音頻譜包絡(luò)中，因此共振峰參數(shù)提取的關(guān)鍵是估計(jì)自然語(yǔ)音頻譜包絡(luò)，并認(rèn)為譜包絡(luò)中的最大值就是共振峰。下圖 41 是對(duì) 21 幀信號(hào)的線性預(yù)測(cè)譜包絡(luò)提取分析 [22]。 （ 1） 原始語(yǔ)音幀信號(hào) （ 2）線性預(yù)測(cè) 信號(hào) （ 3）預(yù)測(cè)誤差 （ 4）預(yù)測(cè)信號(hào)功率譜 （ 5）預(yù)測(cè)信號(hào)幅頻響應(yīng) （ 6）聲道倒譜 （ 7） LPC 倒譜 （ 8） LPC 倒譜包絡(luò) 圖 41 信號(hào)線性預(yù)測(cè)譜包絡(luò)提取分析圖 10 倒譜法提取共振峰 雖然可以直接對(duì)語(yǔ)音信號(hào)求離散傅里葉變換（ DFT），然后用 DFT 譜來(lái)提取語(yǔ)音信號(hào)的共振峰參數(shù)，但是，直接 DFT 的譜要受基頻諧波的影響，最 大值只能出現(xiàn)在諧波頻率上，因而共振峰測(cè)定誤差較大。為了消除基頻諧波的影響，可以采用同態(tài)解卷技術(shù)，經(jīng)過(guò)同態(tài)濾波后得到平滑的譜，這樣簡(jiǎn)單地檢測(cè)峰值就可以直接提取共振峰參數(shù)，因而這種方法更為有效和精確。因?yàn)榈棺V運(yùn)用對(duì)數(shù)運(yùn)算和二次變換將基音諧波和聲道的頻譜包絡(luò)分離開(kāi)來(lái)。因此用低時(shí)窗 ()ln從語(yǔ)音信號(hào)倒譜 c(n)中所截取出來(lái)得 h(n)，能更精確地反映聲道響應(yīng)。這樣，由 h(n)經(jīng) DFT 得到的 H(k)，就是聲道的離散譜曲線，用 H(k)代替直接 DFT 的頻譜，因?yàn)槿コ思?lì)引起的 諧波波動(dòng)，所以可以更精確地得到共振峰參數(shù)。 圖 42 倒譜法求取的共振峰參數(shù)圖 LPC 法提取共振峰 從線性預(yù)測(cè)導(dǎo)出的聲道濾波器是頻譜包絡(luò)估計(jì)器的最新形式，線性預(yù)測(cè)提供了一個(gè)優(yōu)良的聲道模型（條件是語(yǔ)音不含噪聲）。盡管線性預(yù)測(cè)法的頻率靈敏度和人耳不相匹配，但它仍是最廉價(jià)、最優(yōu)良的行之有效的方法。 用線性預(yù)測(cè)可對(duì)語(yǔ)音信號(hào)進(jìn)行解卷：即把激勵(lì)分量歸入預(yù)測(cè)殘差中，得到聲道響應(yīng)的全級(jí)模型 H(z)的分量，從而得到這個(gè)分量的 ia 參數(shù)。盡管其精度由于存在一 定的逼近誤差而有所降低，但去除了激勵(lì)分量的影響。此時(shí)求出聲道響應(yīng)分量的譜峰，就可以求出共振峰，這里有兩種途徑：一是用標(biāo)準(zhǔn)的求取復(fù)根的方法計(jì)算全級(jí)模型分母多項(xiàng)式A(z)的根，稱為求根法；一是用運(yùn)算量較少的 DFT 法，求 A(z)的離散頻率響應(yīng) A(k)的谷點(diǎn)來(lái)得到共振峰的位置。因?yàn)?????? piiizazA11)(，所以求此多項(xiàng)式系數(shù)序列（ 1， a1， 11 a2，?， ap）的 DFT，就可以得到 A(k)。但是一般預(yù)測(cè)階數(shù) p 不大，這就影響了求其谷點(diǎn)即求其共振峰頻率值的精度。為了 提高 DFT 的頻率分辨率，可以采用補(bǔ) 0 的辦法增加序列的時(shí)間長(zhǎng)度，即用（ 1， a1， a2，?， ap， 0,0，?， 0）進(jìn)行 DFT，為了能利用 FFT，長(zhǎng)度一般取為 64 點(diǎn)、 128 點(diǎn)、 256 點(diǎn)、 512 點(diǎn)等。另外也可以采用拋物線內(nèi)插技術(shù)，解決頻率分辨率較低的情況下的共振峰頻率值的求取。 圖 43 LPC 譜估計(jì)法求取的共振峰參數(shù)圖 求根法提取共振峰 找出多項(xiàng)式復(fù)根的過(guò)程通常采用牛頓 — 拉夫遜（ NewtonRaphson）算法。其方法是一開(kāi)始先猜測(cè)一個(gè)根值并就此猜測(cè)值計(jì)算多項(xiàng)式及其導(dǎo)數(shù)的值，然后利用結(jié) 果再找出一個(gè)改進(jìn)的猜測(cè)值。當(dāng)前后兩個(gè)猜測(cè)值之差小于某門(mén)限時(shí)結(jié)束猜測(cè)過(guò)程。由上述過(guò)程可知，重復(fù)運(yùn)算找出復(fù)根的計(jì)算量相當(dāng)可觀。然而，假設(shè)每一幀的最初猜測(cè)值域前一幀的 根的位置重合，那么根的幀到幀的移動(dòng)足夠小，經(jīng)過(guò)較少的重復(fù)運(yùn)算后，可使新的根的值會(huì)聚在一起。當(dāng)求根過(guò)程初始時(shí)，第一幀的猜測(cè)值可以在單位圓上等間隔設(shè)置。 具