【導(dǎo)讀】隨著多模態(tài)人機(jī)交互技術(shù)的發(fā)展，新型人機(jī)交互模式的應(yīng)用前景更加廣闊。為一種自然有效的人機(jī)交互方式，成為當(dāng)前的研究熱點(diǎn)。還包含著說話人的情感信息。語音情感信息處理技術(shù)的研究對(duì)于提高計(jì)算機(jī)的智能化具。有重要的現(xiàn)實(shí)意義。而在傳統(tǒng)語音信號(hào)處理中往往忽略了在語音信號(hào)中的情感因素。共振峰是反映聲道諧振。振峰已經(jīng)廣泛地用作語音識(shí)別的主要特征和語音編碼的基本信息。形狀就會(huì)發(fā)生不同的變化。估計(jì)自然語音頻譜包絡(luò)，并認(rèn)為譜包絡(luò)中的最大值就是共振峰。去除了激勵(lì)引起的諧波波動(dòng)，所以可以更精確地得到共振峰參數(shù)。性預(yù)測(cè)提供了一個(gè)優(yōu)良的聲道模型。數(shù)，再求反傅里葉變換得到。，對(duì)多種共振峰提取方法進(jìn)行比較和分析。和生氣的第一共振峰頻率相對(duì)升高，從人的發(fā)音特點(diǎn)來看，人們?cè)诒磉_(dá)高興和生氣時(shí)，

　　

【正文】 —— 生氣共振峰提取結(jié)果 圖 58 情感語音 —— 中立共振峰提取結(jié)果 22 結(jié)論分析 本文所研究的高興、生氣、中立三種情感語音的錄音文本為“ Good morning”，時(shí)長(zhǎng)為一秒，這三種情感語音的原始波形分別如圖 5 54 和 55 所示。 運(yùn)用本文所介紹的算法，對(duì)高興、生氣、中立三種情感語音信息進(jìn)行共振峰提取，得到的結(jié)果如圖 5 57 和 58 所示，從圖中可以看出，相對(duì)于中立發(fā)音而言，高興和生氣的第一共振峰頻率相對(duì)升高，從人的發(fā)音特點(diǎn)來看，人們?cè)诒磉_(dá)高興和生氣時(shí)，嘴比平靜發(fā)音時(shí)張得更大，因此會(huì)出現(xiàn)這樣的結(jié)果。所以說，可以用共振峰作為區(qū)分不同情感語音的手段。 23 第 6章 總結(jié)與展望 全文總結(jié) 語音情感識(shí)別是新型人機(jī)交互技術(shù)的研究熱點(diǎn)之一，國內(nèi)外關(guān)于語音情感識(shí)別的研究還處于探索嘗試階段，對(duì)于語音情感特征參數(shù)的提取方法還有待進(jìn)一步地深入研究。本文就情感語音中共振峰參數(shù)的提取方法進(jìn)行了 研究，并應(yīng)用倒譜法實(shí)現(xiàn)了情感語音中共振峰參數(shù)的提取，現(xiàn)將本文主要工作總結(jié)如下： （ 1） 介紹情感分類及本文所用情感語音數(shù)據(jù)庫。 （ 2） 分析情感語音共振峰參數(shù)提取的多種方法，并比較優(yōu)缺點(diǎn)。 （ 3） 重點(diǎn)介紹倒譜法以及倒譜法提取語音信號(hào)中共振峰的原理與具體過程，并實(shí)現(xiàn)運(yùn)用倒譜法實(shí)現(xiàn)共振峰的提取。 （ 4） 根據(jù)本文共振峰提取結(jié)果進(jìn)行分析，得出高興、生氣和中立三種情感語音的共振峰分析結(jié)論。 展望 本文對(duì)語音情感識(shí)別做了一些基礎(chǔ)性的研究，基本完成了情感識(shí)別和情感特征參數(shù)中共振峰的提取工作，但是在語音庫建立、情感語音共振峰提取方法 的選擇等很多方面仍然不夠完善，還需要進(jìn)行改進(jìn)和進(jìn)一步地深入研究，對(duì)于下一步 的研究工作建議從以下幾個(gè)方面開展 。由于本實(shí)驗(yàn)中采用的語音庫僅僅包含高興、生氣和中立三種情感，語音庫的情感種類太少，這與實(shí)際中人類豐富的情感是不符的，可以再將其它情感補(bǔ)充進(jìn)來 。同時(shí)提高情感語音表達(dá)的自然度，擴(kuò)大情感語料的涉及范圍，并且盡可能的使語音庫涵蓋多個(gè)語種。并同時(shí)提取多種情感種類的語音信號(hào)共振峰，并分析提取結(jié)果。 ，所以估計(jì)共振峰參數(shù)的效果是較好的，但其運(yùn)算量太大。 LPC 法 的缺點(diǎn)是用一個(gè)全極點(diǎn)模型逼近語音譜，對(duì)于含有零點(diǎn)的某些音來說 A(z)的根反映了極零點(diǎn)的復(fù)合效應(yīng)，無法區(qū)分這些根是相對(duì)于零點(diǎn)還是極點(diǎn)，或完全與聲道的諧振極點(diǎn)有關(guān)。所以需要對(duì)情感語音共振峰提取方法做出進(jìn)一步改進(jìn)，使提取效果更佳完善。 24 參考文獻(xiàn) [1] 胡航 . 語音信號(hào)處理 [M]. 哈爾濱 : 哈爾濱工業(yè)大學(xué)出版社 , 2020: 113116. [2] 張剛 , 張雪英 , 馬建芬 . 語音處理與編碼 [M]. 北京 , 兵器工業(yè)出版社 , 2020. [3] Rosalind W Picard. Affective puting[J], Minds and Machines, 1999, 9:443447. [4] Cowie R and Cornelius R. Describing the emotional stares that are expressed in Speech[J], HumanComputer Studies, 2020, 40:53. [5] D Ververidis and C Kotropoulos, Emotional speech recognition:Resources, features and methods[J], Speech Communication, 2020, 48(9):11621181. [6] Cowie, , , MeMahon, , , ’:An Instrument for Recording Perceived Emotion in Real Time. In ISCA Workshop on Speech and Emotion, Belfast 2020. [7] Cowie, , and hearers are people:Reflections on Speech deterioration as a consequence of acquired deafness in Profound Deafness and Speech Communication. London, 1995. [8] ， , statistical analysis of the signal and prosodic signs of emotion in Proc. 4th Int. Conf. Spoken Language , PA, 1996:19891992. [9] Fernandez， Computational Model for the Automatic Recognition of Affect in Media Arts and Science, February 2020. [10] Ang J， Dhillon R, KruPSki A, Shriberg E, Stoleke automatic detection of annoyance and frustration in humanputer dialog[C], IPIC on spoken Language Processing， Denver, 2020, 3:20372040. [11] 趙力 , 蔣春輝 , 鄒采榮 . 語音信號(hào)中的情感特征分析和識(shí)別的研究 [N]. 電子學(xué)報(bào) , 2020, 4:606609. [12] DanNingJiang， Lian Hong Cai. Classifying Emotion in Chinese Speech by Deposing Prosodic Signal Processing , 15:3236. [13] TSangLong Pao, YuTe Chen, JunHeng Yeh. Emotion Recognition From Mandarin Speech , 2020:301304. [14] 付麗琴 , 王玉寶 , 王長(zhǎng)江 . 基于多特征向量的語音情感識(shí)別 [M]. 計(jì)算機(jī)科學(xué) , 2020, 36(6):231134. [15] Wang Qing, Xie Bo and Chen Gencai. Emotion recognition of speech in mandarin based on neural work[C]. The 1st Chinese Conference on Affective Computing and Intelligent Interaction(ACIf03), , Beijing, 2020. 25 [16] Ekman, Argument for Basic Emotions. Cognition and Emotion， 1992， 6:169200. [17] Plutchik， General Psychoevolutionary Theory of Emotion. In Emotion:Theory, Research, and Experience, 1980, l:333. [18] Shaver, , , ’Connor, Knowledge:Further Exploration of a Prototype Approach. Journal of Personality and Social Psychology, 1987, 52(6):10611086. [19] 謝波 , 普通話語音情感識(shí)別關(guān)鍵技術(shù) [D], 博士論文 , 浙江大學(xué) , 2020. [20] . Emotion:A psychoevolutionary synthesis[M]. New York Harper and Row, 1980. [21] M. Lee, J. van. Santen, B. Mobius and J. Olive. Formant Tracking Using ContextDependent Phonemic Information. IEEE Trans. on Speech and Audio Processing, 2020, 13(5): 741750. [22] 楊丹 , 姜占才 , 余鎣良 . 語音信號(hào)共振峰提取方法的研究分析 [D], 科技信息 , 161162. [23] 張雪英 . 數(shù)字語音處理及 MATLAB 仿真 [M]. 北京 , 電子工業(yè)出 版社 , 2020. [24] 郁伯康，郁梅 . LPC 方法提取語音信號(hào)共振峰的分析 [D], 電聲技術(shù)， 2020,3:37 [25] 劉建新 , 曹榮 , 趙鶴鳴 . 一種 LPC 改進(jìn)算法在提取耳語音共振峰中的應(yīng)用 ,西華大學(xué)學(xué)報(bào) [N], 2020,27(3):7780. [26] 章文義 , 朱杰 , 陳斐利 . 一種新的共振峰參數(shù)提取算法及在語音識(shí)別中的應(yīng)用 [D]. 2020,29 (13):6768. 26 致謝 在畢業(yè)論文即將完成之 際，我要向在這段時(shí)間里給予我?guī)椭椭С值睦蠋熀屯瑢W(xué)表示衷心的感謝！ 首先十分感謝我的導(dǎo)師孫穎老師，本文從研究課題的確定到最后的修改，都是在她的悉心指導(dǎo)下完成的。孫老師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、淵博的知識(shí)和誨人不倦的師者風(fēng)范使我受益匪淺。她推薦我查看大量書籍和資料，使我在寫論文之初就打下了扎實(shí)的理論基礎(chǔ)。在我有問題向她請(qǐng)教時(shí)，無論問題大小，她都耐心的給我講解。我的每一點(diǎn)進(jìn)步和提高與孫老師一貫的鼓勵(lì)和幫助是分不開的。在此，謹(jǐn)向教育培養(yǎng)我的導(dǎo)師表達(dá)我最衷心的感謝。同時(shí)，還要感謝所有在我大學(xué)階段指導(dǎo)過我，給予我教誨和栽培的各 位老師。 其次我要感謝在論文研究期間一起討論，互相學(xué)習(xí)的同組同學(xué)，是他們讓我看到了自己的不足，也讓我在討論中得到了進(jìn)步。還要感謝我的舍友吳秀娟同學(xué)，是她在我在我論文遇到困難的時(shí)候，幫我分析原因，逐步解決，使我的畢業(yè)設(shè)計(jì)能夠有充分的發(fā)揮空間。 最后，我要感謝所有支持我和關(guān)心我的家人和朋友，衷心的謝謝你們！ 27 外文原文 Formant position based weighted spectral features for emotion recognition Abstract In this paper, we propose novel spectrally weighted melfrequency cepstral coefficient (WMFCC) features for emotion recognition from speech. The idea is based on the fact that formant locations carry emotionrelated information, and therefore critical spectral bands around formant locations can be emphasized during the calculation of MFCC features. The spectral weighting is derived from the normalized inverse harmonic mean function of the line spectral frequency (LSF) features, which are known to be localized around formant frequencies. The above approach can be considered as an early data fusion of spectral content and formant location information. We also investigate methods for late decision fusion of unimodal classifiers. We evaluate the proposed WMFCC features together with the standard spectral and prosody features using HMM based classifiers on the spontaneous FAU Aibo emotional speech corpus. The results show that unimodal classifiers with the WMFCC features perform significantly better than the classifiers with standard spectral features. Late decision