【正文】 部數(shù)字信號(hào)的質(zhì)量，而 CODEC則決定了模擬輸入輸出的好壞。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻處理芯片 Codec功能框圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MIDI合成芯片邏輯框圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的選擇及應(yīng)用 ? 聲卡的兼容性 ? 音頻技術(shù)指標(biāo) ? 聲卡的使用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 課堂練習(xí) 1. 人耳能感知的聲音頻率范圍是多少？ 2. 什么是采樣？什么是量化？什么是編碼？ 3. 每秒鐘采集的聲音樣本數(shù)目，稱作 _____,存儲(chǔ)每個(gè)聲音樣本所用的二進(jìn)制位數(shù)，叫做 _____。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 4. 采樣頻率的高低是根據(jù)奈奎斯特理論和聲音信號(hào)本身的最高頻率決定的。即：采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的 達(dá)的聲音還原成原來(lái)的聲音，這叫作無(wú)損數(shù)字化。因此，高保真聲音的信號(hào)頻率約為 20kHz，采樣頻率就選為 ______。 5. 假設(shè)目前正在使用麥克風(fēng)進(jìn)行錄音，采樣頻率設(shè)為 22kHZ,量化選為 16位，在不采用壓縮技術(shù)的情況下，計(jì)算錄制 57秒的立體聲文件大約需要多少空間？ 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別技術(shù)及應(yīng)用 ? 語(yǔ)音識(shí)別的發(fā)展歷史 ? 語(yǔ)音識(shí)別技術(shù) ? 語(yǔ)音識(shí)別系統(tǒng)的類型 ? 語(yǔ)音識(shí)別的應(yīng)用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 電影中的理想化語(yǔ)音系統(tǒng) ? 科學(xué)，對(duì)于現(xiàn)代人類來(lái)說(shuō)，已經(jīng)成為既信任又依賴的生活必需品 ——人們?cè)诖蠼中∠镎務(wù)撝钪骘w船、克隆技術(shù)、數(shù)碼產(chǎn)品，既是崇拜，又是時(shí)尚 。 ? 科幻電影，是科學(xué)幻想與人性的結(jié)合，一定側(cè)面上反映了人類對(duì)科學(xué)與人生，科學(xué)與社會(huì)的看法。 ? 01年，斯皮爾伯格指導(dǎo) 《 人工智能 》 大獲成功，賺得了不少觀眾的金錢和眼淚。未來(lái)的機(jī)器人不但擁有亂真的外表，而且還能夠感知自己的存在。 11歲的小機(jī)器人大衛(wèi)被人類父母收養(yǎng)，但他始終渴望自己不再是個(gè)機(jī)器人，要求獲得真正人的地位和感覺(jué)。為此，他和另一個(gè)大機(jī)器人喬踏上了尋找人性之路的歷程。 ? 04年，威爾 .斯密斯主演 《 機(jī)械公敵 》 反映了人與機(jī)器矛盾。智能機(jī)器人不滿于他們卑微的社會(huì)地位而起來(lái)造反，妄圖占領(lǐng)人類社會(huì)?？茖W(xué)家們可以攻克一項(xiàng)又一項(xiàng)難題，然而復(fù)雜的人類社會(huì)的方程式一點(diǎn)也不比浩瀚的宇宙難解。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 現(xiàn)實(shí)的語(yǔ)音識(shí)別產(chǎn)品 ? 比爾 蓋茨 多次強(qiáng)調(diào) “ 語(yǔ)音識(shí)別（ ASR）五年內(nèi)將取代鍵盤 ” 。微軟推出 Vista能識(shí)別 8種語(yǔ)言。每個(gè)用戶在用語(yǔ)音控制電腦前，都需要以自己的語(yǔ)音，對(duì)電腦進(jìn)行適應(yīng)訓(xùn)練，使其習(xí)慣自己的發(fā)音，識(shí)別出正確的指令。 然而在 06年的一次公開(kāi)示范中， Vista語(yǔ)音識(shí)別系統(tǒng)認(rèn) “ Mom”為 “ Aunt” ，并 100%誤讀了演示員工的意思，使業(yè)界嘩然。 ? 06年中國(guó)有表情的機(jī)器人 “ 童童 ” ，可以簡(jiǎn)單對(duì)話。 ? 世界最智能的機(jī)器人 Ksimo,可以跳舞，上下樓梯，正常語(yǔ)速和人交流。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 尚待成熟的語(yǔ)音識(shí)別 ? 就在幾年前，語(yǔ)音識(shí)別（ SR）還是投資界的寵兒。市場(chǎng)領(lǐng)導(dǎo)廠商如 Dragon和 Lernout Hauspie(Lamp。H)有點(diǎn)被熱情沖昏了頭腦。 98%的準(zhǔn)確率及能夠識(shí)別 10萬(wàn)余字的功能似乎幾個(gè)月內(nèi)就會(huì)淘汰鍵盤、甚至手寫筆。 ? 許多用戶對(duì)傳聞的準(zhǔn)確率感到失望。盡管許多公司竭力炒作其技術(shù)可以實(shí)現(xiàn)很高的準(zhǔn)確率，但是準(zhǔn)確率往往只有80%到 85%。 SR對(duì)許多字?jǐn)嗾氯×x，尚未解決標(biāo)點(diǎn)問(wèn)題，似乎老是聽(tīng)不懂尖聲的嗓音、感冒患者的聲音及各種口音。顯然，一項(xiàng)尚在發(fā)展的技術(shù)被人誤傳成了 “ 成品 ” 。這項(xiàng)技術(shù)即使接近廠商在上世紀(jì)末所做的承諾，恐怕也需要許多年。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別技術(shù)難點(diǎn) ? 標(biāo)準(zhǔn)輸入的難題 不要小看鼠標(biāo)和鍵盤，雖貌似技術(shù)含量低，但它所具備的統(tǒng)一的輸入標(biāo)準(zhǔn)和精準(zhǔn)的視覺(jué)反饋這兩點(diǎn)，正是語(yǔ)音識(shí)別技術(shù)目前的短板。當(dāng)南方人把“ 牛奶 ” 念成 “ 留來(lái) ” 的時(shí)候，究竟是機(jī)器識(shí)別錯(cuò)了，還是人錯(cuò)了？ ? 噪聲的困擾 機(jī)器無(wú)法像人那樣分辨出人聲和噪聲同時(shí)，不同場(chǎng)景有不同噪聲，訓(xùn)練的情況也不能匹配真實(shí)環(huán)境 。 ? 芯片的運(yùn)算能力不足 從算法和計(jì)算過(guò)程的角度看，語(yǔ)音識(shí)別其實(shí)是一個(gè)人工智能的問(wèn)題，如果芯片的運(yùn)算速度足夠快，很多語(yǔ)音識(shí)別的技術(shù)難題就可以迎刃而解。然而大多運(yùn)用語(yǔ)音識(shí)別技術(shù)的設(shè)備都是嵌入式設(shè)備，比如手機(jī)、導(dǎo)航儀、學(xué)習(xí)機(jī)等。 ? 復(fù)雜學(xué)科交叉 語(yǔ)言學(xué)、生理學(xué)、心理學(xué)方面的研究成果已有不少，但如何把這些知識(shí)量化、建模并用于語(yǔ)音識(shí)別，還需研究。認(rèn)識(shí)還很不清楚；成果轉(zhuǎn)化艱難。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別的發(fā)展歷史 ? 語(yǔ)音識(shí)別技術(shù)的研究工作始于 20世紀(jì) 50年代，當(dāng)時(shí) ATamp。T Bell實(shí)驗(yàn)室實(shí)現(xiàn)了第一個(gè)可識(shí)別十個(gè)英文數(shù)字的語(yǔ)音識(shí)別系統(tǒng) ——Audry系統(tǒng)。 ? 60年代，計(jì)算機(jī)的應(yīng)用推動(dòng)了語(yǔ)音識(shí)別的發(fā)展。 ? 70年代，語(yǔ)音識(shí)別領(lǐng)域取得了突破。 ? 80年代，語(yǔ)音識(shí)別研究進(jìn)一步走向深入，其顯著特征是HMM模型和人工神經(jīng)元網(wǎng)絡(luò)（ ANN）在語(yǔ)音識(shí)別中的成功應(yīng)用。 ? 90年代，隨著多媒體時(shí)代的來(lái)臨，迫切要求語(yǔ)音識(shí)別系統(tǒng)從實(shí)驗(yàn)室走向?qū)嵱谩? 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別技術(shù)的發(fā)展 如圖表示了從 80年代初以來(lái)語(yǔ)音識(shí)別技術(shù)經(jīng)歷的從孤立詞 、 小詞匯量 、 特定人到大詞匯量 、 非特定人 、 自然口語(yǔ)識(shí)別的發(fā)展歷程 。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別技術(shù) ? 不同的語(yǔ)音識(shí)別系統(tǒng)，雖然具體實(shí)現(xiàn)細(xì)節(jié)有所不同，但所采用的基本技術(shù)相似，它所涉及的領(lǐng)域包括：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽(tīng)覺(jué)機(jī)理、人工智能等等。 ? 語(yǔ)音識(shí)別技術(shù)主要包括 特征提取技術(shù) 、 模式匹配準(zhǔn)則及模型訓(xùn)練 技術(shù)三個(gè)方面。此外，還涉及到 語(yǔ)音識(shí)別單元的選取 。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 典型語(yǔ)音識(shí)別系統(tǒng)的實(shí)現(xiàn)過(guò)程 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別單元的選取 ? 選擇識(shí)別單元是語(yǔ)音識(shí)別研究的第一步 ? 語(yǔ)音識(shí)別單元有單詞（句）、音節(jié)和音素三種 ? 單詞單元廣泛應(yīng)用于中小詞匯語(yǔ)音識(shí)別系統(tǒng) ? 音節(jié)單元多見(jiàn)于漢語(yǔ)語(yǔ)音識(shí)別 ? 音素單元以前多見(jiàn)于英語(yǔ)語(yǔ)音識(shí)別的研究中，但目前中、大詞匯量漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)也在越來(lái)越多地采用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 特征參數(shù)提取技術(shù) ? 語(yǔ)音信號(hào)中含有豐富的信息，這些信息稱為語(yǔ)音信號(hào)的聲學(xué)特征 ? 特征提取是對(duì)語(yǔ)音信號(hào)進(jìn)行分析處理，去除對(duì)語(yǔ)音識(shí)別無(wú)關(guān)緊要的冗余信息，獲得影響語(yǔ)音識(shí)別的重要信息 ? 由于語(yǔ)音信號(hào)的時(shí)變特性，特征提取必須在一小段語(yǔ)音信號(hào)上進(jìn)行，也即進(jìn)行短時(shí)分析 多媒體技術(shù)基礎(chǔ)與應(yīng)用 常用的一些聲學(xué)特征 ? 線性預(yù)測(cè)系數(shù) LPC ? 倒譜系數(shù) CEP ? Mel倒譜系數(shù) MFCC和感知線性預(yù)測(cè) PLP 多媒體技術(shù)基礎(chǔ)與應(yīng)用 模式匹配及模型訓(xùn)練技術(shù) ? 模型訓(xùn)練是指按照一定的準(zhǔn)則，從大量已知模式中獲取表征該模式本質(zhì)特征的模型參數(shù)，而模式匹配則是根據(jù)一定準(zhǔn)則，使未知模式與模型庫(kù)中的某一個(gè)模型獲得最佳匹配。 ? 語(yǔ)音識(shí)別所應(yīng)用的模式匹配和模型訓(xùn)練技術(shù)主要有動(dòng)態(tài)時(shí)間歸正技術(shù)（ DTW，又稱為動(dòng)態(tài)時(shí)間彎折技術(shù)）、隱馬爾可夫模型（ HMM）和人工神經(jīng)元網(wǎng)絡(luò)（ ANN）。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別系統(tǒng)的類型 語(yǔ)音識(shí)別系統(tǒng)有以下幾種分類方式： – 根據(jù)對(duì)說(shuō)話人的依賴程度可以分為 特定人 和 非特定人 語(yǔ)音識(shí)別系統(tǒng) – 根據(jù)對(duì)說(shuō)話人說(shuō)話方式的要求，可以分為 孤立字（詞） 語(yǔ)音識(shí)別系統(tǒng)， 連接詞 語(yǔ)音識(shí)別系統(tǒng)以及 連續(xù)語(yǔ)音 識(shí)別系統(tǒng) – 根據(jù)詞匯量大小，可以分為小詞匯量、中等詞匯量、大詞匯量以及無(wú)限詞匯量語(yǔ)音識(shí)別系統(tǒng) 多媒體技術(shù)基礎(chǔ)與應(yīng)用 特定人語(yǔ)音識(shí)別系統(tǒng) ? 特定人的識(shí)別系統(tǒng)精明得足以能了解講話者的語(yǔ)音特點(diǎn)，它從語(yǔ)音簽名上就能知道講話者的身份。 ? 只有在講話者用特定單詞組形成的詞匯表訓(xùn)練系統(tǒng)后，它才能識(shí)別 ? 特定人系統(tǒng)的優(yōu)點(diǎn)是它是可訓(xùn)練的，系統(tǒng)很靈活，可以訓(xùn)練它來(lái)識(shí)別新詞 ? 特定人的系統(tǒng)的缺點(diǎn)是由一個(gè)用戶訓(xùn)練的系統(tǒng)不能被另一用戶使用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 非特定人語(yǔ)音識(shí)別系統(tǒng) ? 非持定人識(shí)別系統(tǒng)可識(shí)別任何用戶的語(yǔ)音。它不需要任何來(lái)自用戶的訓(xùn)練，因?yàn)樗灰蕾囉趥€(gè)人的語(yǔ)音簽名。 ? 為生成非特定人識(shí)別系統(tǒng)、大量的用戶訓(xùn)練了大詞匯表的識(shí)別器。 ? 在訓(xùn)練系統(tǒng)時(shí)，男聲和女聲、不同的口音和方言，以及帶有背景噪音的環(huán)境都計(jì)入了考慮范圍之內(nèi)以生成參考模板。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 孤立詞語(yǔ)音識(shí)別系統(tǒng) ? 孤立詞 (語(yǔ)音 )識(shí)別系統(tǒng)，一次只提供一個(gè)單一詞的識(shí)別 ? 識(shí)別器的第一個(gè)任務(wù)是進(jìn)行幅度和噪聲歸一化，下一步是參數(shù)分析 ? 可以通過(guò)把對(duì)應(yīng)于一個(gè)詞的大量樣本聚集為單一群來(lái)獲得非特定人孤立單詞語(yǔ)音識(shí)別器。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 連接詞語(yǔ)音識(shí)別系統(tǒng) ? 連接詞的語(yǔ)音由所說(shuō)的短語(yǔ)組成，而短語(yǔ)又是由詞序列組成 ? 識(shí)別連接詞短語(yǔ)中單詞的一種方法是采用詞定位技術(shù) ? 類似于孤立詞語(yǔ)音識(shí)別，連接詞語(yǔ)音識(shí)別用于命令和控制應(yīng)用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 連續(xù)語(yǔ)音識(shí)別系統(tǒng) ? 連續(xù)語(yǔ)音由在聽(tīng)寫中形成段落的完整句子組成 ? 連續(xù)語(yǔ)音識(shí)別系統(tǒng)可以分成下列三部分： – 第一部分包括數(shù)字化、幅度歸一化、時(shí)間歸一化和參數(shù)表示 – 另一部分包括分割并把語(yǔ)音段標(biāo)記成在基于知識(shí)或基于規(guī)則系統(tǒng)上的符號(hào)串 – 最后一部分是設(shè)計(jì)用于識(shí)別詞序列而進(jìn)行語(yǔ)音段匹配 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語(yǔ)音識(shí)別的應(yīng)用 ? 語(yǔ)音郵件集成 ? 數(shù)據(jù)庫(kù)輸人和詢問(wèn)應(yīng)用 ? 語(yǔ)音命令和控制應(yīng)用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 應(yīng)用與實(shí)例 ? （ 1）接好話筒，保證聲卡工作正常。 ? （ 2）調(diào)整音量。雙擊 Windows任務(wù)欄中的小喇叭形狀的【 音量 】 圖標(biāo)，彈出 【 錄音控制 】 窗口，執(zhí)行 【 選項(xiàng) 】 →【 屬性 】 命令，彈出 【 屬性 】 對(duì)話框，如圖 。 ? 選擇 【 調(diào)節(jié)音量 】 欄中的 【 錄音 】 項(xiàng)，在 【 顯示下列音量控制 】 列表框中已列出用戶具有的聲源。注意，使用不同的操作系統(tǒng)，該列表框中的顯示也不同，但大致概念一樣。 ? 選擇需要進(jìn)行音量控制的聲源，單擊 【 確定 】 按鈕。在 【 錄音控制 】 窗口中，顯示剛才選擇的聲源，選中 【 麥克風(fēng) 】 聲源下的 【 選擇 】 復(fù)選框，選定聲源為麥克風(fēng)。注意，應(yīng)通過(guò)多次試音調(diào)節(jié)錄音音量，使錄制的聲音背景噪聲小，同時(shí)聲音效果好。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? （ 1）接好話筒，保證聲卡工作正常。 ? （ 2）調(diào)整音量。雙擊 Windows任務(wù)欄中的小喇叭形狀的 【 音量 】 圖標(biāo)，彈出 【 錄音控制 】 窗口，執(zhí)行 【 選項(xiàng) 】 → 【 屬性 】 命令，彈出 【 屬性 】 對(duì)話框，如圖。 ? 選擇 【 調(diào)節(jié)音量 】 欄中的 【 錄音 】 項(xiàng)，在 【 顯示下列音量控制 】 列表框中已列出用戶具有的聲源。注意，使用不同的操作系統(tǒng)，該列表框中的顯示也不同，但大致概念一樣。 ? 選擇需要進(jìn)行音量控制的聲源，單擊 【 確定 】 按鈕。在 【 錄音控制 】 窗口中，顯示剛才選擇的聲源，選中 【 麥克風(fēng) 】 聲源下的 【 選擇 】 復(fù)選框，選定聲源為麥克風(fēng)。注意，應(yīng)通過(guò)多次試音調(diào)節(jié)錄音音量，使錄制的聲音背景噪聲小，同時(shí)聲音效果好。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? （ 3）執(zhí)行 【 文件 /新建 】 菜單命令，顯示 【 新建波形 】對(duì)話框。選擇新建錄音文件的采樣頻率為 44100Hz，并根據(jù)需要選擇通道和分辨率。一般規(guī)律是：除了錄制語(yǔ)音選擇單聲道以外，其他聲音采用立體聲。設(shè)置好參數(shù)后，單擊 【 確定 】 按鈕，完成設(shè)置，出現(xiàn)空波形工作界面。 ? （ 4）在聲音播放工具中，單擊 【 錄音 】 按鈕，用麥克風(fēng)開(kāi)始錄音。在錄制過(guò)程中，一條垂直線在波形顯示區(qū)中從左至右移動(dòng)，指示錄音的過(guò)程。當(dāng)垂直線到達(dá)時(shí)間軸的終點(diǎn)時(shí)，錄音結(jié)束。如果在錄音過(guò)程中終端錄音，單擊 【 停止 】 按鈕即可。 ? 錄音結(jié)束后，錄制的聲音波形將顯示在波形顯示區(qū)中。單擊 【 播放 】 按鈕，可以試聽(tīng)錄音效果。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 【 屬性 】 對(duì)話框 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? 在語(yǔ)音停頓的地方會(huì)有一種振幅變化不大的聲音，如果這種聲音貫穿于錄制聲音的整個(gè)過(guò)程，這就是環(huán)境噪聲。消除環(huán)境噪聲的方法是在語(yǔ)音停頓的地方選取一段環(huán)境噪聲，讓系統(tǒng)記住這個(gè)噪聲特性，然后自動(dòng)消除所有的環(huán)境噪聲。具體操作如下： 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? （ 1）在語(yǔ)音停頓處選取一段有代表性的環(huán)境噪聲，它的時(shí)間長(zhǎng)度應(yīng)不少于 。 ? （ 2）執(zhí)行 【 效果 】 → 【 降噪（恢復(fù)） 】 →【 降噪處理 】 菜單命令，此時(shí)會(huì)彈出 【 降噪 】 對(duì)話框，如圖 。 ? 注意：不要單擊 【 取消 】 按鈕來(lái)關(guān)