【正文】 。設(shè)備的信噪比越高表明它產(chǎn)生的雜音越少。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻信號(hào)的基本概念 音頻數(shù)據(jù)必須以一定的數(shù)據(jù)格式存儲(chǔ)在磁盤或者其他媒體上。外耳包括耳廓、外耳道和鼓膜，耳廓也就是我們平常所說的耳朵，它有收集聲波的作用。 前者稱為掩蔽聲音(maskingtone) ， 后 者 稱 為 被 掩 蔽 聲 音(maskedtone)。若掩蔽聲音出現(xiàn)之前的一段時(shí)間內(nèi)發(fā)生掩蔽效應(yīng)則稱為超前掩蔽，否則稱為滯后掩蔽。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 人類聽覺特性 由于聲音頻率與掩蔽曲線不是線性關(guān)系，為從感知上來統(tǒng)一度量聲音頻率，引入了 “ 臨界頻帶 (critical band)”的概念。波埃效應(yīng) （ 10）勞氏效應(yīng) （ 11）匙孔效應(yīng) （ 12）浴室效應(yīng) （ 13）多普勒效應(yīng) （ 14）雞尾酒效應(yīng) （ 15）李開試驗(yàn) ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● 多媒體技術(shù)基礎(chǔ)與應(yīng)用 （ 1）頻率域的主觀感覺 ? 頻率域中最重要的主觀感覺是音調(diào)，像響度一樣音調(diào)也是一種聽覺的主觀心理量，它是聽覺判斷聲音調(diào)門高低的屬性。對(duì)于音調(diào)的感受也與聲音的時(shí)間長(zhǎng)短有關(guān)。回聲是我們?nèi)粘Ｉ钪谐Ｒ姷囊环N聲現(xiàn)象。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 3）空間域的主觀感覺 ? 人耳用雙耳聽音比用單耳聽音具有明顯的優(yōu)勢(shì)，其靈敏度高、聽閾低、對(duì)聲源具有方向感，而且有比較強(qiáng)的抗干擾能力。 ? 根據(jù)人耳的上述聽音特性，在設(shè)計(jì)音量控制電路時(shí)要求采用指數(shù)型電位器作為音量控制器，這樣均勻旋轉(zhuǎn)電位器轉(zhuǎn)柄時(shí)，音量是線性增大的。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 （ 6）掩蔽效應(yīng) ? 環(huán)境中的其他聲音會(huì)使聽音者對(duì)某一個(gè)聲音的聽力降低，這稱之為掩蔽。 人耳的這一聽覺特性給設(shè)計(jì)降低噪聲電路提供了重要啟發(fā)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 （ 7）雙耳效應(yīng) ? “雙耳效應(yīng) ” 的原理十分復(fù)雜 ， 但簡(jiǎn)單的說 ， 就是人的雙耳的位置在頭部的兩側(cè) ， 如果聲源不在聽音人的正前方 ，而是偏向一邊 ， 那么聲源到達(dá)兩耳的距離就不相等 ， 聲音到達(dá)兩耳的時(shí)間與相位就有差異 ， 人頭如果側(cè)向聲源 ， 對(duì)其中的一只耳朵還有遮蔽作用 ， 因而到達(dá)兩耳的聲壓級(jí)也有不同 。 或者說 ， 如同一個(gè)發(fā)聲源發(fā)出聲波到達(dá)兩只耳朵的時(shí)間不同 （ 因?yàn)榫嚯x不同 ） 從而可以判斷聲源的方向 。對(duì)于電聲樂隊(duì)，你也可以很明顯地感覺出主奏樂器來自不同的方向。當(dāng)延遲時(shí)間超過 30ms而未達(dá)到 50ms時(shí)，則聽覺上可以識(shí)別出已延遲的聲源存在，但仍感到聲音來自未經(jīng)延遲的聲源。 2）若一個(gè)聲源延時(shí)另一個(gè)聲源 30～ 50ms，已能感覺到兩個(gè)聲源的存在，但方向仍由前導(dǎo)所定。波埃效應(yīng) ? 德 ? 德 ２）如果兩只音箱的強(qiáng)度級(jí)差 ΔＬ不為０，此時(shí)聽音感覺聲音偏向較響的一只音箱，如果強(qiáng)度級(jí)差 ΔＬ大于等于１５ｄＢ，此時(shí)感覺聲音完全來自較響的那一只音箱。勞氏效應(yīng)揭示：如果將延遲后的信號(hào)再反相疊加在直達(dá)信號(hào)上，會(huì)產(chǎn)生一種明顯的空間感，聲音好像來自四面八方，聽音者仿佛置身于樂隊(duì)之中。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 （ 13）多普勒效應(yīng) ? 多普勒效應(yīng)揭示移動(dòng)聲音的有關(guān)聽音特性：當(dāng)聲源與聽音者之間存在相對(duì)運(yùn)動(dòng)時(shí)，會(huì)感覺某一頻率所確定的聲音其音調(diào)發(fā)生了改變，當(dāng)聲源向聽音者接近時(shí)是頻率稍高的音調(diào)，當(dāng)聲源離去時(shí)是頻率稍降低的音調(diào)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 （ 14）雞尾酒效應(yīng) ? “雞尾酒效應(yīng) ” 在聲學(xué)中是指人耳的掩蔽效應(yīng)。李開試驗(yàn)還提示，只要適當(dāng)控制兩聲源（左、右聲道揚(yáng)聲器）的強(qiáng)度、相位，就可以獲得一個(gè)范圍廣闊（角度、深度）的聲像移動(dòng)場(chǎng)。針對(duì)不同的應(yīng)用，可以采用不同的壓縮技術(shù)。第二種方法是利用接收信號(hào)的人的感覺特性，省略不必要的信息，壓縮信息量，這種方法稱為感知編碼。頻域編碼將信號(hào)分解成不同頻帶分量的過程去除了信號(hào)的多余度，得到一組不相關(guān)的信號(hào)。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 子帶編碼 ? 使用一組帶通濾波器 (bandpass filter， BPF)把輸入音頻信號(hào)的頻帶分成若干個(gè)連續(xù)的頻段，每個(gè)頻段稱為子帶。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 子帶編碼示意圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ITUT G系列聲音壓縮標(biāo)準(zhǔn) ? ? ? ? ? ? 音頻編碼標(biāo)準(zhǔn)比較 – 音頻編碼標(biāo)準(zhǔn) 多媒體技術(shù)基礎(chǔ)與應(yīng)用 1972年 CCITT為電話質(zhì)量和語音壓縮制定了 PCM標(biāo)準(zhǔn) 。 ? 64kb/s的數(shù)據(jù)率，而音頻信號(hào)的質(zhì)量要明顯高于 。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ITUT于 1996年 3月通過了 ，它使用 8kb/s的共軛結(jié)構(gòu)代數(shù)碼激勵(lì)線性預(yù)測(cè)(CSACELP)算法，此標(biāo)準(zhǔn)將在無線移動(dòng)網(wǎng)、數(shù)字多路復(fù)用系統(tǒng)和計(jì)算機(jī)通信系統(tǒng)中應(yīng)用。 ? MPEG采用分層編碼方式，其層次與壓縮因子的關(guān)系如下表所示 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MP3的一些主要性能 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MP4壓縮技術(shù) ? MP4采用的是美國(guó)電話電報(bào)公司 (AT＆ T)所研發(fā)的、以 “ 知覺編碼 ” 為關(guān)鍵技術(shù)的 a2b音樂壓縮技術(shù)，可將壓縮比成功地提高到15:1(最大可達(dá)到 20:1)而不影響音樂的實(shí)際聽感。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? 相對(duì)于保存真實(shí)采樣數(shù)據(jù)的聲音文件， MIDI文件顯得更加緊湊，其文件的大小要比 WAV文件小得多 ? MIDI本身并不能發(fā)出聲音，它是一個(gè)協(xié)議，只包含用于產(chǎn)生特定聲音的指令，而這些指令則包括調(diào)用何種 MIDI設(shè)備的音色、聲音的強(qiáng)弱及持續(xù)的時(shí)間等。層 3使用了比較好的臨界頻帶濾波器，把聲音頻帶分成非等帶寬的子帶，心理學(xué)模型除了使用頻域掩蔽特性和時(shí)間掩蔽特性之外，還考慮了立體聲數(shù)據(jù)的冗余，并且使用了霍夫曼編碼器。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) 層 3編碼器： 層 3解碼器： MP3音樂的例子： 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) 4. AC3壓縮標(biāo)準(zhǔn) 杜比 AC3編碼系統(tǒng)屬于感知編碼器，采用 MDCT的自適應(yīng)變換編碼算法，利用臨界頻帶內(nèi)一個(gè)聲音對(duì)另一個(gè)聲音信號(hào)的掩蔽效應(yīng)最明顯，將整個(gè)音頻頻帶分割成若干個(gè)較窄的頻段，劃分頻帶的濾波器組要有足夠銳利的頻率響應(yīng)，以保證臨界頻帶外的噪聲衰減足夠大，使時(shí)域和頻域內(nèi)的噪聲限定在掩蔽門限下。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) 5. AC3編碼器原理圖 ： 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) 6. AC3壓縮標(biāo)準(zhǔn)特點(diǎn)： （ 1）杜比數(shù)字 AC3提供的環(huán)繞聲系統(tǒng)由五個(gè)全頻域聲道加一個(gè)超低音聲道組成 ； （ 2）杜比數(shù)字 AC3是根據(jù)感覺來開發(fā)的編碼系統(tǒng)多聲道環(huán)繞聲 ； （ 3）全頻段的細(xì)節(jié)十分豐富，具有真正的立體聲； （ 4）杜比數(shù)字 AC3具有很好的兼容性 ； （ 5） AC3的后環(huán)繞聲道擁有完整的定位能力。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) ： MIDI音樂的例子： 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻編碼標(biāo)準(zhǔn) 9. 現(xiàn)時(shí)制作 MIDI所要用到的音序器、音源甚至錄音機(jī)等也已經(jīng)不再局限在硬件中，而有相應(yīng)的軟件產(chǎn)品應(yīng)運(yùn)而生，而且其效果與硬件相比并不遜色。 （ 1） CAKEWALK系列 （ 2） Logic Audio系列 （ 3） Cubase系列 （ 4） Cool Edit （ 5） Samplitude 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的組成和工作原理 ? 聲卡的發(fā)展歷史 ? 聲卡的聲道 ? 聲卡的功能 ? 聲卡的工作原理 ? 聲卡的選擇及應(yīng)用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的發(fā)展歷史 ? 從 PC喇叭到 ADLIB音樂卡（ 告別無聲時(shí)代 ） ? Sound Blaster系列（ 數(shù)字聲音精確化歷程 ） ? SB AWE系列聲卡（ 電腦音樂開始自成流派 ） ? PCI聲卡（ 新時(shí)代的開始 ） 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的聲道 ? 單聲道 ? 立體聲 ? 四聲道環(huán)繞 ? 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的功能 ? 錄制、編輯和回放數(shù)字聲音文件 ? 控制各聲源的音量，并混合在一起，以便數(shù)字化 ? 在記錄和回放數(shù)字文件時(shí)進(jìn)行壓縮和解壓縮，以節(jié)省存儲(chǔ)空間 ? 采用語音合成技術(shù)，能讓電腦朗讀文件 ? MIDI接口 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? 聲卡的工作原理其實(shí)很簡(jiǎn)單，我們知道，麥克風(fēng)和喇叭所用的都是模擬信號(hào)，而電腦所能處理的都是數(shù)字信號(hào)，聲卡的作用就是實(shí)現(xiàn)兩者的轉(zhuǎn)換。 ? 聲音處理芯片是聲卡中的核心芯片，是一個(gè)完整的音頻子系統(tǒng)電路，通過對(duì)音頻信號(hào)的轉(zhuǎn)換、控制、加工、處理，在個(gè)人計(jì)算機(jī)上實(shí)現(xiàn)聲卡的另一關(guān)鍵芯片是合成器芯片。 ? 內(nèi)部輸入 /輸出口 ? 跳線 多媒體技術(shù)基礎(chǔ)與應(yīng)用 Sound Blaster16的結(jié)構(gòu)框圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 ? CODEC芯片 (多媒體數(shù)字編解碼器 ) 它主要承擔(dān)對(duì)原始聲音信號(hào)的采樣混音處理，也就是A/D,D/A轉(zhuǎn)換功能。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 音頻處理芯片 Codec功能框圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 MIDI合成芯片邏輯框圖 多媒體技術(shù)基礎(chǔ)與應(yīng)用 聲卡的選擇及應(yīng)用 ? 聲卡的兼容性 ? 音頻技術(shù)指標(biāo) ? 聲卡的使用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 課堂練習(xí) 1. 人耳能感知的聲音頻率范圍是多少？ 2. 什么是采樣？什么是量化？什么是編碼？ 3. 每秒鐘采集的聲音樣本數(shù)目，稱作 _____,存儲(chǔ)每個(gè)聲音樣本所用的二進(jìn)制位數(shù)，叫做 _____。 5. 假設(shè)目前正在使用麥克風(fēng)進(jìn)行錄音，采樣頻率設(shè)為 22kHZ,量化選為 16位，在不采用壓縮技術(shù)的情況下，計(jì)算錄制 57秒的立體聲文件大約需要多少空間？ 多媒體技術(shù)基礎(chǔ)與應(yīng)用 語音識(shí)別技術(shù)及應(yīng)用 ? 語音識(shí)別的發(fā)展歷史 ? 語音識(shí)別技術(shù) ? 語音識(shí)別系統(tǒng)的類型 ? 語音識(shí)別的應(yīng)用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 電影中的理想化語音系統(tǒng) ? 科學(xué)，對(duì)于現(xiàn)代人類來說，已經(jīng)成為既信任又依賴的生活必需品 ——人們?cè)诖蠼中∠镎務(wù)撝钪骘w船、克隆技術(shù)、數(shù)碼產(chǎn)品，既是崇拜，又是時(shí)尚 。 11歲的小機(jī)器人大衛(wèi)被人類父母收養(yǎng)，但他始終渴望自己不再是個(gè)機(jī)器人，要求獲得真正人的地位和感覺。科學(xué)家們可以攻克一項(xiàng)又一項(xiàng)難題，然而復(fù)雜的人類社會(huì)的方程式一點(diǎn)也不比浩瀚的宇宙難解。每個(gè)用戶在用語音控制電腦前，都需要以自己的語音，對(duì)電腦進(jìn)行適應(yīng)訓(xùn)練，使其習(xí)慣自己的發(fā)音，識(shí)別出正確的指令。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 尚待成熟的語音識(shí)別 ? 就在幾年前，語音識(shí)別（ SR）還是投資界的寵兒。 ? 許多用戶對(duì)傳聞的準(zhǔn)確率感到失望。這項(xiàng)技術(shù)即使接近廠商在上世紀(jì)末所做的承諾，恐怕也需要許多年。然而大多運(yùn)用語音識(shí)別技術(shù)的設(shè)備都是嵌入式設(shè)備，比如手機(jī)、導(dǎo)航儀、學(xué)習(xí)機(jī)等。T Bell實(shí)驗(yàn)室實(shí)現(xiàn)了第一個(gè)可識(shí)別十個(gè)英文數(shù)字的語音識(shí)別系統(tǒng) ——Audry系統(tǒng)。 ? 90年代，隨著多媒體時(shí)代的來臨，迫切要求語音識(shí)別系統(tǒng)從實(shí)驗(yàn)室走向?qū)嵱?。此外，還涉及到 語音識(shí)別單元的選取 。 ? 只有在講話者用特定單詞組形成的詞匯表訓(xùn)練系統(tǒng)后，它才能識(shí)別 ? 特定人系統(tǒng)的優(yōu)點(diǎn)是它是可訓(xùn)練的，系統(tǒng)很靈活，可以訓(xùn)練它來識(shí)別新詞 ? 特定人的系統(tǒng)的缺點(diǎn)是由一個(gè)用戶訓(xùn)練的系統(tǒng)不能被另一用戶使用 多媒體技術(shù)基礎(chǔ)與應(yīng)用 非特定人語音識(shí)別系統(tǒng) ? 非持定人識(shí)別系統(tǒng)可識(shí)別任何用戶的語音。 多媒體技術(shù)基礎(chǔ)與應(yīng)用 孤立詞語音識(shí)別系統(tǒng) ? 孤立詞 (語音 )識(shí)別系統(tǒng)，一次只提供一個(gè)單一詞的識(shí)別 ? 識(shí)別器的第一個(gè)任務(wù)是進(jìn)行幅度和噪聲歸一化，下一步是參數(shù)分析 ? 可以通過把對(duì)應(yīng)于一個(gè)詞的大量樣本聚集為單一群來獲得非特定人孤立單詞語音識(shí)別器。 ? 選擇 【 調(diào)節(jié)音量 】 欄中的 【 錄音 】 項(xiàng)，在 【 顯示下列音量控制 】 列表框中已列出用戶具有的聲源。注意，應(yīng)通過多次試音調(diào)節(jié)錄音音量，使錄制的聲音背景噪聲小，同時(shí)聲音效果好。 ? 選擇 【 調(diào)節(jié)音量 】 欄中的 【 錄音 】 項(xiàng)，在 【 顯示下列音量控制 】 列表框中已列出用戶具有的聲源。注意，應(yīng)通過多次試音調(diào)節(jié)錄音音量，使錄制的聲音背景噪聲小，同時(shí)聲音效果好。設(shè)置好參數(shù)后，單擊 【 確定 】 按鈕，完成設(shè)置，出現(xiàn)空波形工作界面。如果在錄音過程中終端錄音，單擊 【 停止 】 按鈕即可。消除環(huán)境噪聲的方法是在語音停頓的地方選取一段環(huán)境噪聲，讓系統(tǒng)記住這個(gè)噪聲特性，然后自動(dòng)消除所有的環(huán)