【正文】 輸：音頻壓縮的目標是將數(shù)據(jù)傳輸率由 率降低到 100～ 400kbit/s 。通話會有間隙，且實際語音信號的功率電平也趨向于出現(xiàn)在編碼范圍的較低電平端。當聲音中只存在少數(shù)幾個基本頻率時，就會像某些振蕩波形一樣，在周期與周期之間存在著一定的相關(guān)性。對濁音編碼是對一個基音周期波形進行編碼，并以它作為其它基音段的模板。 人耳心理聲學模型 多媒體技術(shù)基礎與應用 人耳心理聲學模型 ? 外耳實現(xiàn)阻抗匹配功能，聲音通過空氣傳輸，類似 3kHz區(qū)域回聲遞升濾波器。如果展開耳蝸會在其入口處發(fā)現(xiàn)高頻傳感器，然后是中頻傳感器，最末端是低頻傳感器。 ? 人耳最敏感范圍為 3kHz~4kHz，在該范圍之外，人耳敏感度向高頻和低頻兩個方向降低。這一特性叫做頻域掩蔽。是由于人耳的有限時域分辨率，再加上信號通過聽覺神經(jīng)傳輸?shù)酱竽X的方式。多個頻率聲音的復合 多媒體技術(shù)基礎與應用 ?人們對聲音的感知不僅與聲音幅度有關(guān)，還與聲音的頻率有關(guān)： 可聽聲（ audio）： 20HZ ~ 20kHZ 次音、亞音信號 (subsonic) ： 20HZ 超音信號、超聲 (supersonic) :20kHZ 300HZ ~ 3kHZ 語音信號（ speech） 多媒體技術(shù)基礎與應用 模擬信號與數(shù)字信號 ?模擬信號：時間或幅度上連續(xù)的信號 ? 時間上 “ 連續(xù) ” 是指在一個指定的時間范圍內(nèi)信號的幅值有無窮多個； ? 幅度上 “ 連續(xù) ” 是指幅度的數(shù)值有無窮多個； 多媒體技術(shù)基礎與應用 ?數(shù)字信號：幅值被限制在有限個數(shù)值之內(nèi)，即幅值只能取有限的幾個數(shù)值 多媒體技術(shù)基礎與應用 音頻信號的基本概念 （如圖 ），這種連續(xù)性表現(xiàn)在兩個方面：一是時間上的連續(xù)性，二是幅度上的連續(xù)性。 ? 一個成熟的品牌會有自己傾向的風格，它會為旗下所有的型號或者一個系列的型號設計一個自認為滿意的風格，并朝這個方向去校聲。 因此，一種中頻較為突出，低頻不多，高頻不亮，比較松軟而緩慢略暖的風格，聲場較小，但不緊，細節(jié)豐富卻不突出。他們追求大動態(tài)、大聲場、要求好的瞬態(tài)、低音要猛要有點硬，高頻要亮，解析力要好，甚至要有金屬光澤，這種聲音有活力，很澎湃，但缺乏細致感。對業(yè)界影響較大的是德國聲和丹麥聲，德國人以嚴謹著稱，一絲不茍的精神同樣體現(xiàn)到對聲音的理解當中，德國聲中性而嚴肅，帶一點點冷色調(diào)，音染較少，感情色彩較少，而丹麥聲者側(cè)重中高頻的表達，偏向端莊，注重感性的人情味。也就是說，層次要豐富得多。 多媒體技術(shù)基礎與應用 采樣（ sampling） – 采樣：在某些特定的時刻對模擬信號進行測量，即每隔一定的時間測量一次聲音信號的幅值；把時間連續(xù)的模擬信號轉(zhuǎn)換成時間離散、幅度連續(xù)的采樣信號； 多媒體技術(shù)基礎與應用 采樣（ sampling） – 樣本：每次采樣都記錄下原始模擬聲波在某一時刻的狀態(tài)，稱之為樣本；將一系列的樣本連接起來，就可以描述一段聲波了 – 均勻采樣：采樣的間隔時間相等 多媒體技術(shù)基礎與應用 采樣頻率 ? 采樣頻率是指一秒鐘內(nèi)采樣的次數(shù)。量化位越高，信號的動態(tài)范圍越大，數(shù)字化后的音頻信號就越可能接近原始信號，但所需要的存貯空間也越大。這種方法稱為 脈沖編碼調(diào)制 ，用 PCM表示 多媒體技術(shù)基礎與應用 非線性量化 ?非線性量化的基本想法是，對輸入信號進行量化時，大的輸入信號采用大的量化間隔，小的輸入信號采用小的量化間隔。 ? 信號經(jīng)過數(shù)字傳輸系統(tǒng)到達接收方后，由接收方還原出和原來一樣的一系列脈沖信號。減少數(shù)據(jù)量的方法不是降低采樣頻率和采樣精度，而是數(shù)據(jù)壓縮； 多媒體技術(shù)基礎與應用 音頻信號的基本概念 音頻信號的音質(zhì)指標主要有四個： – 動態(tài)范圍、 – 頻帶寬度、 – 信噪比、 – 數(shù)據(jù)量 多媒體技術(shù)基礎與應用 聲音的動態(tài)范圍 ? 什么是動態(tài)？很多音頻設備（音箱、麥克風）和一些圖象設備（數(shù)碼相機、掃描儀）都說自己動態(tài)大。也就是說，漸變 B圖的亮度變化范圍要比漸變 A圖大得多。我們常聽的 CD是 16位的，它能產(chǎn)生 65536級聲壓變化，這是理論極限。它并不是說越大聲的聲音，動態(tài)范圍就越大。 多媒體技術(shù)基礎與應用 頻帶寬度 ? 音頻信號的頻帶越寬，所包含的音頻信號分量越豐富，音質(zhì)越好 多媒體技術(shù)基礎與應用 頻帶寬度 ? 人的聽覺范圍是 20——20220HZ，所錄音的音頻帶寬度范圍與此相同。接收以后還原的音頻頻率上限可達 1500016000Hz。 多媒體技術(shù)基礎與應用 信噪比 ? 噪比又稱為訊噪比，是信號的有用成份與雜音的強弱對比，常用分貝數(shù)表示。 ? 目前 MP3播放器的信噪比有 60dB、 65dB、 85dB、90dB、 95dB等等，我們在選擇 MP3的時候，一般都選擇 60dB以上的，但即使這一參數(shù)達到了要求，也不一定表示機子好，畢竟它只是 MP3性能參數(shù)中要考慮的參數(shù)之一。耳分為外耳、中耳和內(nèi)耳三個部分。 一種頻率的聲音阻礙聽覺系統(tǒng)感受另一種頻率的聲音的現(xiàn)象稱為掩蔽效應 。時域掩蔽又分為超前掩蔽 (premasking)和滯后掩蔽 (postmasking)，如圖 示。 一般來說，低頻的音容易掩蔽高頻的音；在距離強音較遠處，絕對聞閾比該強音所引起的掩蔽閾值高，這時，噪聲的掩蔽閾值應取絕對聞閾。 多媒體技術(shù)基礎與應用 人類聽覺特性 （ 1）頻率域的主觀感覺 （ 2）時間域的主觀感覺 （ 3）空間域的主觀感覺 （ 4）聽覺的韋伯定律 （ 5）聽覺的歐姆定律 （ 6）掩蔽效應 （ 7）雙耳效應 （ 8）哈斯效應 （ 9）德 多媒體技術(shù)基礎與應用 （ 2）時間域的主觀感覺 ? 如果聲音的時間長度超過大約 300ms，那么聲音的時間長度增減對聽覺的閾值變化不起作用。 ? 時間域的另一個主觀感覺特性是回聲。當反射面的尺寸遠大于入射聲波長時，聽到的回聲最清楚。當聲音較小，增大聲波振幅時，人耳的主觀感受音量增大量較大；當聲音強度較大，增大相同的聲波振幅時，人耳主觀感受音量的增大量較小。 ? 人耳是一個頻率分析器，可以將復音中的各諧音分開，人耳對頻率的分辨靈敏度很高，在這一點上人耳比眼睛的分辨度高，人眼無法看出白光中的各種彩色光分量。另外，低頻聲的掩蔽范圍大于高頻聲的掩蔽范圍。一些降噪系統(tǒng)就是利用掩蔽效應的原理設計而成的。 聲音強弱不同時 ， 可感受出聲源與聽音者之間的距離 。當我們聽立體聲廣播、立體聲唱片中的一個管弦樂隊演奏時，你可以感到大提琴在你的右前方，小提琴在你的左前方，而小號卻在中間 ?? 。 多媒體技術(shù)基礎與應用 （ 8）哈斯效應 ? 當兩個強度相等而其中一個經(jīng)過延遲的聲音同時到聆聽者耳中時，如果延遲在 30ms以內(nèi)，聽覺上將感到聲音好像只來自未延遲的聲源，并不感到經(jīng)延遲的聲源存在。 ? 哈斯的試驗證明：在兩個聲源同時發(fā)聲時，根據(jù)一個聲源與另一個聲源的延時量不同時，雙耳聽音的感受是不同的，可以分成以下三種情況來說明： 1）兩個聲源中一個聲源與另一個聲源的延時量在 5～ 35ms以內(nèi)時，就好像兩個聲源合二為一，聽音者只能感覺到超前一個聲源的存在和方向，感覺不到另一個聲源的存在。 多媒體技術(shù)基礎與應用 （ 9）德 如果聲壓差為零，而時間差為變化時，同樣也有聲像移動的效果，當時間差大于３ｍｓ時，則聲像完全由前導的聲源所決定。波埃效應的實驗是：放置左、右聲道兩只音箱，聽音者在兩只音箱對稱線上聽音，給兩只音箱饋入不同的信號，可以得到以下幾個定論： １）如果給兩只音箱饋入相同的信號，即強度級差 ΔＬ＝０，時間差 Δｔ＝０，此時只感覺到一個聲音，且來自兩只音箱的對稱線上。 多媒體技術(shù)基礎與應用 （ 10）勞氏效應 ? 勞氏效應是一種立體聲范圍的心理聲學效應。當?shù)?、中頻某段夸張，有共振、頻率響應不平坦、 300Hz提升過量時，會出現(xiàn)浴室效應。如火車鳴笛時，若聲音急促尖銳則表明其正在臨近，而若聲音緩慢低沉則表明其正在遠去。 多媒體技術(shù)基礎與應用 （ 15）李開試驗 ? 李開試驗證明：兩個聲源的相位相反時，聲像可以超出兩個聲源以外，甚至跳到聽音身后。 多媒體技術(shù)基礎與應用 音頻信號的壓縮技術(shù) 人耳的掩蔽效應和音頻的有關(guān)定律表明，若將一些人耳不敏感的信號進行壓縮是可行的。一種方法是利用信號的統(tǒng)計性質(zhì)，完全不丟失信息的高效率編碼法，稱為平均信息量編碼或熵編碼。 多媒體技術(shù)基礎與應用 音頻信號的壓縮技術(shù) ： （ 1）盡管這個方法是有損的，但人耳卻感覺不到編碼信號質(zhì)量的下降 ； （ 2）感知編碼器的有效性部分源自采用了自適應的量化方法 ； （ 3）一般感知編碼采用兩種比特分配方案 ：前向自適應分配方案 、后向自適應分配方案 ； （ 4）感知編碼有一定的抗噪性 ； （ 5）由于感知編碼器根據(jù)人耳的靈敏度來編碼，它也可以輸出放音系統(tǒng)所要求的響度 ； （ 6）感知編碼技術(shù)的實現(xiàn)全靠子帶壓縮技術(shù) ； 多媒體技術(shù)基礎與應用 音頻信號的壓縮技術(shù) 子帶編碼（ SubBand Coding,SBS）首先使用帶通濾波器組將輸入信號分割成幾個不同的子帶信號，再對這些子帶信號分別進行頻譜平移，然后分別對各子帶進行量化、編碼，這類編碼方式稱為頻域編碼。 多媒體技術(shù)基礎與應用 音頻信號的壓縮技術(shù) ： 接收端：在接收端，把總信碼分成各子帶信碼，再進行插值，頻率搬移到原來的位置，帶通濾波然后相加得到重建信號。在接收端譯碼時，將每個子帶的代碼單獨譯碼，然后把它們組合起來，還原成原來的音頻信號。 ? 224kb/s的調(diào)幅廣播質(zhì)量的音頻信號壓縮為 64kb/s，主要用于視聽多媒體和會議電視等。 多媒體技術(shù)基礎與應用 為了進一步降低壓縮的速率， CCITT于1992年制定了 ，使用基于低時延碼本激勵線性預測編碼 (LDCELP)算法，其速率為 16kb/s，主要用于公共電話網(wǎng)中。 多媒體技術(shù)基礎與應用 MPEG音頻編碼標準 ? MPEG音頻編碼標準具有可伸縮性，根據(jù)采用的壓縮因子的不同可以獲得不同的音質(zhì)。 ? MIDI規(guī)范不僅定義了電腦音樂程序、音樂合成器及其它電子音樂設備交換音樂信號的方式，而且還規(guī)定了不同廠家的電子樂器與電腦連接的電纜和硬件及設備間數(shù)據(jù)傳輸?shù)膮f(xié)議，可用于為不同樂器創(chuàng)建數(shù)字聲音，能很容易地模擬鋼琴、小提琴等傳統(tǒng)樂器的聲音。 樂器數(shù)字接口 MIDI 多媒體技術(shù)基礎與應用 音頻編碼標準 ： 多媒體技術(shù)基礎與應用 音頻編碼標準 3. MP3壓縮標準 MPEG1第三層合并了 MUSIC和 ASPEC算法，第三層的輸出就是通常所說的 MP3。圖 MPEG1第三層的編碼器和解碼器的原理圖。對于頻譜密集、音量大的聲音元素應該獲得較多的數(shù)據(jù)占有量，而那些由于掩蔽效應而聽不到的聲音則少占用或不占用數(shù)據(jù)量。 MIDI是一種數(shù)字接口 ,而計算機始終是以數(shù)字方式工作的 ,當樂器與計算機聯(lián)接在一起時 ,它的實力才真正顯露出來。 根據(jù)不同的錄音要求和所需的專業(yè)程度，選擇適合的軟件才是最重要的。同時又可以通過模數(shù)轉(zhuǎn)換器(A/D)將麥克風或 CD的輸入信號轉(zhuǎn)換成數(shù)字信號，送到計算機進行處理。 多媒體技術(shù)基礎與應用 ?外部輸入 /輸出口 麥克風接口 (Mic in)－實現(xiàn)聲音輸入、外錄功能 線性輸入口 (Line in)－實現(xiàn)相關(guān)設備的音源輸入 音頻輸出口 (Line out)－實現(xiàn)聲音輸出 揚聲器輸出 (SPK out)－通過聲卡功放輸出放大信號，用于連接無源音箱。 ? 聲卡模擬輸入輸出的品質(zhì)和 CODEC的轉(zhuǎn)換品質(zhì)有著重大的關(guān)系，音頻加速器或 I/O控制器決定了聲卡內(nèi)部數(shù)字信號的質(zhì)量，而 CODEC則決定了模擬輸入輸出的好壞。因此，高保真聲音的信號頻率約為 20kHz，采樣頻率就選為 ______。未來的機器人不但擁有亂真的外表，而且還能夠感知自己的存在。智能機器人不滿于他們卑微的社會地位而起來造反，妄圖占領人類社會。微軟推出 Vista能識別 8種語言。 ? 世界最智能的機器人 Ksimo,可以跳舞，上下樓梯，正常語速和人交流。 98%的準確率及能夠識別 10萬余字的功能似乎幾個月內(nèi)就會淘汰鍵盤、甚至手寫筆。顯然，一項尚在發(fā)展的技術(shù)被人誤傳成了 “ 成品 ” 。 ? 芯片的運算能力不足 從算法和計算過程的角度看，語音識別其實是一個人工智能的問題，如果芯片的運算速度足夠快，很多語音識別的技術(shù)難題就可以迎刃而解。 多媒體技術(shù)基礎與應用 語音識別的發(fā)展歷史 ? 語音識別技術(shù)的研究工作始于 20世紀 50年代，當時 ATam