【文章內(nèi)容簡介】 16位 CD品質(zhì)的未壓縮 WAV文件記錄需 317MB ? MIDI可以與其他波形聲音配合使用，形成伴樂的效果。而兩個波形聲音一般是不能同時使用的 ?對 MIDI的編輯也很靈活，用戶可以自由地改變音調(diào)、音色等屬性，直到自己想要的效果 ? MIDI在音質(zhì)上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 音頻的數(shù)字化和符號化 （ 2）語音的符號化 語音與文字是對應(yīng)的。波形聲音可以記錄表示語音，它是不是語音取決于聽者對聲音的理解。對語音的符號化實際上就是對語音的識別，將語音轉(zhuǎn)變?yōu)樽址?，反之也可以將文字合成語音。 語音指構(gòu)成人類語音信號的各種聲音。在采集和存儲上可以與波形聲音一樣，但由于語音是由一連串的音素組成。 “ 一句話 ” 中包含許多音節(jié)以及上下文過渡過程的連接體等特殊的信息，并且語音本身與語言有關(guān)，所以要把它作為一個獨立的媒體來看待。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 音頻媒體的三維化處理 1．三維虛擬聲空間 所 謂三 維虛擬 聲空間 （ Three Dimensional Virtual Acoustic， 3DVA） ， 是指用一定的聲音設(shè)備人為地產(chǎn)生出來的具有空間位臵信息的聲音空間 。 三維聽覺的使用明顯地依賴于用戶對聽覺空間中各種信息源的定位能力 。 一般說來 ， 三維虛擬聲空間要達(dá)到以下的一些目標(biāo)： ① 在可聽的范圍內(nèi)重現(xiàn)頻率分辨度和動態(tài)范圍； ② 在三維空間中精確地呈現(xiàn)聲音的位臵信息； ③ 能表達(dá)多個靜止和移動的聲源； ④ 能和頭部的動作具有一定的關(guān)聯(lián)； ⑤ 能夠支持一定程度的交互 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 音頻媒體的三維化處理 2． 3DVA的基本理論 人類感知聲源位臵的最基本的理論是雙工理論， 該理論基于兩種因素：兩耳間聲音的到達(dá)時間差I(lǐng)TD（ Interaural Time Differences） 和兩耳間聲音的強度差 IID（ Interaural Intensity Differences） 。 時間差是由于距離的原因造成的，當(dāng)聲音從正面?zhèn)鱽頃r，距離相等，所以沒有時間差；但若偏右3o， 則到達(dá)右耳的時間就要比左耳約早 30ms， 而正是這 30ms， 使得我們辨別出了聲源的位臵。 強度差是由于信號衰減造成的，信號的衰減是因為距離產(chǎn)生的，在很多情況下是因為人的頭部遮擋，使聲音衰減，產(chǎn)生了強度的差別，使得靠近聲源一側(cè)的耳朵聽到的聲音強度要大于另一耳。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 音頻媒體的三維化處理 3DVA理論較形象地說明：人耳對聲音定位的特性，通過大腦的綜合作用后，對有差別的聲音信號進(jìn)行了相對于空間位臵的定位。 人耳對聲源方位的判定起決定作用的是耳廓。當(dāng)聲波從聲源傳到聽者的耳部時，聲波會在耳廓發(fā)生不斷的反射和折射，然后由內(nèi)耳道傳到耳鼓，使人產(chǎn)生音感。這種反射、折射是依賴于頻率的，通過不同頻率的變化，使得人耳能夠辨別聲源的方位。另外，當(dāng)聲音從聲源傳到人的內(nèi)耳并形成聽覺時，聲音信號已經(jīng)攜帶了兩個很重要的信息，從而形成了空間真實感和環(huán)境真實感。聲源的本身信號特征、聲源的空間三維位臵、聲源所處的環(huán)境這三個因素描述了聲源的全部信息。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 音頻媒體的三維化處理 3． HRTF方法 實現(xiàn)空間真實感的關(guān)鍵是建立起耳廓模型，這種方法被稱為“雙耳相關(guān)函數(shù)法”，也即 HRTF（HeadRelated Transfer Function， 與頭部有關(guān)的轉(zhuǎn)移函數(shù)）。 從理論上利用 HRTF產(chǎn)生真實空間聲音的算法如下圖所示。 音頻媒體的三維化處理 場景模型（幾何、屬性、聲源、聲宿） 聲 學(xué) 模 擬 脈 沖 響 應(yīng) 曲 線 卷 積 運 算 雙 耳 脈 沖 響 應(yīng) 卷 積 運 算 真 實 感 空 間 聲 H R TF 雙耳相關(guān)函數(shù) 無 回 響 聲 音 輸 出 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 人民郵電出版社 國防科學(xué)技術(shù)大學(xué) 版權(quán)所有 視覺媒體技術(shù) 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) 1．視覺的心理特征 視覺是人類最重要的感知能力 ， 通過視覺可以感知到外部世界的形狀 、 大小 、 色彩 、 明暗 、機理和運動等多方面的信息 。 同聲音心理學(xué)相似，與視覺相對應(yīng)的光學(xué)物理性質(zhì)和心理知覺也是截然不同的。雖然光的物理特性與心理知覺有關(guān)，但它們的關(guān)系并不是線性的。對光的色調(diào)和亮度的感覺不僅和它的頻率和強度有關(guān)，而且還和它出現(xiàn)的背景有關(guān)，和同時出現(xiàn)的周圍光有關(guān)。 視覺心理學(xué) 視覺心理變量 主要的物理變量 亮度 光強 色調(diào)（彩色） 波長 濃度（彩色的濃度） 光譜成分 對比 光強、波長、周圍光 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) 2. 視覺特性 ? 亮度 亮度是人眼對光強度的感受 。 一個物體的亮度不僅跟目標(biāo)的物理強度有關(guān) ，而且與周圍的背景有關(guān) 。 假定整個照明增大了 ， 目標(biāo)和環(huán)境的光強就按照比例增大了 ， 兩者之間的物理對比就維持不變 。 但當(dāng)照明增強時 ， 目標(biāo)的亮度可能會亮一些 ， 也可能保持不變 ， 甚至看起來亮度減少一些 。 這些都取決于中心和周圍之間的相對強度 ， 也就是對比度 。 對圖像的處理最重要的是亮度的差別 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) 與聲音相似 ， 視覺上也有等亮曲線 ， 反映了視覺在亮度上與波長的關(guān)系 。 在同一亮度感覺下 ， 不同波長的光具有不同的光強 。 視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時難以看清的，道理和聲音是類似的 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) ?視覺的時間特性 建立視覺圖像需要時間 ， 而一旦建立起來之后 ，即使把圖像對象拿走 ， 這種反應(yīng)也要維持一段時間 。這是因為把光轉(zhuǎn)變?yōu)樯窠?jīng)電需要時間 。 正因為視網(wǎng)膜圖像時逐漸消退的 ， 所以視覺暫留可以存在十分之幾秒 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) ?彩色 表示顏色需要考慮三種心理屬性：色調(diào) 、 亮度和飽和度 。 色調(diào)就是通常意義下的彩色 ， 它隨波長的變化而變化 ， 反映顏色的基本特性 。 亮度是光作用于人眼所引起的明亮程度的感覺 ， 與光強有關(guān) 。飽和度是代表為了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對數(shù)量 ， 或者說是顏色的深淺程度 。 對同一色調(diào)的彩色光 ， 飽和度越深顏色越鮮艷 。 色調(diào)和飽和度統(tǒng)稱為色度 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) 顏色是由三種原色光混合而成的?？梢姽獾牟ㄩL從 380納米到 780納米。不同波長呈現(xiàn)出不同顏色，可見光波長從長到短依次為紅橙黃綠青藍(lán)紫。 只有單一波長成分的光稱為單色光 ， 含有兩種以上波長成分的光稱為復(fù)合光 ， 所有可見光按照一定比例混合就是白色光 。 在輻射功率相同的條件下 ， 不同波長的光不僅給人不同的顏色感覺 ， 而且也給人不同的亮度感覺 。人眼一般感到紅光最暗 ， 藍(lán)光次之 ， 而黃綠光最亮 。研究表明 ， 人眼對亮度信息敏感 ， 而對顏色的敏感程度相對較弱 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) 在白色背景下 ， 一般使用紅黃藍(lán)作為原色來混合其它顏色 ， 這就是減基色合成彩色系統(tǒng) 。 在黑色背景下 ， 一般使用紅綠藍(lán)作為基色來混合其它顏色 ， 這就是加基色合成彩色系統(tǒng) 。 一般繪畫時采用前者 ， 電視中采用后者 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 視覺心理學(xué) ? 注視點和視野范圍 人在觀察視覺類媒體時 ， 注視點喜歡集中在什么地方 ？ 研究表明 ， 視覺注視點主要集中在圖像中黑白交界的部分 ， 尤其是拐角處 。 如果是閉合圖形 ，注視點往往向內(nèi)側(cè)移動 。 注視點容易集中在時隱時現(xiàn)運動變化的部分或者圖像中特別不規(guī)則的地方 。 人眼的視野開闊 ， 左右視角約為 180度 ， 上下約為 60度 。 但視力好的部位僅限于 2到 3度 ， 用于觀察視覺媒體的細(xì)節(jié) 。 而在周邊 ， 則主要識別特征 。但是需要注意 ， 只有大的視野才有可能制造出臨場感 。 高等學(xué)校 21世紀(jì)教材 《 多媒體技術(shù)教程 》 模擬視頻原理 ?光柵掃描原理 視頻攝像機將圖像轉(zhuǎn)換為電信號 ， 電信號是一維的 ， 但圖像是二維的 ， 將二維圖像轉(zhuǎn)成為一維電信號是由光柵掃描的方法實現(xiàn)的 。 快速的掃描線從頂部開始 ， 一行一行地向下掃描 ， 直至顯示器的最底部 ， 然后再返回頂部的起點 ， 重新開始掃描 。 這個過程產(chǎn)生的一個有序的圖像信號集合 ， 就