【文章內(nèi)容簡介】 ? MIDI可以與其他波形聲音配合使用，形成伴樂的效果。 ?對 MIDI的編輯也很靈活，用戶可以自由地改變音調(diào)、音色等屬性，直到自己想要的效果 ? MIDI在音質上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 音頻的數(shù)字化和符號化 ? 語音的符號化 ?對語音的符號化實際上就是對語音的識別，將語音轉變?yōu)樽址?，反之也可以將文字合成語音。 ?語音與具體的語言有關 ? 語音：構成人類語言信號的各種聲音，是由一連串的音素組成。是當前研究的熱點之一 ? 一句話：許多音節(jié)及其相互間的過度過程 ? 特點：成年人基頻： 60400Hz，音調(diào)周期 10ms（男）、6ms（女） ? 漢語：一字一音節(jié)（獨立的發(fā)音單位），在漢語普通話中這些字都是由 23聲母 +34韻母 +五種音調(diào)組合成，有1200多種不同的發(fā)音。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 音頻媒體的三維化處理 ? 三維虛擬聲空間（ Three Dimensional Virtual Acoustic， 3DVA） ?指用一定的聲音設備人為地產(chǎn)生出來的具有空間位臵信息的聲音空間。 ?三維聽覺的使用明顯地依賴于用戶對聽覺空間中各種信息源的定位能力。一般說來，三維虛擬聲空間要達到以下的一些目標： ? ① 在可聽的范圍內(nèi)重現(xiàn)頻率分辨度和動態(tài)范圍； ? ② 在三維空間中精確地呈現(xiàn)聲音的位臵信息； ? ③ 能表達多個靜止和移動的聲源； ? ④ 能和頭部的動作具有一定的關聯(lián)； ? ⑤ 能夠支持一定程度的交互。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 音頻媒體的三維化處理 ? 3DVA的基本理論 ?人類感知聲源位臵的最基本的理論是雙工理論，該理論基于兩種因素： ? 兩耳間聲音的到達時間差 ITD（ Interaural Time Differences） ? 兩耳間聲音的強度差 IID（ Interaural Intensity Differences）。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 音頻媒體的三維化處理 IID和 ITD的示意 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 音頻媒體的三維化處理 ? HRTF方法 ?實現(xiàn)空間真實感的關鍵是建立起耳廓模型，這種方法被稱為“雙耳相關函數(shù)法”，也即 HRTF（ HeadRelated Transfer Function，與頭部有關的轉移函數(shù)）。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 場景模型（幾何、屬性、聲源、聲宿） 聲 學 模 擬 脈 沖 響 應 曲 線 卷 積 運 算 雙 耳 脈 沖 響 應 卷 積 運 算 真 實 感 空 間 聲 HR TF 雙耳相關函數(shù) 無 回 響 聲 音 輸 出 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺媒體技術 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺心理學 ? 視覺的心理特征 ?通過視覺可以感知到外部世界的形狀、大小、色彩、明暗、機理和運動等多方面的信息。 ?與視覺相對應的光學物理性質和心理知覺也是截然不同的。 視覺心理變量 主要物理變量 次要物理變量 亮度 光強 光的波長、眼的適應 色調(diào)（彩色） 波長 光譜成分、周圍光的強度 濃度（彩色的濃度、即飽和度） 光譜成分 （亮度和色調(diào)） 對比 光強、波長、周圍光 周圍光 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺心理學 ? 視覺特性 ?亮度 ? 亮度是人眼對光強度的感受。 ? 目標的亮度和周圍的背景有關，對比度 ? 視覺上也有等亮曲線，反映了視覺在亮度上與波長的關系。在同一亮度感覺下，不同波長的光具有不同的光強。 ? 視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時難以看清的 ?視覺的時間特性 ? 建立視覺圖像需要時間 ? 把光轉變?yōu)樯窠?jīng)電的過程需要時間 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 ?彩色 ? 三種心理屬性：色調(diào)、亮度和飽和度 ? 色調(diào) 就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。 ? 飽和度 是代表為了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對數(shù)量，或者說是顏色的深淺程度。對同一色調(diào)的彩色光，飽和度越深顏色越鮮艷。 ? 亮度 是光作用于人眼所引起的明亮程度的感覺，與光強有關。 ? 色調(diào)和飽和度統(tǒng)稱為色度。 ? 人眼一般感到紅光最暗，藍光次之，而黃綠光最亮。研究表明，人眼對亮度信息敏感，而對顏色的敏感程度相對較弱。 ?注視點和視野范圍 ? 視覺注視點主要集中在圖像中黑白交界的部分，尤其是拐角處。 ? 左右視角約為 180度，上下約為 60度。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 模擬視頻原理 ? 電視的三大制式： ? NTSC（ National Television System Committee（ 525/60）： 1953，美國 ? PAL(Phase Alternation Line)（ 625/50）： 1962，西德 ? SECAM（ 625/50）：法國 ? 光柵掃描原理 ? 視頻攝像機將圖像轉換為電信號，電信號是一維的，但圖像是二維的，將二維圖像轉成為一維電信號是由光柵掃描的方法實現(xiàn)的。 ? 快速的掃描線從頂部開始，一行一行地向下掃描，直至顯示器的最底部，然后再返回頂部的起點，重新開始掃描。這個過程產(chǎn)生的一個有序的圖像信號集合，就組成了電視顯示中的一幅圖像，在此稱為 幀 。 ? 連續(xù)不斷的圖像序列就形成了動態(tài)視頻圖像。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 模擬視頻原理 ? 光柵掃描原理 ? 幀頻：每一秒鐘所掃描的幀數(shù)稱為幀頻 ? 一般為 25幀（ PAL）或者 30幀（ NTSC）。 ? 由于是隔行掃描，所以垂直頻率分別是每秒 50幀和 60幀。因此，人眼就不容易看到閃爍。 ? 水平分辨率：水平掃描線所能分辨出的點數(shù)稱為水平分辨率。 ? 垂直分辨率：一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關，掃描線越多，分辨率就越高。 ? 525線（北美和日本）和 625線（歐洲和中國） ? 寬高比：掃描行的長度與在圖像垂直方向上的所有掃描行所跨過的距離之比，就成為寬高比。 ? 4： 3； 16： 9 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 模擬視頻原理 ? 彩色視頻 ? RGB：彩色電視采用紅綠藍（ RGB）作為三基色進行配色，產(chǎn)生出 R、 G、 B三個輸出信號， RGB信號可以分別傳輸，但是要配上相應的同步信號。 ? 復合信號：在 RGB系統(tǒng)中需要三根視頻電纜互連，但是三個信號在同步關系方面相當復雜，所以大部分彩色電視不處理 RGB，而是將 RGB信號組合起來在一條電纜中傳輸，這就是復合信號。 ? YUV， YIQ ? 幾個重要技術參數(shù) ? 幀速： 16幀 /秒 ? 數(shù)據(jù)量：壓縮前后數(shù)據(jù)量 都很大，可通過降低幀速或減小畫面尺寸（ 1/4或 1/16屏）來減少數(shù)據(jù)量。 ? 圖像質量：與壓縮有關，數(shù)據(jù)量與質量相矛盾 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺 媒體數(shù)字化 ? 位圖圖像與數(shù)字視頻 ? 對所要處理的一幅畫面，通過對每一個象素進行采樣，并且按照顏色