【正文】 多媒體技術(shù) 上海理工大學(xué) 計算機基礎(chǔ)教研室 相關(guān)知識 一、多媒體技術(shù)所屬學(xué)科 計算機科學(xué)與技術(shù) 計算機軟件與理論 計算機系統(tǒng)結(jié)構(gòu) 計算機應(yīng)用技術(shù) 人工智能專家系統(tǒng) 數(shù)據(jù)庫與 MIS 多媒體技術(shù) 網(wǎng)絡(luò)與通訊 計算智能 人機交互技術(shù) 可視化技術(shù) 二、多媒體技術(shù)涉及的交叉學(xué)科與技術(shù) 1. 圖像處理技術(shù) 2. 計算機圖形學(xué) 3. 數(shù)學(xué) 4. 物理學(xué) 5. 電子學(xué) 6. 仿生學(xué) 7. 數(shù)字化信息處理技術(shù) 8. 音頻、視頻技術(shù) 9. 可視化技術(shù) 10. 軟件、硬件技術(shù) 11. 操作系統(tǒng) 12. 網(wǎng)絡(luò)與通信 13. 人工智能 14. 人機交互技術(shù) 15. 模式識別 概述 一、多媒體概念（ concept of multimedia） 媒體： 信息的多種多樣的表現(xiàn)形式稱為媒體。 定義的媒體有 5類： ? 感覺媒體 如聲音、圖形、圖像、文字、氣味以及物體的質(zhì)地、形狀、溫度、色彩等。 ? 表示媒體 為了有效地加工、處理和傳輸感覺媒體而人為構(gòu)造出的一類媒體：如對聲音、圖形、圖像、文字、數(shù)據(jù)等信息的數(shù)字化編碼表示。 ?顯示媒體 分為輸入顯示媒體（鍵盤攝像機、話筒、掃描儀、數(shù)字化儀等）、輸出顯示媒體（顯示器、發(fā)光管、打印機、繪圖儀等） ?存儲媒體 指存儲設(shè)備，如磁盤、光盤、半導(dǎo)體存儲器等。 ?傳輸媒體 指傳輸介質(zhì)，如線纜、光纖及其它通信信道。 多媒體信息： 指圖形、圖像、文字、聲音和視頻信息及其載體。 多媒體技術(shù)： 是能夠?qū)崟r地綜合處理多媒體信息的技術(shù)。 多媒體： 不僅指多鐘媒體本身，還包括處理和應(yīng)用多媒體信息的相應(yīng)技術(shù)，因此“多媒體”常被人為是“多媒體技術(shù)”的同義詞。 多媒體計算機： 具有多媒體處理技術(shù)功能的計算機稱為多媒體計算機。 信息媒體的多樣化： 視覺、聽覺、觸覺、嗅覺、味覺 5個感覺空間，其中前 3種占了媒體信息的 95%。多樣化體現(xiàn)在輸入和輸出兩個方面。 集成性： 媒體 信息 的 集成 和處理這些媒體的 設(shè)備集成 。 交互性： 交互性指更加有效地控制和使用信息的手段。能增加對信息的注意和理解、延長信息保存時間、使人們獲取信息和使用信息的方式變被動為主動。 ： 美國召開第一屆多媒體國際會議。 目前： 計算機及網(wǎng)絡(luò)技術(shù)發(fā)展，多媒體在人機交互、自然語言理解、語音合成和識別、指紋和人像識別取得驚人發(fā)展并進入實用化階段。 84年： Apple公司的 Hyper Card，提出了 bitmap位圖、 Icon圖標(biāo)的概念，可處理多媒體信息。 85年： Commodore公司研制的 Amiga系統(tǒng)，包括動畫制作、音響處理和圖形處理 3個專用芯片。 ： Philips/Sony聯(lián)合推出光盤系統(tǒng) CDI,，同時公布了 CDROM的文件格式?？膳c計算機、家用電視機、錄像機、音響設(shè)備連接。 ： Intel/IBM公司的 DVI： DVI先由 CRA公司推出，轉(zhuǎn)讓給 IBM，后又轉(zhuǎn)讓給 Intel公司。 DVI用標(biāo)準光盤存儲和檢索圖像、動畫、聲音和其它數(shù)據(jù)。九一年獲大獎。 80年代： Xerox多媒體會議系統(tǒng)、 Apple公司多媒體輔助教育項目、布朗大學(xué)的超媒體系統(tǒng)、 MIT多媒體實驗室很多研究項目。 ： Philips等 14家公司成立多媒體市場協(xié)會，建立 MPC標(biāo)準。 ? 娛樂 ? 教育與培訓(xùn) ? 多媒體辦公系統(tǒng) ? 身份鑒別 ? 通信 ? 工業(yè)領(lǐng)域與科學(xué)計算 ? 醫(yī)療影像診斷系統(tǒng) ? 咨詢服務(wù)與廣告 ? 電子出版物 ? 數(shù)據(jù)量大 ? 數(shù)據(jù)長度可變 ? 多數(shù)據(jù)流 ? 數(shù)據(jù)流的連續(xù)記錄與檢索 ? 連續(xù)采集和連續(xù)檢索 ? 文本 ? 圖形、圖像 ? 視頻 ? 音頻 ? 動畫 ? 存儲技術(shù) 存儲面密度增長 5060%/年，目前單個磁盤達到 10TB，RAID磁盤陣列容量更大。 ? 壓縮編碼與解碼技術(shù) ? 虛擬現(xiàn)實技術(shù)（ Virtual Reality， VR） ? 多媒體數(shù)據(jù)庫技術(shù) ? 網(wǎng)絡(luò)與通信技術(shù) ? 智能多媒體技術(shù)（智能視聽、智能表示與決策） ? 多媒體信息檢索（ asp， caj） ? 媒體及其分類 ? 多媒體及其關(guān)鍵技術(shù) ? 應(yīng)用領(lǐng)域 ? 人機交互 ? 虛擬現(xiàn)實 ? 多媒體技術(shù)在各領(lǐng)域應(yīng)用的重要性 ? 多媒體信息的數(shù)字化 ? 圖形、圖象信息的數(shù)字化和存儲 ? 矢量圖 ? 優(yōu)點：易移動，縮放，旋轉(zhuǎn)和扭曲等變換；放大不會出現(xiàn)馬賽克現(xiàn)象。常用來做線框型的圖畫、工程制圖、美術(shù)字等。與分辨率無關(guān)。 ? 常用軟件： CorelDraw,Flash,Fireworks,3DSMAX ? 位圖 ? 優(yōu)點：由數(shù)字陣列信息組成。質(zhì)量主要由圖象的分辨率和色彩位數(shù)決定。適合表現(xiàn)含有大量細節(jié)的畫面。 ? 常用軟件 :PHOTOSHOP 具有多媒體功能的計算機 多媒體信息的數(shù)字化 ? 音頻信息的數(shù)字化和存儲 ? 聲音的振幅和頻率 ? 聲波表示 ? 波峰越高，聲音越響，波峰間距越小，聲調(diào)越高 ? 身音的采樣 ? 按一定的時間間隔采集該時間點的音頻信號幅度值，采用所得的數(shù)據(jù)以二進制的形式存儲，播放時需要還原成模擬波形。 ? 模擬聲音的量化 ? 采樣得到的數(shù)據(jù)按一定的大小進行存儲的過程便稱為量化。 ? 量化級別可分為： 8位， 16位， 32位。量化位數(shù)越大，聲音的幅度分辨率就越高，還原時的聲音品質(zhì)就越好，占用空間也越大。 多媒體信息的數(shù)字化 ? 音頻信息的數(shù)字化和存儲 ? 數(shù)字信號的編碼和存儲 ?按一定的規(guī)則編碼。編碼位數(shù) =log2N （ N為量化級） ?存儲空間 =（采樣頻率 *量化位數(shù)） /8 二、模擬語音信號的數(shù)字化 模擬音頻信號在時間上是連續(xù)波形，而 數(shù)字音頻信號是一個數(shù)據(jù)系列，在時間上不連續(xù)。把模擬聲音變成數(shù)字聲音時，首先需要對 模擬音頻信號 每隔一個時間間隔取一個幅度值，這個過程稱之為采樣。 聲波實際上是連續(xù)信號，或稱連續(xù)時間函數(shù) X(t) ,用計算機處理這些函數(shù)時，必須先對連續(xù)信號采樣，即按一定的時間間隔（ T）取值，得到 X（ nT) (n為整數(shù)） T— 采樣周期 1/T— 采樣頻率 X（ n T)— 離散信號 采樣 量化 編碼 模擬音頻 數(shù)字音頻 X(nT)是從連續(xù)信號上抽取的部分值，那么如何采樣才能保證用 X(nT) 唯一確定地恢復(fù) x(t)，即滿足耐奎斯特 (Nequist)采樣定理： 設(shè)連續(xù)信號 X(t)的頻譜為 X(f)，以采樣間隔 T采樣得到離散信號 X(nT)，如果滿足： T≤1 /2 fc 或 fc ≤1/2T 則由 X(nT) 可唯一確定地恢復(fù) x(t)。 其中 fc是信號的采樣頻率，當(dāng) fN ＝ 1/2T時， fN 稱為耐奎斯特頻率，也叫采樣截止頻率。 采樣定理 由 X(nT) 確定 x(f): 由 X(nT) 確定 x(t)： 若采樣頻率小于 fN ，則 X(nT)不能唯一地確定 x(t)。 )()(s i nnT )(xX (t )nTtTnTtTn ??? ????????f nTjne ?2nT )(xTX (f) ????????采樣定理 任何一個不規(guī)則波形都可以用無窮個規(guī)則頻率的波形疊加而成（傅氏變換、正弦變換、余弦變換的物理意義）。 采樣信號的頻譜： XT(f)是 X(f)波形中各個頻率的疊加。 ????????????????mcnmffTmff )2(X)(x)(X T采樣原理 由于對模擬信號的采樣所取得的數(shù)據(jù)只是音頻信號幅度的模擬電壓值，為了用數(shù)字化的值來表示電壓，就要把電壓值劃分成若干等級，每個等級可表示為一個數(shù)值，這就是量化。 量化簡單地說就是對聲波波幅對應(yīng)的電壓分成級來表示，分的級越多，數(shù)字聲音質(zhì)量就越高。通常用 8位（ 256級）或 16位（ 65536級）的方式來分級。 相同采樣頻率情況下，量化維數(shù)越多，音效就越好；相同量化位數(shù)情況下，采樣頻率越高，聲音效果越好。 通常我們把 8位（ 256級）或 16位（ 65536級）所表示的值 256和 65536稱為量化器。 采樣和量化的過程可由 A/D模數(shù)轉(zhuǎn)換器來完成，每個 A/D模數(shù)轉(zhuǎn)換器的采樣頻率是固定的。播放時可由數(shù)模轉(zhuǎn)換器將數(shù)字信號轉(zhuǎn)換成模擬信號。 量化 所謂編碼，就是按照一定格式把離散的數(shù)字記錄下來，并在有用數(shù)據(jù)中加入一些用于糾錯、同步和控制數(shù)據(jù)。在數(shù)據(jù)回放時，可對適當(dāng)錯誤的數(shù)據(jù)糾正，然后播放。 聲音數(shù)據(jù)是以編碼的形式存放和處理的。 編碼器 傳輸、存儲 解碼 輸入信號 輸出信號 編碼 （ 1)PCM（ Pulse Code Modulation） 脈沖編碼調(diào)制 ， 1939由法國工程師 Alec Reeves發(fā)明 ， 即把連續(xù)的模擬信號轉(zhuǎn)變成脈沖編碼調(diào)制的信號 。 PCM包括對連續(xù)信號采樣 、 幅度的量化及用適當(dāng)碼字表示 。 按照量化方式的不同可以分為： 均勻量化 PCM 非均勻量化 PCM 和自適應(yīng)量化 PCM 一般信號振幅小，則量化級降低；信號振幅大，則量化級增大。這樣可以滿足精度要求的情況下減少編碼位數(shù) (2) DPCM編碼 這里， XN為 tN時刻的亮度采樣值； X”N 為根據(jù) tN時刻以前已知的像素亮度采樣值 X1， X2， X3,…, XN1對 XN所作預(yù)測值； eN = XN — XN 為差值信號 e39。N為量化器輸出信號 X39。N為接收端輸出 ， X39。N = XN +e39。N 因為 ： XN — X39。N = XN — （ XN +e39。N） = （ XN — XN） — e39。N =eN — e39。N 所以 ， DPCM系統(tǒng)中的誤差來源是發(fā)送端的量化器 ， 而與接收端無關(guān) ， 若去掉量化器 ， 使