【正文】 隔采集該時間點的音頻信號幅度值，采用所得的數(shù)據(jù)以二進制的形式存儲，播放時需要還原成模擬波形。質量主要由圖象的分辨率和色彩位數(shù)決定。與分辨率無關。 ? 壓縮編碼與解碼技術 ? 虛擬現(xiàn)實技術（ Virtual Reality， VR） ? 多媒體數(shù)據(jù)庫技術 ? 網(wǎng)絡與通信技術 ? 智能多媒體技術（智能視聽、智能表示與決策） ? 多媒體信息檢索（ asp， caj） ? 媒體及其分類 ? 多媒體及其關鍵技術 ? 應用領域 ? 人機交互 ? 虛擬現(xiàn)實 ? 多媒體技術在各領域應用的重要性 ? 多媒體信息的數(shù)字化 ? 圖形、圖象信息的數(shù)字化和存儲 ? 矢量圖 ? 優(yōu)點：易移動，縮放，旋轉和扭曲等變換；放大不會出現(xiàn)馬賽克現(xiàn)象。 ： Philips等 14家公司成立多媒體市場協(xié)會，建立 MPC標準。九一年獲大獎。 ： Intel/IBM公司的 DVI： DVI先由 CRA公司推出，轉讓給 IBM，后又轉讓給 Intel公司。 ： Philips/Sony聯(lián)合推出光盤系統(tǒng) CDI,，同時公布了 CDROM的文件格式。 84年： Apple公司的 Hyper Card，提出了 bitmap位圖、 Icon圖標的概念，可處理多媒體信息。 ： 美國召開第一屆多媒體國際會議。 交互性： 交互性指更加有效地控制和使用信息的手段。多樣化體現(xiàn)在輸入和輸出兩個方面。 多媒體計算機： 具有多媒體處理技術功能的計算機稱為多媒體計算機。 多媒體技術： 是能夠實時地綜合處理多媒體信息的技術。 ?傳輸媒體 指傳輸介質，如線纜、光纖及其它通信信道。 ? 表示媒體 為了有效地加工、處理和傳輸感覺媒體而人為構造出的一類媒體：如對聲音、圖形、圖像、文字、數(shù)據(jù)等信息的數(shù)字化編碼表示。多媒體技術 上海理工大學 計算機基礎教研室 相關知識 一、多媒體技術所屬學科 計算機科學與技術 計算機軟件與理論 計算機系統(tǒng)結構 計算機應用技術 人工智能專家系統(tǒng) 數(shù)據(jù)庫與 MIS 多媒體技術 網(wǎng)絡與通訊 計算智能 人機交互技術 可視化技術 二、多媒體技術涉及的交叉學科與技術 1. 圖像處理技術 2. 計算機圖形學 3. 數(shù)學 4. 物理學 5. 電子學 6. 仿生學 7. 數(shù)字化信息處理技術 8. 音頻、視頻技術 9. 可視化技術 10. 軟件、硬件技術 11. 操作系統(tǒng) 12. 網(wǎng)絡與通信 13. 人工智能 14. 人機交互技術 15. 模式識別 概述 一、多媒體概念（ concept of multimedia） 媒體： 信息的多種多樣的表現(xiàn)形式稱為媒體。 定義的媒體有 5類： ? 感覺媒體 如聲音、圖形、圖像、文字、氣味以及物體的質地、形狀、溫度、色彩等。 ?顯示媒體 分為輸入顯示媒體（鍵盤攝像機、話筒、掃描儀、數(shù)字化儀等）、輸出顯示媒體（顯示器、發(fā)光管、打印機、繪圖儀等） ?存儲媒體 指存儲設備，如磁盤、光盤、半導體存儲器等。 多媒體信息： 指圖形、圖像、文字、聲音和視頻信息及其載體。 多媒體： 不僅指多鐘媒體本身，還包括處理和應用多媒體信息的相應技術，因此“多媒體”常被人為是“多媒體技術”的同義詞。 信息媒體的多樣化： 視覺、聽覺、觸覺、嗅覺、味覺 5個感覺空間，其中前 3種占了媒體信息的 95%。 集成性： 媒體 信息 的 集成 和處理這些媒體的 設備集成 。能增加對信息的注意和理解、延長信息保存時間、使人們獲取信息和使用信息的方式變被動為主動。 目前： 計算機及網(wǎng)絡技術發(fā)展，多媒體在人機交互、自然語言理解、語音合成和識別、指紋和人像識別取得驚人發(fā)展并進入實用化階段。 85年： Commodore公司研制的 Amiga系統(tǒng)，包括動畫制作、音響處理和圖形處理 3個專用芯片?？膳c計算機、家用電視機、錄像機、音響設備連接。 DVI用標準光盤存儲和檢索圖像、動畫、聲音和其它數(shù)據(jù)。 80年代： Xerox多媒體會議系統(tǒng)、 Apple公司多媒體輔助教育項目、布朗大學的超媒體系統(tǒng)、 MIT多媒體實驗室很多研究項目。 ? 娛樂 ? 教育與培訓 ? 多媒體辦公系統(tǒng) ? 身份鑒別 ? 通信 ? 工業(yè)領域與科學計算 ? 醫(yī)療影像診斷系統(tǒng) ? 咨詢服務與廣告 ? 電子出版物 ? 數(shù)據(jù)量大 ? 數(shù)據(jù)長度可變 ? 多數(shù)據(jù)流 ? 數(shù)據(jù)流的連續(xù)記錄與檢索 ? 連續(xù)采集和連續(xù)檢索 ? 文本 ? 圖形、圖像 ? 視頻 ? 音頻 ? 動畫 ? 存儲技術 存儲面密度增長 5060%/年，目前單個磁盤達到 10TB，RAID磁盤陣列容量更大。常用來做線框型的圖畫、工程制圖、美術字等。 ? 常用軟件： CorelDraw,Flash,Fireworks,3DSMAX ? 位圖 ? 優(yōu)點：由數(shù)字陣列信息組成。適合表現(xiàn)含有大量細節(jié)的畫面。 ? 模擬聲音的量化 ? 采樣得到的數(shù)據(jù)按一定的大小進行存儲的過程便稱為量化。量化位數(shù)越大，聲音的幅度分辨率就越高，還原時的聲音品質就越好，占用空間也越大。編碼位數(shù) =log2N （ N為量化級） ?存儲空間 =（采樣頻率 *量化位數(shù)） /8 二、模擬語音信號的數(shù)字化 模擬音頻信號在時間上是連續(xù)波形，而 數(shù)字音頻信號是一個數(shù)據(jù)系列，在時間上不連續(xù)。 聲波實際上是連續(xù)信號，或稱連續(xù)時間函數(shù) X(t) ,用計算機處理這些函數(shù)時，必須先對連續(xù)信號采樣，即按一定的時間間隔（ T）取值，得到 X（ nT) (n為整數(shù)） T— 采樣周期 1/T— 采樣頻率 X（ n T)— 離散信號 采樣 量化 編碼 模擬音頻 數(shù)字音頻 X(nT)是從連續(xù)信號上抽取的部分值，那么如何采樣才能保證用 X(nT) 唯一確定地恢復 x(t)，即滿足耐奎斯特 (Nequist)采樣定理： 設連續(xù)信號 X(t)的頻譜為 X(f)，以采樣間隔 T采樣得到離散信號 X(nT)，如果滿足： T≤1 /2 fc 或 fc ≤1/2T 則由 X(nT) 可唯一確定地恢復 x(t)。 采樣定理 由 X(nT) 確定 x(f): 由 X(nT) 確定 x(t)： 若采樣頻率小于 fN ，則 X(nT)不能唯一地確定 x(t)。 采樣信號的頻譜： XT(f)是 X(f)波形中各個頻率的疊加。 量化簡單地說就是對聲波波幅對應的電壓分成級來表示，分的級越多，數(shù)字聲音質量就越高。 相同采樣頻率情況下，量化維數(shù)越多，音效就越好；相同量化位數(shù)情況下，采樣頻率越高，聲音效果越好。 采樣和量化的過程可由 A/D模數(shù)轉換器來完成，每個 A/D模數(shù)轉換器的采樣頻率是固定的。 量化 所謂編碼，就是按照一定格式把離散的數(shù)字記錄下來，并在有用數(shù)據(jù)中加入一些用于糾錯、同步和控制數(shù)據(jù)。 聲音數(shù)據(jù)是以編碼的形式存放和處理的。 PCM包括對連續(xù)信號采樣 、 幅度的量化及用適當碼字表示 。這樣可以滿足精度要求的情況下減少編碼位數(shù) (2) DPCM編碼 這里， XN為 tN時刻的亮度采樣值； X”N 為根據(jù) tN時刻以前已知的像素亮度采樣值 X1， X2， X3,…, XN1對 XN所作預測值； eN = XN — XN 為差值信號 e39。N為接收端輸出 ， X39。N 因為 ： XN — X39。N） = （ XN — XN） — e39。N 所以 ， DPCM系統(tǒng)中的誤差來源是發(fā)送端的量化器 ， 而與接收端無關 ， 若去掉量化器 ， 使 eN =e39。 事實上 ， 這種量化誤差是不可避免的 ?！? ?視頻采集卡 (1)主機 CPU 內存 高速緩存 總線 (2)外部設備接口與驅動軟件 (3)外部設備 具有多媒體功能的計算機 一、多媒體系統(tǒng)組成 ? 集成程度不斷提高：系統(tǒng)級集成 (on system)、主板級 (on board)、芯片級集成 (on chip) ? 總線： ISA(16bit,8Mhz,5Mb/s),EISA,VESA PCI(64bit) ? MMX技術（ MMX/166)： MultiMedium Extentions 單指令多數(shù)據(jù)技術 (SIMD), 57條新指令、 8個 64bit寬的MMX寄存器、 4種新的數(shù)據(jù)類型 ? PII與 PIII： PIII又增加了 70條新指令 SSE(Streaming SIMD Extentions) ? PIV:4200萬個晶體管（比 PIII多 50%) 新增 144條多媒體指令（ SSE2） （ 1） CPU 媒體處理芯片是可獨立執(zhí)行 I/O處理的高速芯片 ,特點：體積小、功耗低、運算速度快、具有內部存儲器、具有覆蓋所應用領域的多種類型。16c:320X200 EGA:b/w:640X480。16c:800X600,256c:640X480 HVGA:TVGA AGP圖形加速器：把主存與顯存直接連接，帶寬 32bit，速度：533Mb/秒 加速芯片： 16bit直到 128bit，分辨率： 640X480到 1600X1200，色彩： 16到 ? 聲卡 8bits ， 16bits(聲音從 FM合成、表波合成、波導、杜比 AC3合成：多聲道立體聲的 DVD播放標準） （ 3）多媒體設備接口與軟件驅動程序 ? 視屏卡 具有 MPEG1和 MPEG2解碼芯片，具有捕捉、壓縮、存儲、回放等功能 ? USB 通用串行總線（ Universal Series Bus ， ），速度從 12Mb/s到 480Mb/s；結點間距 5米，最大距離100米，屏蔽雙繳線連接；接口由兩根電源線，兩根信號線；即插即用，可熱插拔。 （ 3）多媒體設備接口與軟件驅動程序 （ 3）多媒體設備接口與軟件驅動程序 ? 網(wǎng)卡 速度： 10Mb/s,100Mb/s,1000Mb/s 接口： Rj45水晶口、 BNC細纜口、 AUI ? SCSI： 50心接口