【正文】 教 學(xué) 內(nèi) 容批注第1章 概 論 多媒體技術(shù)的概念 媒體什么是媒體? 媒體是信息表示和傳輸?shù)妮d體。CCITT(目前已被ITU取代)對(duì)媒體分類：感覺(jué)媒體、表示媒體、表現(xiàn)媒體、存儲(chǔ)媒體、傳輸媒體。多媒體技術(shù)的定義： 多媒體技術(shù)(multimedia puting)就是計(jì)算機(jī)交互式綜合處理多種媒體信息──文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互性。簡(jiǎn)言之， 多媒體技術(shù)就是計(jì)算機(jī)綜合處理聲、文、圖信息， 具有集成性、實(shí)時(shí)性和交互性。 多媒體技術(shù)的特點(diǎn) a集成性 一方面是媒體信息的集成，另一方面是顯示或表現(xiàn)媒體設(shè)備的集成.b實(shí)時(shí)性 聲音、視頻圖像、動(dòng)畫等媒體是強(qiáng)實(shí)時(shí)的，多媒體系統(tǒng)提供了對(duì)這些時(shí)基媒體實(shí)時(shí)處理的能力。 c交互性 多媒體計(jì)算機(jī)與其他家用聲像電器有所差別的關(guān)鍵特征，普通家用聲像電器無(wú)交互性，即用戶只能被動(dòng)收看，而不能介入到媒體的加工和處理之中。 多媒體技術(shù)是綜合的高新技術(shù)，它是多個(gè)相關(guān)學(xué)科綜合發(fā)展的產(chǎn)物。微電子技術(shù)；計(jì)算機(jī)技術(shù)；通信技術(shù)；其他技術(shù)從應(yīng)用角度來(lái)看，人們對(duì)多媒體系統(tǒng)的認(rèn)識(shí)一是來(lái)自電視，一是來(lái)自計(jì)算機(jī)。使電視用戶有一定的控制權(quán)限和使計(jì)算機(jī)畫面更加賞心悅目成了我們改進(jìn)的目標(biāo)，這正是電視和計(jì)算機(jī)結(jié)合原因所在。將計(jì)算機(jī)軟硬件技術(shù)、數(shù)字化聲像技術(shù)和高速通信網(wǎng)技術(shù)集成為一個(gè)整體，把多種媒體信息的獲取、加工、處理、傳輸、存儲(chǔ)、表現(xiàn)于一體。教 學(xué) 內(nèi) 容批注 多媒體技術(shù)的研究意義 多媒體技術(shù)不僅是時(shí)代的產(chǎn)物，也是人類歷史發(fā)展的必然。從人類歷史的發(fā)展來(lái)看， 人與人之間的交流手段是推動(dòng)社會(huì)發(fā)展的一個(gè)重要因素從計(jì)算機(jī)發(fā)展的角度來(lái)看，用戶和計(jì)算機(jī)的交互技術(shù)一直是推動(dòng)計(jì)算機(jī)技術(shù)發(fā)展的重要?jiǎng)右?。多媒體技術(shù)將文字、聲音、圖形、圖像集成為一體，獲取、存儲(chǔ)、加工、處理、傳輸一體化， 使人機(jī)交互達(dá)到了最佳的效果多媒體技術(shù)的引入提高了工作效率 多媒體技術(shù)的發(fā)展歷程 n 啟蒙發(fā)展階段n 標(biāo)準(zhǔn)化階段n 普及應(yīng)用 啟蒙發(fā)展階段多媒體計(jì)算機(jī)技術(shù)最早起源于20世紀(jì)80年代中期。1984年，Apple公司在研制Macintosh計(jì)算機(jī)時(shí)，為了改善人機(jī)交互界面， 創(chuàng)造性地使用了位映射(bitmap)、窗口(window)、圖符(icon)等技術(shù)， 所帶來(lái)的圖形用戶界面(GUI)， 同時(shí)鼠標(biāo)作為交互設(shè)備配合GUI使用， 大大方便了用戶的操作。1985年，Microsoft公司推出了Windows，它是一個(gè)多任務(wù)的圖形操作環(huán)境。1985年，美國(guó)Commodore公司首先推出世界上第一臺(tái)多媒體計(jì)算機(jī)Amiga系統(tǒng)。其CPU采用Motorola M68000， 3個(gè)專用芯片： 圖形處理芯片Agnus 8370， 音響處理芯片Paula8364， 視頻處理芯片Denise 8362。Amiga機(jī)具有自己專用的操作系統(tǒng)， 能夠處理多任務(wù)， 并具有下拉菜單、多窗口、圖符等功能。教 學(xué) 內(nèi) 容批注1986年，荷蘭Philips公司和日本Sony公司聯(lián)合出CDI，同時(shí)公布了該系統(tǒng)所采用的CDROM光盤的數(shù)據(jù)格式，這項(xiàng)技術(shù)對(duì)大容量存儲(chǔ)設(shè)備光盤發(fā)展起著巨大的影響，并經(jīng)ISO認(rèn)可成為國(guó)際標(biāo)準(zhǔn)。大容量光盤出現(xiàn)為存儲(chǔ)表示聲音、文字、圖形、視頻等高質(zhì)量的數(shù)字化媒體提供了有效的手段。 標(biāo)準(zhǔn)化階段1990年10月， 。1993年由IBM， Intel等數(shù)十家軟硬件公司組成的多媒體個(gè)人計(jì)算機(jī)市場(chǎng)協(xié)會(huì)(MPMC)。1995年6月， 。1996年以后， 新的個(gè)人機(jī)均支持基本多媒體功能。數(shù)字化圖像壓縮國(guó)際標(biāo)準(zhǔn) JPEG標(biāo)準(zhǔn)它是ITU和ISO兩家聯(lián)合成立專家JPEG(Joint Photographic Experts Group)建立的適用彩色和單色、多灰度連續(xù)色調(diào)、靜態(tài)圖像壓縮國(guó)際標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)在1991年通過(guò)為ISO/IEC 10918標(biāo)準(zhǔn)，全稱為“多灰度靜態(tài)圖像的數(shù)字壓縮編碼”標(biāo)準(zhǔn)。 MPEG標(biāo)準(zhǔn)為了制定有關(guān)運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn)， ISO建立一個(gè)專家組MPEG(Moving Picture Experts Group)， 它從1990年開(kāi)始工作。，作為ISO/IEC 11172號(hào)標(biāo)準(zhǔn)，于1992年通過(guò)。平均壓縮比為50:1。 MPEG2()。MPEG4(甚低速率)。MPEG7(多媒體檢索)。MPEG21(多媒體應(yīng)用框架)。教 學(xué) 內(nèi) 容批注ITU “64kbps視聲服務(wù)用視象編碼方式” (P64kbps)。該方案確定于1988年，是一面向可視電話和電視會(huì)議的視頻壓縮算法的國(guó)際標(biāo)準(zhǔn)，其中P是可變參數(shù)。P=1或2時(shí)，只支持QCIF分辨率(176144)格式每秒幀數(shù)較低的可視電話；當(dāng)P≥6時(shí)，則支持CIF分辨率(352288)格式每秒幀數(shù)較高的活動(dòng)圖像的電視會(huì)議。 。數(shù)字化音頻壓縮標(biāo)準(zhǔn)1). MPEG1,2,4音頻標(biāo)準(zhǔn)2). 16kbps ITU 準(zhǔn)備用在64kbps的ISDN線路的可視電話， 帶寬分配為語(yǔ)音16kbps， 圖像48kbps。3). 32kbps 。 目的是最終取代現(xiàn)有PCM電路傳送方式， 最初是面向衛(wèi)星通信，長(zhǎng)距離通信以及信道價(jià)格很高線路的語(yǔ)音傳輸。目前應(yīng)用領(lǐng)域還包括電視會(huì)議的語(yǔ)音編碼，為提高線路利用率的多媒體多路復(fù)用裝置， 數(shù)字錄音電話及高質(zhì)量語(yǔ)音合成器等。4)64kbps 該標(biāo)準(zhǔn)是面向7kHz帶寬以語(yǔ)音和音樂(lè)為對(duì)象的標(biāo)準(zhǔn)化音響編碼方案，應(yīng)用領(lǐng)域是面向高質(zhì)量語(yǔ)音通信會(huì)議的。它具有3種工作模式即64kbps， 56kbps和48kbps。光盤標(biāo)準(zhǔn)CDROM CDDA CDI VCD DVD 多媒體技術(shù)的研究?jī)?nèi)容 多媒體數(shù)據(jù)壓縮/解壓算法的研究 多媒體數(shù)據(jù)存儲(chǔ)技術(shù) 多媒體計(jì)算機(jī)硬件平臺(tái) 教 學(xué) 內(nèi) 容批注 多媒體計(jì)算機(jī)軟件平臺(tái)多媒體開(kāi)發(fā)和創(chuàng)作工具多媒體數(shù)據(jù)庫(kù)與基于內(nèi)容的檢索技術(shù)超文本和Web技術(shù)多媒體系統(tǒng)數(shù)據(jù)模型多媒體通信與典型多媒體應(yīng)用系統(tǒng)基于Internet網(wǎng)的多媒體技術(shù) 多媒體技術(shù)的應(yīng)用及前景 多媒體技術(shù)的典型應(yīng)用教育和培訓(xùn)咨詢和演示 娛樂(lè)和游戲 管理信息系統(tǒng)視頻會(huì)議系統(tǒng) 計(jì)算機(jī)支持協(xié)同工作 視頻服務(wù)系統(tǒng) IP電話 多媒體技術(shù)的發(fā)展前景 家庭教育和個(gè)人娛樂(lè)是國(guó)際多媒體市場(chǎng)的主流。 銷售、演示和MIS是多媒體技術(shù)應(yīng)用的重要方面 ?；贗nternet網(wǎng)的多媒體系統(tǒng)是多媒體技術(shù)今后發(fā)展方向。 教 學(xué) 內(nèi) 容批注第2章 多媒體數(shù)據(jù)壓縮技術(shù) 信息表示與編碼 概述n 傳統(tǒng)上用模擬方式表示聲音和圖像信息。 易出故障，常產(chǎn)生噪音和信號(hào)丟失，且拷貝過(guò)程中噪音和誤差逐步積累； 模擬信號(hào)不適合數(shù)字計(jì)算機(jī)加工處理。n 數(shù)字化處理：巨大的數(shù)據(jù)量。n 采樣定理： 僅當(dāng)采樣頻率≥2倍的原始信號(hào)頻率時(shí)，才能保證采樣后信號(hào)可被保真地恢復(fù)為原始信號(hào)。n 采用8bit數(shù)字化。 即約為100Mbps。650MB的CDROM僅能存約1分鐘的原始電視數(shù)據(jù)。若HDTV()， 一張CDROM還存不下6秒鐘的HDTV圖像。n 人說(shuō)話的音頻一般在20Hz~4kHz， 即人類語(yǔ)音的帶寬為4kHz。依據(jù)采樣定理， 設(shè)數(shù)字化精度為8b， 則1秒鐘信號(hào)量為64kbits。 因此， 人講1分鐘話的數(shù)據(jù)量為480kB。n 數(shù)字化處理的關(guān)鍵問(wèn)題－數(shù)據(jù)壓縮n 壓縮的基礎(chǔ)－數(shù)據(jù)冗余 空間冗余，這是圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特性具有相關(guān)性，這些相關(guān)性的光成象結(jié)構(gòu)在數(shù)字化其他中就表現(xiàn)為數(shù)據(jù)冗余。 時(shí)間冗余，這是序列圖像和語(yǔ)音數(shù)據(jù)中所經(jīng)常包含的冗余。圖像序列中的兩幅相鄰的圖像之間有較大的相關(guān)性，這反映為時(shí)間冗余。在語(yǔ)言中，由于人在說(shuō)話時(shí)發(fā)音的音頻是一連續(xù)的漸變過(guò)程，而不是一個(gè)完全時(shí)間上獨(dú)立的過(guò)程，因而存在時(shí)間冗余。信息熵冗余， 信息熵是指一組數(shù)據(jù)所攜帶的信息量，它定義為： 教 學(xué) 內(nèi) 容批注H=∑i=0N1Pilog2Pi N為數(shù)據(jù)類數(shù)或碼元個(gè)數(shù)， Pi為碼元yi發(fā)生的概率.為使信息編碼單位數(shù)據(jù)量d接近于或等于H，應(yīng)設(shè)：d=∑i=0N1Pib(yi) 其中b(yi)是分配給碼元yi的比特?cái)?shù)， 理論上應(yīng)取b(yi)=log2Pi. 實(shí)際一般取b(y0)=b(y1)=…=b(yK1).例如， 英文字母編碼碼元長(zhǎng)為7bit， 即b(y0)=b(y1)= … =b(yK1)=7， 這樣d必然大于H， 由此帶來(lái)的冗余稱為信息熵冗余或編碼冗余。結(jié)構(gòu)冗余， 有些圖像從大域上看存著非常強(qiáng)的紋理結(jié)構(gòu)，我們稱它們?cè)诮Y(jié)構(gòu)上存在有冗余。例如，布紋圖像和草席圖像知識(shí)冗余， 有許多圖像的理解與某些基礎(chǔ)知識(shí)有相當(dāng)大的相關(guān)性。例如，人臉的圖像有固定的結(jié)構(gòu)。比如說(shuō)嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正臉圖像的中線上等。這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到， 我們稱此類冗余為知識(shí)冗余。視覺(jué)冗余，人類視覺(jué)系統(tǒng)對(duì)于圖像場(chǎng)的任何變化，并不是都能感知的。例如，對(duì)于圖像的編碼處理時(shí)，由于壓縮或量化截?cái)嘁肓嗽肼暥箞D像發(fā)生了一些變化，如果這些變化不能為視覺(jué)所感知，仍認(rèn)為圖像足夠好。事實(shí)上人類視覺(jué)系統(tǒng)一般分辨能力約為26灰度等級(jí)，而一般圖像量化采用28灰度等級(jí)，這類冗余我們稱為視覺(jué)冗余。其他冗余,例如，由圖像的空間非定常特性所帶來(lái)的冗余。 數(shù)字圖像編碼技術(shù)常見(jiàn)模型：教 學(xué) 內(nèi) 容批注1）RGB彩色空間 R、G、B是彩色最基本表示模型，也是計(jì)算機(jī)系統(tǒng)中所使用的彩色模型。RGB5：5：5方式 用2個(gè)字節(jié)表示一個(gè)像素。T(1b) R(5b) G(5b) B(5b) RGB5：5：5方式RGB8：8：8方式 R、G、B三個(gè)分量各占一個(gè)字節(jié)。2）HSI彩色空間 這種模型中， 用H(Hue，色調(diào))、S(Saturation，飽和度)、I(Intensity，光強(qiáng)度)3個(gè)分量來(lái)表示一種顏色， 這種表示更適合人的視覺(jué)特性。3）YUV彩色空間Y為亮度信號(hào)，U、V是色差信號(hào)(BY，RY)。 PAL制式彩色空間即為YUV。優(yōu)點(diǎn)是亮度和色差信號(hào)分離，容易使彩色電視系統(tǒng)與黑白電視信號(hào)兼容。國(guó)際無(wú)線電咨詢委員會(huì)根據(jù)實(shí)驗(yàn)認(rèn)為采用雙倍度采樣4：2：2方案效果較好， 提出CCIR601標(biāo)準(zhǔn)。變換公式（YUVRGB） Y = *R + *G+ *B； U =*R *G+ *B； V = *R + *G *B 4）YIQ彩色空間 廣播電視系統(tǒng)另一種常用的亮度與色差分離的模型。NTSC制式彩色空間即為YIQ。這里Y是亮度， I和Q共同描述圖像的色調(diào)和飽和度。變換公式(YIQRGB) Y =*R+ *G+ *B I =*R *G+ *B Q =*R *G *B教 學(xué) 內(nèi) 容批注 1）TIF 由美國(guó)Aldus Developer’s Desk和Microsoft制定 結(jié)構(gòu)文件頭(8B) 參數(shù)指針表 參數(shù)數(shù)據(jù)表 圖像數(shù)據(jù)2）PCX由Z Soft公司最初制定結(jié)構(gòu)文件頭(128字節(jié))數(shù)據(jù)部分(采用行程長(zhǎng)度編碼) 3）GIF、TGA、BMP、DVI、JPEG等 多媒體數(shù)據(jù)轉(zhuǎn)換 不同媒體表示不同的信息表示方式。研究媒體之間轉(zhuǎn)換十分有意義。有些媒體之間的轉(zhuǎn)換是非常困難的事情，需要研究人類本身對(duì)各種媒體理解原理和解釋過(guò)程。有些媒體之間的轉(zhuǎn)換則相對(duì)容易，幾乎不用做什么工作。 常用的數(shù)據(jù)壓縮技術(shù) 概述根據(jù)解碼后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致，數(shù)據(jù)壓縮方法劃分為兩類： 可逆編碼(無(wú)失真編碼) 解碼圖像與原始圖像嚴(yán)格相同，壓縮大約在