【正文】 教 學 內 容批注第1章 概 論 多媒體技術的概念 媒體什么是媒體? 媒體是信息表示和傳輸的載體。CCITT(目前已被ITU取代)對媒體分類：感覺媒體、表示媒體、表現媒體、存儲媒體、傳輸媒體。多媒體技術的定義： 多媒體技術(multimedia puting)就是計算機交互式綜合處理多種媒體信息──文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個系統并具有交互性。簡言之， 多媒體技術就是計算機綜合處理聲、文、圖信息， 具有集成性、實時性和交互性。 多媒體技術的特點 a集成性 一方面是媒體信息的集成，另一方面是顯示或表現媒體設備的集成.b實時性 聲音、視頻圖像、動畫等媒體是強實時的，多媒體系統提供了對這些時基媒體實時處理的能力。 c交互性 多媒體計算機與其他家用聲像電器有所差別的關鍵特征，普通家用聲像電器無交互性，即用戶只能被動收看，而不能介入到媒體的加工和處理之中。 多媒體技術是綜合的高新技術，它是多個相關學科綜合發(fā)展的產物。微電子技術；計算機技術；通信技術；其他技術從應用角度來看，人們對多媒體系統的認識一是來自電視，一是來自計算機。使電視用戶有一定的控制權限和使計算機畫面更加賞心悅目成了我們改進的目標，這正是電視和計算機結合原因所在。將計算機軟硬件技術、數字化聲像技術和高速通信網技術集成為一個整體，把多種媒體信息的獲取、加工、處理、傳輸、存儲、表現于一體。教 學 內 容批注 多媒體技術的研究意義 多媒體技術不僅是時代的產物，也是人類歷史發(fā)展的必然。從人類歷史的發(fā)展來看， 人與人之間的交流手段是推動社會發(fā)展的一個重要因素從計算機發(fā)展的角度來看，用戶和計算機的交互技術一直是推動計算機技術發(fā)展的重要動因。多媒體技術將文字、聲音、圖形、圖像集成為一體，獲取、存儲、加工、處理、傳輸一體化， 使人機交互達到了最佳的效果多媒體技術的引入提高了工作效率 多媒體技術的發(fā)展歷程 n 啟蒙發(fā)展階段n 標準化階段n 普及應用 啟蒙發(fā)展階段多媒體計算機技術最早起源于20世紀80年代中期。1984年，Apple公司在研制Macintosh計算機時，為了改善人機交互界面， 創(chuàng)造性地使用了位映射(bitmap)、窗口(window)、圖符(icon)等技術， 所帶來的圖形用戶界面(GUI)， 同時鼠標作為交互設備配合GUI使用， 大大方便了用戶的操作。1985年，Microsoft公司推出了Windows，它是一個多任務的圖形操作環(huán)境。1985年，美國Commodore公司首先推出世界上第一臺多媒體計算機Amiga系統。其CPU采用Motorola M68000， 3個專用芯片： 圖形處理芯片Agnus 8370， 音響處理芯片Paula8364， 視頻處理芯片Denise 8362。Amiga機具有自己專用的操作系統， 能夠處理多任務， 并具有下拉菜單、多窗口、圖符等功能。教 學 內 容批注1986年，荷蘭Philips公司和日本Sony公司聯合出CDI，同時公布了該系統所采用的CDROM光盤的數據格式，這項技術對大容量存儲設備光盤發(fā)展起著巨大的影響，并經ISO認可成為國際標準。大容量光盤出現為存儲表示聲音、文字、圖形、視頻等高質量的數字化媒體提供了有效的手段。 標準化階段1990年10月， 。1993年由IBM， Intel等數十家軟硬件公司組成的多媒體個人計算機市場協會(MPMC)。1995年6月， 。1996年以后， 新的個人機均支持基本多媒體功能。數字化圖像壓縮國際標準 JPEG標準它是ITU和ISO兩家聯合成立專家JPEG(Joint Photographic Experts Group)建立的適用彩色和單色、多灰度連續(xù)色調、靜態(tài)圖像壓縮國際標準。該標準在1991年通過為ISO/IEC 10918標準，全稱為“多灰度靜態(tài)圖像的數字壓縮編碼”標準。 MPEG標準為了制定有關運動圖像壓縮標準， ISO建立一個專家組MPEG(Moving Picture Experts Group)， 它從1990年開始工作。，作為ISO/IEC 11172號標準，于1992年通過。平均壓縮比為50:1。 MPEG2()。MPEG4(甚低速率)。MPEG7(多媒體檢索)。MPEG21(多媒體應用框架)。教 學 內 容批注ITU “64kbps視聲服務用視象編碼方式” (P64kbps)。該方案確定于1988年，是一面向可視電話和電視會議的視頻壓縮算法的國際標準，其中P是可變參數。P=1或2時，只支持QCIF分辨率(176144)格式每秒幀數較低的可視電話；當P≥6時，則支持CIF分辨率(352288)格式每秒幀數較高的活動圖像的電視會議。 。數字化音頻壓縮標準1). MPEG1,2,4音頻標準2). 16kbps ITU 準備用在64kbps的ISDN線路的可視電話， 帶寬分配為語音16kbps， 圖像48kbps。3). 32kbps 。 目的是最終取代現有PCM電路傳送方式， 最初是面向衛(wèi)星通信，長距離通信以及信道價格很高線路的語音傳輸。目前應用領域還包括電視會議的語音編碼，為提高線路利用率的多媒體多路復用裝置， 數字錄音電話及高質量語音合成器等。4)64kbps 該標準是面向7kHz帶寬以語音和音樂為對象的標準化音響編碼方案，應用領域是面向高質量語音通信會議的。它具有3種工作模式即64kbps， 56kbps和48kbps。光盤標準CDROM CDDA CDI VCD DVD 多媒體技術的研究內容 多媒體數據壓縮/解壓算法的研究 多媒體數據存儲技術 多媒體計算機硬件平臺 教 學 內 容批注 多媒體計算機軟件平臺多媒體開發(fā)和創(chuàng)作工具多媒體數據庫與基于內容的檢索技術超文本和Web技術多媒體系統數據模型多媒體通信與典型多媒體應用系統基于Internet網的多媒體技術 多媒體技術的應用及前景 多媒體技術的典型應用教育和培訓咨詢和演示 娛樂和游戲 管理信息系統視頻會議系統 計算機支持協同工作 視頻服務系統 IP電話 多媒體技術的發(fā)展前景 家庭教育和個人娛樂是國際多媒體市場的主流。 銷售、演示和MIS是多媒體技術應用的重要方面 ?；贗nternet網的多媒體系統是多媒體技術今后發(fā)展方向。 教 學 內 容批注第2章 多媒體數據壓縮技術 信息表示與編碼 概述n 傳統上用模擬方式表示聲音和圖像信息。 易出故障，常產生噪音和信號丟失，且拷貝過程中噪音和誤差逐步積累； 模擬信號不適合數字計算機加工處理。n 數字化處理：巨大的數據量。n 采樣定理： 僅當采樣頻率≥2倍的原始信號頻率時，才能保證采樣后信號可被保真地恢復為原始信號。n 采用8bit數字化。 即約為100Mbps。650MB的CDROM僅能存約1分鐘的原始電視數據。若HDTV()， 一張CDROM還存不下6秒鐘的HDTV圖像。n 人說話的音頻一般在20Hz~4kHz， 即人類語音的帶寬為4kHz。依據采樣定理， 設數字化精度為8b， 則1秒鐘信號量為64kbits。 因此， 人講1分鐘話的數據量為480kB。n 數字化處理的關鍵問題－數據壓縮n 壓縮的基礎－數據冗余 空間冗余，這是圖像數據中經常存在的一種冗余。在同一幅圖像中，規(guī)則物體和規(guī)則背景的表面物理特性具有相關性，這些相關性的光成象結構在數字化其他中就表現為數據冗余。 時間冗余，這是序列圖像和語音數據中所經常包含的冗余。圖像序列中的兩幅相鄰的圖像之間有較大的相關性，這反映為時間冗余。在語言中，由于人在說話時發(fā)音的音頻是一連續(xù)的漸變過程，而不是一個完全時間上獨立的過程，因而存在時間冗余。信息熵冗余， 信息熵是指一組數據所攜帶的信息量，它定義為： 教 學 內 容批注H=∑i=0N1Pilog2Pi N為數據類數或碼元個數， Pi為碼元yi發(fā)生的概率.為使信息編碼單位數據量d接近于或等于H，應設：d=∑i=0N1Pib(yi) 其中b(yi)是分配給碼元yi的比特數， 理論上應取b(yi)=log2Pi. 實際一般取b(y0)=b(y1)=…=b(yK1).例如， 英文字母編碼碼元長為7bit， 即b(y0)=b(y1)= … =b(yK1)=7， 這樣d必然大于H， 由此帶來的冗余稱為信息熵冗余或編碼冗余。結構冗余， 有些圖像從大域上看存著非常強的紋理結構，我們稱它們在結構上存在有冗余。例如，布紋圖像和草席圖像知識冗余， 有許多圖像的理解與某些基礎知識有相當大的相關性。例如，人臉的圖像有固定的結構。比如說嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于正臉圖像的中線上等。這類規(guī)律性的結構可由先驗知識和背景知識得到， 我們稱此類冗余為知識冗余。視覺冗余，人類視覺系統對于圖像場的任何變化，并不是都能感知的。例如，對于圖像的編碼處理時，由于壓縮或量化截斷引入了噪聲而使圖像發(fā)生了一些變化，如果這些變化不能為視覺所感知，仍認為圖像足夠好。事實上人類視覺系統一般分辨能力約為26灰度等級，而一般圖像量化采用28灰度等級，這類冗余我們稱為視覺冗余。其他冗余,例如，由圖像的空間非定常特性所帶來的冗余。 數字圖像編碼技術常見模型：教 學 內 容批注1）RGB彩色空間 R、G、B是彩色最基本表示模型，也是計算機系統中所使用的彩色模型。RGB5：5：5方式 用2個字節(jié)表示一個像素。T(1b) R(5b) G(5b) B(5b) RGB5：5：5方式RGB8：8：8方式 R、G、B三個分量各占一個字節(jié)。2）HSI彩色空間 這種模型中， 用H(Hue，色調)、S(Saturation，飽和度)、I(Intensity，光強度)3個分量來表示一種顏色， 這種表示更適合人的視覺特性。3）YUV彩色空間Y為亮度信號，U、V是色差信號(BY，RY)。 PAL制式彩色空間即為YUV。優(yōu)點是亮度和色差信號分離，容易使彩色電視系統與黑白電視信號兼容。國際無線電咨詢委員會根據實驗認為采用雙倍度采樣4：2：2方案效果較好， 提出CCIR601標準。變換公式（YUVRGB） Y = *R + *G+ *B； U =*R *G+ *B； V = *R + *G *B 4）YIQ彩色空間 廣播電視系統另一種常用的亮度與色差分離的模型。NTSC制式彩色空間即為YIQ。這里Y是亮度， I和Q共同描述圖像的色調和飽和度。變換公式(YIQRGB) Y =*R+ *G+ *B I =*R *G+ *B Q =*R *G *B教 學 內 容批注 1）TIF 由美國Aldus Developer’s Desk和Microsoft制定 結構文件頭(8B) 參數指針表 參數數據表 圖像數據2）PCX由Z Soft公司最初制定結構文件頭(128字節(jié))數據部分(采用行程長度編碼) 3）GIF、TGA、BMP、DVI、JPEG等 多媒體數據轉換 不同媒體表示不同的信息表示方式。研究媒體之間轉換十分有意義。有些媒體之間的轉換是非常困難的事情，需要研究人類本身對各種媒體理解原理和解釋過程。有些媒體之間的轉換則相對容易，幾乎不用做什么工作。 常用的數據壓縮技術 概述根據解碼后數據與原始數據是否完全一致，數據壓縮方法劃分為兩類： 可逆編碼(無失真編碼) 解碼圖像與原始圖像嚴格相同，壓縮大約在