【正文】 ING COMMUNICATIONS 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 計算、通信、內容、消費電子融合 (4C) BROADBAND/Wired and Wireless Entertainment, EBusiness, Services MEDIA PreRecorded Content Personal Media Conditional Access/Cable, Satellite, Broadcast, Wireless Services,Entertainment Any Content+, Any Place, Any Device, Any Time + As Authorized MOBILE MULTIMEDIA Entertainment, Personal Pictures and Video, Services ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 Mega Trend 3： 虛擬媒體世界與自我展示平臺 ? Flickr：世界上最大的在線照片管理和共享站點 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 Mega Trend 3： 虛擬媒體世界與自我展示平臺 ? Youtube：全球最大的視頻博客網(wǎng)站 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 144 數(shù)字媒體技術原理 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 數(shù)字媒體技術原理 ? 媒體數(shù)字化 (Digitalization) ? 采樣、壓縮、編碼 … ? 媒體描述 (Representation) ? 結構描述、特征描述、應用描述 ? 媒體傳輸 (Communication / Delivery) ? 流媒體、 P2P… ? 媒體管理與消費 (Management amp。 Consumption) ? 媒體轉碼、展現(xiàn)、 瀏覽、檢索、數(shù)字版權管理 … 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 媒體生產 消費鏈 多媒體作品 (文檔 ) 媒體 集成 媒體編輯 /描述 媒體采集 /數(shù)字化 網(wǎng)絡 媒體傳輸 媒體管理與消費 文本 圖像 音頻 視頻 媒體展現(xiàn) 媒體管理 與消費 媒體展現(xiàn) 媒體編輯 /描述 媒體采集 /數(shù)字化 媒體編輯 /描述 媒體采集 /數(shù)字化 媒體編輯 /描述 媒體采集 /數(shù)字化 ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 媒體數(shù)字化 ? 為什么要數(shù)字化？ ? 能否數(shù)字化 ?媒體的物理特性 ? 波的概念 ? 數(shù)字化過程 ? 媒體數(shù)字化關鍵技術 ? 采樣（ Sampling） ? 壓縮（ Compression） ? 編碼（ Coding） 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 為什么要數(shù)字化？ ? 模擬的問題：模擬失真，依賴載體 ? 數(shù)字化的好處： ? 通用的存儲和傳輸格式，數(shù)字化后處理更方便 ? 適用于光盤存儲和遠距離傳輸 ? 準確可靠，沒有累計失真，可以無損傳輸和存儲 ? 數(shù)字化的問題 ? 采樣率失真，信息丟失 ? 與模擬相比，需要很大的空間，例如 35mm照片需要420萬像素，高清視頻碼率大于 1Gbps ? 需要壓縮 ? 數(shù)字懸崖：馬賽克、畫面暫停丟失 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 能否數(shù)字化 ?媒體的物理特性 ? 聲音 聲波 ? Higher pitches are caused by higher frequencies of vibrating molecules that reach your eardrum. ? Lower pitches are likewise caused by lower frequencies. ? 影像 電磁波 ? 光：在空間坐標上具有不同亮度的電磁波 ? 顏色：波長（紅色為最長的可見波） ? 波：由波長和頻率刻畫 wavelength ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 波長 /頻譜 Long radio waves Microwaves Xrays Gamma rays TV, FM Infrared Ultraviolet 700 nm 600 nm 500 nm 400 nm Hz 5x1014 Hz 6x1014 Hz 7x1014 Hz ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 數(shù)字化過程 ? 三步驟 ? 采樣（ Sampling） ? 量化（ Quantizing） ? 壓縮（ Compression）與編碼（ Coding） Sampler Quantizer amp。 Coder analog signal sampled signal digitized signal 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 Step 1: 采樣與失真 ? 通過某種頻率的采樣脈沖將模擬信息的值取出，變連續(xù)的模擬信息為離散信號。 ? 采樣定理： 采樣頻率 ＝原始信號頻率的 2倍 時， 采樣信號才可以保真地恢復為原始信號。 ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 Step 2:量化與失真 ? 將采樣樣本的幅度按照量化級別決定其取值的過程。目的是將 采樣樣本的幅度值離散化。 ? 量化之前需要規(guī)定量化級，比如 8級， 16級， 256級等。 ? 量化是一個對一的映射。 ?2022/8/27 例如：畫圖軟件的顏色級別 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 為什么感知很重要？ ? 失真評價的基礎 ? 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 Step 3:編碼與壓縮 ? 編碼 ? 用相應位數(shù)的二進制代碼表示量化后的采樣樣本的量級。 ? 如果有 N個量化級為，那么對應的二進制位數(shù)就為 log2N。當 N＝16，二進制需要 4位。 ? 經過編碼之后，每個樣本都表示為相應的二進制代碼。 ? 脈沖編碼調制（ PCM， Pulse Code Modulation） ,完成模擬信號的數(shù)字化 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 為什么需要數(shù)據(jù)壓縮？ ? 壓縮編碼的理論基本原理 ? 從信息論的角度來看，壓縮就是去掉信息中的冗余，即保留不確定的信息，去除確定的信息 (可推知的 )，也就是用一種更接近信息本質的描述來代替原有冗余的描述。 ? 信息冗余的例子 ? 你的朋友， Helen， 將于明天晚上 6點零 5分在 上海 的虹橋機場接你。 (23*2+10=56個半角字符 ) ? 你的朋友將于明天晚上 6點零 5分在虹橋機場接你。 (20*2+3=43個半角字符） ? Helen將于明晚 6點在虹橋接你。 (10*2+7=27個半角字符） ? 結論：只要接收端不會產生誤解，就可以減少承載信息的數(shù)據(jù)量。 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 多媒體領域中的冗余分類 ? 統(tǒng)計冗余 ? 空間冗余 ——規(guī)則物體的物理相關性 ? 時間冗余 ——視頻與動畫畫面間以及音頻幀間的相關性 ? 信息熵冗余 ? 編碼冗余 ——數(shù)據(jù)與攜帶的信息 ? 結構冗余 ? 紋理冗余 ——規(guī)則紋理、相互重疊的結構表面 ? 視 /聽覺冗余 ? 視覺、聽覺敏感度和非線性感覺 ? 知識冗余 ? 憑借經驗識別 1011 0001 1100 1011 0001 1100 0101 1010 1010 1011 1100 0101 1111 1010 224色 28色 ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 數(shù)據(jù)壓縮 ? 數(shù)據(jù)壓縮可分成兩種類型 ? 無損壓縮 ? 有損壓縮 ? 無損壓縮 ? 指使用壓縮后的數(shù)據(jù)進行重構 (或者叫做還原，解壓縮 )，重構后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同 ? 用于要求重構的信號與原始信號完全一致的場合。一個很常見的例子是磁盤文件的壓縮。 ? 有損壓縮 ? 指使用壓縮后的數(shù)據(jù)進行重構，重構后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達的信息造成誤解。 ? 適用于重構信號不一定非要和原始信號完全相同的場合。 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 壓縮策略 ? 無損壓縮 (Lossless Compression) ? 哈夫曼編碼 (Huffman Coding) ? 自適應哈夫曼編碼 ? LempelZivWelch (LZW) ? 用于 GIF ? JPEGLS ? 有損壓縮 (Lossy Compression) ? JPEG ? , MPEG1, MPEG2 ? 無損 +有損 (Lossless and Lossy Together) ? JPEG 2022 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 數(shù)據(jù)壓縮的性能指標 ? 衡量壓縮算法的三個主要性能指標 （ 1）壓縮比； （ 2）壓縮質量（失真）； （ 3）壓縮與解壓縮的速度。 ? 不能兼得時，要綜合考慮。 ? 壓縮質量評價 ? 主觀評價 ：平均意見得分（ MOS）、五分制（優(yōu)良中差劣） ? 客觀評價：均方誤差、加權均方誤差、 信噪比、峰值信噪比（圖像） 、分段信噪比（音頻）、似然比、譜失真測度 2210lo g10)(rxdBS N R???22m a x10lo g10)(rxdBP S N R???2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 編碼方式舉例：哈夫曼編碼 (Huffman Coding) ? Huffman編碼屬于信息熵編碼的方法之一，是根據(jù)信源符號出現(xiàn)概率的分布特性而進行的壓縮編碼。 ? 也稱為最佳編碼，平均碼長最短。 ? 編碼過程： ? 1. 初始化 :將信源符號按頻率遞減順序排列 ,輸入 L。 ? 2. 重復如下操作直至 L中只有 1個結點 : (a)從 L中取得兩個具有最低頻率的結點，為它們創(chuàng)建一個父結點； (b)將它們的頻率和賦給父結點，并將其插入 L。 (c) 將樹的左右孩子賦符號“ 0‖和“ 1‖，并從 L中刪除。 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 哈夫曼編碼 (Huffman Coding)示例 ? 輸入： “ ALOHA HAWAII‖ ? 頻率： 4A, 2H, 2I, 1L, 1O, 1 space, 1W ? 96 bits (8 bits * 12 characters) to 32 bits: A I H L [space] W O 0 1 0 0 0 0 0 1 1 1 1 1 A=0, I=100, H=101, L=1100, space=1101, etc. 例子： Java applet example at 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 媒體表示 ? 顏色模型 ? 顏色科學 ? RGB顏色模型：最基本的表示模型 ? YUV顏色模型：用于 PAL電視信號傳輸，中國采用 ? YCbCr色彩模型：數(shù)字視頻常用的顏色模型。 ? 圖形和圖像的表示 ? 視頻的表示 ? 數(shù)字音頻表示 2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 人眼視覺特性與顏色模型 ? 人眼的視覺特性 ? 可見光譜：人眼能看到的光譜范圍從 380納米到 780納米。 ? 不同波長對應不同色彩感覺，不同強度和強度分布的光刺激人眼。 ? 人眼的臨界閃爍頻率為 46HZ。因此要求每秒鐘攝取的畫面數(shù)約為 25幀左右。 ? 顏色科學 ? 色彩是人類視覺對可見光的感知結果，在可見光譜內不同波長的光會引起不同顏色感覺。 ? 三基色原理 ：將紅、綠、藍三種顏色按照不同的比例進行組合，就可以引起人眼對自然界的全部顏色感覺。 顏色 紅色 橙色 黃色 綠色 青色 藍色 紫色 波長 700 620 580 546 480 436 380 ?2022/8/27 蘇州大學 《 數(shù)字媒體技術基礎 》 課程 人眼視覺特性與顏色模型 ? 顏色模型 ? RGB色彩模型 ：彩色最基本模型，適合于計算機系統(tǒng) 。 ? CMY(CMYK)色彩模型 ：用于印刷 。 ? YUV(亮度、色差