【正文】 ING COMMUNICATIONS 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 計(jì)算、通信、內(nèi)容、消費(fèi)電子融合 (4C) BROADBAND/Wired and Wireless Entertainment, EBusiness, Services MEDIA PreRecorded Content Personal Media Conditional Access/Cable, Satellite, Broadcast, Wireless Services,Entertainment Any Content+, Any Place, Any Device, Any Time + As Authorized MOBILE MULTIMEDIA Entertainment, Personal Pictures and Video, Services ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 Mega Trend 3： 虛擬媒體世界與自我展示平臺(tái) ? Flickr：世界上最大的在線照片管理和共享站點(diǎn) 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 Mega Trend 3： 虛擬媒體世界與自我展示平臺(tái) ? Youtube：全球最大的視頻博客網(wǎng)站 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 144 數(shù)字媒體技術(shù)原理 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 數(shù)字媒體技術(shù)原理 ? 媒體數(shù)字化 (Digitalization) ? 采樣、壓縮、編碼 … ? 媒體描述 (Representation) ? 結(jié)構(gòu)描述、特征描述、應(yīng)用描述 ? 媒體傳輸 (Communication / Delivery) ? 流媒體、 P2P… ? 媒體管理與消費(fèi) (Management amp。 Consumption) ? 媒體轉(zhuǎn)碼、展現(xiàn)、 瀏覽、檢索、數(shù)字版權(quán)管理 … 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 媒體生產(chǎn) 消費(fèi)鏈 多媒體作品 (文檔 ) 媒體 集成 媒體編輯 /描述 媒體采集 /數(shù)字化 網(wǎng)絡(luò) 媒體傳輸 媒體管理與消費(fèi) 文本 圖像 音頻 視頻 媒體展現(xiàn) 媒體管理 與消費(fèi) 媒體展現(xiàn) 媒體編輯 /描述 媒體采集 /數(shù)字化 媒體編輯 /描述 媒體采集 /數(shù)字化 媒體編輯 /描述 媒體采集 /數(shù)字化 ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 媒體數(shù)字化 ? 為什么要數(shù)字化？ ? 能否數(shù)字化 ?媒體的物理特性 ? 波的概念 ? 數(shù)字化過程 ? 媒體數(shù)字化關(guān)鍵技術(shù) ? 采樣（ Sampling） ? 壓縮（ Compression） ? 編碼（ Coding） 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 為什么要數(shù)字化？ ? 模擬的問題：模擬失真，依賴載體 ? 數(shù)字化的好處： ? 通用的存儲(chǔ)和傳輸格式，數(shù)字化后處理更方便 ? 適用于光盤存儲(chǔ)和遠(yuǎn)距離傳輸 ? 準(zhǔn)確可靠，沒有累計(jì)失真，可以無損傳輸和存儲(chǔ) ? 數(shù)字化的問題 ? 采樣率失真，信息丟失 ? 與模擬相比，需要很大的空間，例如 35mm照片需要420萬像素，高清視頻碼率大于 1Gbps ? 需要壓縮 ? 數(shù)字懸崖：馬賽克、畫面暫停丟失 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 能否數(shù)字化 ?媒體的物理特性 ? 聲音 聲波 ? Higher pitches are caused by higher frequencies of vibrating molecules that reach your eardrum. ? Lower pitches are likewise caused by lower frequencies. ? 影像 電磁波 ? 光：在空間坐標(biāo)上具有不同亮度的電磁波 ? 顏色：波長(zhǎng)（紅色為最長(zhǎng)的可見波） ? 波：由波長(zhǎng)和頻率刻畫 wavelength ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 波長(zhǎng) /頻譜 Long radio waves Microwaves Xrays Gamma rays TV, FM Infrared Ultraviolet 700 nm 600 nm 500 nm 400 nm Hz 5x1014 Hz 6x1014 Hz 7x1014 Hz ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 數(shù)字化過程 ? 三步驟 ? 采樣（ Sampling） ? 量化（ Quantizing） ? 壓縮（ Compression）與編碼（ Coding） Sampler Quantizer amp。 Coder analog signal sampled signal digitized signal 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 Step 1: 采樣與失真 ? 通過某種頻率的采樣脈沖將模擬信息的值取出，變連續(xù)的模擬信息為離散信號(hào)。 ? 采樣定理： 采樣頻率 ＝原始信號(hào)頻率的 2倍 時(shí)， 采樣信號(hào)才可以保真地恢復(fù)為原始信號(hào)。 ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 Step 2:量化與失真 ? 將采樣樣本的幅度按照量化級(jí)別決定其取值的過程。目的是將 采樣樣本的幅度值離散化。 ? 量化之前需要規(guī)定量化級(jí)，比如 8級(jí)， 16級(jí)， 256級(jí)等。 ? 量化是一個(gè)對(duì)一的映射。 ?2022/8/27 例如：畫圖軟件的顏色級(jí)別 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 為什么感知很重要？ ? 失真評(píng)價(jià)的基礎(chǔ) ? 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 Step 3:編碼與壓縮 ? 編碼 ? 用相應(yīng)位數(shù)的二進(jìn)制代碼表示量化后的采樣樣本的量級(jí)。 ? 如果有 N個(gè)量化級(jí)為，那么對(duì)應(yīng)的二進(jìn)制位數(shù)就為 log2N。當(dāng) N＝16，二進(jìn)制需要 4位。 ? 經(jīng)過編碼之后，每個(gè)樣本都表示為相應(yīng)的二進(jìn)制代碼。 ? 脈沖編碼調(diào)制（ PCM， Pulse Code Modulation） ,完成模擬信號(hào)的數(shù)字化 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 為什么需要數(shù)據(jù)壓縮？ ? 壓縮編碼的理論基本原理 ? 從信息論的角度來看，壓縮就是去掉信息中的冗余，即保留不確定的信息，去除確定的信息 (可推知的 )，也就是用一種更接近信息本質(zhì)的描述來代替原有冗余的描述。 ? 信息冗余的例子 ? 你的朋友， Helen， 將于明天晚上 6點(diǎn)零 5分在 上海 的虹橋機(jī)場(chǎng)接你。 (23*2+10=56個(gè)半角字符 ) ? 你的朋友將于明天晚上 6點(diǎn)零 5分在虹橋機(jī)場(chǎng)接你。 (20*2+3=43個(gè)半角字符） ? Helen將于明晚 6點(diǎn)在虹橋接你。 (10*2+7=27個(gè)半角字符） ? 結(jié)論：只要接收端不會(huì)產(chǎn)生誤解，就可以減少承載信息的數(shù)據(jù)量。 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 多媒體領(lǐng)域中的冗余分類 ? 統(tǒng)計(jì)冗余 ? 空間冗余 ——規(guī)則物體的物理相關(guān)性 ? 時(shí)間冗余 ——視頻與動(dòng)畫畫面間以及音頻幀間的相關(guān)性 ? 信息熵冗余 ? 編碼冗余 ——數(shù)據(jù)與攜帶的信息 ? 結(jié)構(gòu)冗余 ? 紋理冗余 ——規(guī)則紋理、相互重疊的結(jié)構(gòu)表面 ? 視 /聽覺冗余 ? 視覺、聽覺敏感度和非線性感覺 ? 知識(shí)冗余 ? 憑借經(jīng)驗(yàn)識(shí)別 1011 0001 1100 1011 0001 1100 0101 1010 1010 1011 1100 0101 1111 1010 224色 28色 ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 數(shù)據(jù)壓縮 ? 數(shù)據(jù)壓縮可分成兩種類型 ? 無損壓縮 ? 有損壓縮 ? 無損壓縮 ? 指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu) (或者叫做還原，解壓縮 )，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同 ? 用于要求重構(gòu)的信號(hào)與原始信號(hào)完全一致的場(chǎng)合。一個(gè)很常見的例子是磁盤文件的壓縮。 ? 有損壓縮 ? 指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對(duì)原始資料表達(dá)的信息造成誤解。 ? 適用于重構(gòu)信號(hào)不一定非要和原始信號(hào)完全相同的場(chǎng)合。 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 壓縮策略 ? 無損壓縮 (Lossless Compression) ? 哈夫曼編碼 (Huffman Coding) ? 自適應(yīng)哈夫曼編碼 ? LempelZivWelch (LZW) ? 用于 GIF ? JPEGLS ? 有損壓縮 (Lossy Compression) ? JPEG ? , MPEG1, MPEG2 ? 無損 +有損 (Lossless and Lossy Together) ? JPEG 2022 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 數(shù)據(jù)壓縮的性能指標(biāo) ? 衡量壓縮算法的三個(gè)主要性能指標(biāo) （ 1）壓縮比； （ 2）壓縮質(zhì)量（失真）； （ 3）壓縮與解壓縮的速度。 ? 不能兼得時(shí)，要綜合考慮。 ? 壓縮質(zhì)量評(píng)價(jià) ? 主觀評(píng)價(jià) ：平均意見得分（ MOS）、五分制（優(yōu)良中差劣） ? 客觀評(píng)價(jià)：均方誤差、加權(quán)均方誤差、 信噪比、峰值信噪比（圖像） 、分段信噪比（音頻）、似然比、譜失真測(cè)度 2210lo g10)(rxdBS N R???22m a x10lo g10)(rxdBP S N R???2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 編碼方式舉例：哈夫曼編碼 (Huffman Coding) ? Huffman編碼屬于信息熵編碼的方法之一，是根據(jù)信源符號(hào)出現(xiàn)概率的分布特性而進(jìn)行的壓縮編碼。 ? 也稱為最佳編碼，平均碼長(zhǎng)最短。 ? 編碼過程： ? 1. 初始化 :將信源符號(hào)按頻率遞減順序排列 ,輸入 L。 ? 2. 重復(fù)如下操作直至 L中只有 1個(gè)結(jié)點(diǎn) : (a)從 L中取得兩個(gè)具有最低頻率的結(jié)點(diǎn)，為它們創(chuàng)建一個(gè)父結(jié)點(diǎn)； (b)將它們的頻率和賦給父結(jié)點(diǎn)，并將其插入 L。 (c) 將樹的左右孩子賦符號(hào)“ 0‖和“ 1‖，并從 L中刪除。 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 哈夫曼編碼 (Huffman Coding)示例 ? 輸入： “ ALOHA HAWAII‖ ? 頻率： 4A, 2H, 2I, 1L, 1O, 1 space, 1W ? 96 bits (8 bits * 12 characters) to 32 bits: A I H L [space] W O 0 1 0 0 0 0 0 1 1 1 1 1 A=0, I=100, H=101, L=1100, space=1101, etc. 例子： Java applet example at 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 媒體表示 ? 顏色模型 ? 顏色科學(xué) ? RGB顏色模型：最基本的表示模型 ? YUV顏色模型：用于 PAL電視信號(hào)傳輸，中國采用 ? YCbCr色彩模型：數(shù)字視頻常用的顏色模型。 ? 圖形和圖像的表示 ? 視頻的表示 ? 數(shù)字音頻表示 2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 人眼視覺特性與顏色模型 ? 人眼的視覺特性 ? 可見光譜：人眼能看到的光譜范圍從 380納米到 780納米。 ? 不同波長(zhǎng)對(duì)應(yīng)不同色彩感覺，不同強(qiáng)度和強(qiáng)度分布的光刺激人眼。 ? 人眼的臨界閃爍頻率為 46HZ。因此要求每秒鐘攝取的畫面數(shù)約為 25幀左右。 ? 顏色科學(xué) ? 色彩是人類視覺對(duì)可見光的感知結(jié)果，在可見光譜內(nèi)不同波長(zhǎng)的光會(huì)引起不同顏色感覺。 ? 三基色原理 ：將紅、綠、藍(lán)三種顏色按照不同的比例進(jìn)行組合，就可以引起人眼對(duì)自然界的全部顏色感覺。 顏色 紅色 橙色 黃色 綠色 青色 藍(lán)色 紫色 波長(zhǎng) 700 620 580 546 480 436 380 ?2022/8/27 蘇州大學(xué) 《 數(shù)字媒體技術(shù)基礎(chǔ) 》 課程 人眼視覺特性與顏色模型 ? 顏色模型 ? RGB色彩模型 ：彩色最基本模型，適合于計(jì)算機(jī)系統(tǒng) 。 ? CMY(CMYK)色彩模型 ：用于印刷 。 ? YUV(亮度、色差