【正文】 之前的聲音信號(hào)不相同，但人的聽(tīng)覺(jué)系統(tǒng)很難感覺(jué)到它們之間的差別。 – 輸入聲音信號(hào)經(jīng)過(guò)一個(gè) “時(shí)間 頻率多相濾波器組 ”變換到頻域里的多個(gè)子帶中。threshold)，查看輸入信號(hào)和子帶中的信號(hào)以確定每個(gè)子帶里的信號(hào)能量與掩蔽閾值的比率。ratio， SMR)來(lái)決定分配給子帶信號(hào)的量化位數(shù)，使量化噪聲低于掩蔽閾值。 解碼器對(duì)位數(shù)據(jù)流進(jìn)行解碼，恢復(fù)被量化的子帶樣本值以重建聲音信號(hào)。 ? 用來(lái)分割子帶也就是時(shí)間 頻率變換部件是一個(gè)多相濾波器組。– 子帶的劃分方法有兩種，一種是線性劃分，另一種是非線性劃分。– 在低頻區(qū)域，一個(gè)子帶覆蓋好幾個(gè)臨界頻帶。 ? MPEG聲音壓縮定義了 3個(gè)分明的層次，它們的基本模型是相同的。– 每個(gè)后繼的層次都有更高的壓縮比，但需要更復(fù)雜的編碼解碼器。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? MPEG的聲音數(shù)據(jù)分成幀 (frame)，層 1每幀包含 384個(gè)樣本的數(shù)據(jù)，每幀由 32個(gè)子帶分別輸出的 12個(gè)樣本組成。 AudioAudio，或者稱為 MPEG2多通道(Multichannel)聲音，因?yàn)樗c MPEG1BCCompatible)。AACAudioNBC(NonBackwardCompatible)標(biāo)準(zhǔn)。Audio。Audio(ISO/IECAudio(ISO/IEC2和 3的結(jié)構(gòu)也相同。kHz,kHz和 24kb/s擴(kuò)展到 8～ 640– 此外 MPEG2還支持 LinearAC3(AudioNumber它們的差別如表 905所示。MPEG1和 2的聲音數(shù)據(jù)規(guī)格 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? MPEG2它的含義是播音現(xiàn)場(chǎng)的前面可有 3個(gè)喇叭聲道 (左、中、右 )，后面可有 2個(gè)環(huán)繞聲喇叭聲道， LFE(loweffects)是低頻音效的加強(qiáng)聲道，如圖 919(a)所示。圖 919(a) 圖 919(b) 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? MPEG2聲音標(biāo)準(zhǔn)的第 3部分 (Partextension)，如圖 920所示。backwardsmultichannelcoding)標(biāo)準(zhǔn)，簡(jiǎn)稱為 MPEG2中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG2? MPEG2就像所有感知編碼一樣， MPEG2? AAC支持的采用頻率可從 8kHz，– AAC編碼器的音源可以是單聲道的、立體聲的和多聲道的聲音。(loweffects)、 16個(gè)配音聲道 (overdubchannel)和 16個(gè)數(shù)據(jù)流。AAC在壓縮比為 11:1，即每個(gè)聲道的數(shù)據(jù)率為 (16kb/s，而 5個(gè)聲道的總數(shù)據(jù)率為 320與 MPEG的層 2相比， MPEG2中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG2? 開(kāi)發(fā) MPEG2Audio標(biāo)準(zhǔn)采用的方法不同。audiotools)對(duì)模塊進(jìn)行定義。AAC的配置 Control)”模塊之外， AAC系統(tǒng)使用了圖中所示的所有模塊，在三種配置中提供最好的聲音質(zhì)量，而且 AAC的解碼器可以對(duì)低復(fù)雜性配置編碼的聲音數(shù)據(jù)進(jìn)行解碼，但對(duì)計(jì)算機(jī)的存儲(chǔ)器和處理能力的要求方面，基本配置比低復(fù)雜性配置的要求高。noise– 可變采樣率配置 (Scalable Sampling Rate Profile)： 在這種配置中，使用增益控制對(duì)信號(hào)作預(yù)處理，不使用預(yù)測(cè)模塊， TNS濾波器的級(jí)數(shù)和帶寬也都有限制，因此它比基本配置和低復(fù)雜性配置更簡(jiǎn)單，可用來(lái)提供可變采樣頻率信號(hào)。AAC的基本模塊 這個(gè)模塊把輸入信號(hào)分離到 4個(gè)相等帶寬的頻帶中。? 濾波器組 (Filter Bank)– 濾波器組是把輸入信號(hào)從時(shí)域變換到頻域的轉(zhuǎn)換模塊，它是 MPEG2 AAC系統(tǒng)的基本模塊。? 瞬時(shí)噪聲定形 TNS– 在感知聲音編碼中， TNS模塊是用來(lái)控制量化噪聲的瞬時(shí)形狀的一種方法，解決掩蔽閾值和量化噪聲的錯(cuò)誤匹配問(wèn)題。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? 聯(lián)合立體聲編碼– 聯(lián)合立體聲編碼 (joint stereo coding)是一種空間編碼技術(shù)，其目的是為了去掉空間的冗余信息。 ? 預(yù)測(cè) (Prediction)– 這是在話音編碼系統(tǒng)中普遍使用的一種技術(shù)，它主要用來(lái)減少平穩(wěn) (stationary)信號(hào)的冗余度。? 無(wú)噪聲編碼 (Noiseless coding)– 無(wú)噪聲編碼實(shí)際上就是霍夫曼編碼，它對(duì)被量化的譜系數(shù)、比例因子和方向信息進(jìn)行編碼。AudioAudio標(biāo)準(zhǔn)可集成從話音到高質(zhì)量的多通道聲音，從自然聲音到合成聲音，編碼方法還包括：– 參數(shù)編碼 (parametricexcitedpredictive，CELP)編碼，– 時(shí)間 /頻率 T/F(time/frequency)編碼，– 結(jié)構(gòu)化聲音 SA(structured kb/s和 64audio)。 對(duì)于采樣率為 8 kHz的話音 (speech)，編碼器的輸出數(shù)據(jù)率為 2～ 4 kb/s；對(duì)于采樣頻率為 8 kHz或者 16 kHz的聲音 (audio)，編碼器的輸出數(shù)據(jù)率為 4～ 16 kb/s。編碼器的輸出數(shù)據(jù)率在 6～ 24 kb/s之間，它用于采樣頻率為 8 kHz的窄帶話音或者采樣頻率為 16 kHz的寬帶話音。這是一種使用矢量量化 (vector quantization， VQ)和線性預(yù)測(cè)的編碼器，壓縮之后輸出的數(shù)據(jù)率大于 16 kb/s，用于采樣頻率為 8 kHz的聲音信號(hào)。? MPEG4的譯碼器支持合成樂(lè)音和 TTS聲音。InstrumentInterface)樂(lè)音，這種聲音是在樂(lè)譜文件或者描述文件控制下生成的聲音，樂(lè)譜文件是按時(shí)間順序組織的一系列調(diào)用樂(lè)器的命令，合成樂(lè)音傳輸?shù)氖菢?lè)譜而不是聲音波形本身或者聲音參數(shù)，因此它的數(shù)據(jù)率可以相當(dāng)?shù)汀Ｖ猩酱髮W(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年ITUR? 按照奈奎斯特 (Nyquist)采樣理論，模擬電視信號(hào)經(jīng)過(guò)采樣 (把連續(xù)的時(shí)間信號(hào)變成離散的時(shí)間信號(hào) )和量化 (把連續(xù)的幅度變成離散的幅度信號(hào) )之后，數(shù)字電視信號(hào)的數(shù)據(jù)量大得驚人，當(dāng)前的存儲(chǔ)器和網(wǎng)絡(luò)都還沒(méi)有足夠的能力支持這種數(shù)據(jù)傳輸率，因此就要對(duì)數(shù)字電視信號(hào)進(jìn)行壓縮。按照這個(gè)標(biāo)準(zhǔn)，使用 4:2:2的采樣格式，亮度信號(hào) Y的采樣頻率選擇為 MHz/s，在傳輸數(shù)字電視信號(hào)通道上的數(shù)據(jù)傳輸率就達(dá)到為 270858樣本 /行 525行 /幀 30幀 /秒 10比特 /樣本 135兆比特/秒 (NTSC)864樣本 /行 625行 /幀 25幀 /秒 10比特 /樣本 135兆比特/秒 (PAL)? Cr(BY):429樣本 /行 525行 /幀 30幀 /秒 10比特 /樣本 68兆比特 /秒 (NTSC)429樣本 /行 625行 /幀 25幀 /秒 10比特 /樣本 68兆比特 /秒 (PAL)? 總計(jì) :=– 7204803010104(NTSC)Mb/s– 23604803010104(NTSC)– 23605762510104(PAL)總計(jì) :207 Mb/s? 如果每個(gè)樣本的采樣精度由 10比特降為 8比特，彩色數(shù)字電視信號(hào)的數(shù)據(jù)傳輸率就降為 166 Mb/s。? 如果考慮使用 VideoCD存儲(chǔ)器來(lái)存儲(chǔ)數(shù)字電視，由于它的數(shù)據(jù)傳輸率可達(dá)到 Mb/s，這就意味 MPEG電視編碼器的輸出數(shù)據(jù)率要達(dá)到 顯而易見(jiàn)，如果存儲(chǔ) 166 Mb/s的數(shù)字電視信號(hào)就需要對(duì)它進(jìn)行高度壓縮，壓縮比高達(dá) 166/ 144:1。為此首先把 NTSC和 PAL數(shù)字電視轉(zhuǎn)換成公用中分辨率格式CIF(CommonFormat)的數(shù)字電視，這種格式相當(dāng)于 VHS(VideoSystem)的質(zhì)量，于是彩色數(shù)字電視的數(shù)據(jù)傳輸率就減小到– 35224030830 Mb/s(PAL)。這就是 MPEG1技術(shù)所能獲得的壓縮比。Mb/s如果使用 DVDVideo存儲(chǔ)器來(lái)存儲(chǔ)數(shù)字電視，它的數(shù)據(jù)傳輸率雖然可以達(dá)到 GB的單面單層 DVD盤(pán)要存放 133分鐘的電視節(jié)目，按照數(shù)字電視信號(hào)的平均數(shù)據(jù)傳輸率為 ? 如果電視圖像的子采樣使用 4:2:0格式，每個(gè)樣本的精度為 8比特，數(shù)字電視信號(hào)的數(shù)據(jù)傳輸率就減小到 124(NTSC)– 720576258124 Mb/s (PAL)? 使用 DVDVideo來(lái)存儲(chǔ) 72048030或者 72057625的數(shù)字電視圖像所需要的壓縮比為： 124/ 30:1。種 類 內(nèi)容 目前用的主要方法統(tǒng)計(jì) 空 間 冗余 像素 間 的相關(guān)性 變換編碼 ， 預(yù)測(cè)編碼特性 時(shí)間 冗余 時(shí)間 方向上的相關(guān)性幀間預(yù)測(cè) ，移 動(dòng)補(bǔ)償圖 像構(gòu)造冗余 圖 像本身的構(gòu)造 輪 廓 編碼 ，區(qū)域分割知 識(shí) 冗余 收 發(fā) 兩端 對(duì) 人物的共有 認(rèn)識(shí)基于知 識(shí) 的 編碼視覺(jué) 冗余 人的 視覺(jué) 特性 非 線 性量化，位分配其他 不確定性因素 　電視圖像本身在時(shí)間上和空間上都含有許多冗余信息，圖像自身的構(gòu)造也有冗余性。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年數(shù)據(jù)壓縮算法 在空間方向上，圖像數(shù)據(jù)壓縮采用JPEG(JointExperts– pensation)算法來(lái)去掉冗余信息。＋ 1中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年FrameFrame中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年象素運(yùn)動(dòng)軌跡中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年Blockbased Motion Estimation and Compensation中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年Blockbased Motion Estimation and Compensation中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年1616 Block Size中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年88 Block Size中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年44 Block Size中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年Sub－ pixelMotion Estimation and Compensation中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1視頻編碼器框架中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1視頻編碼器框架分塊中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1視頻壓縮算法運(yùn)動(dòng)圖像序列圖片組（ GOP）I B B P B B P …圖片條（ Slice）宏塊Macro Block1616塊（ Block）88分割：中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1視頻壓縮算法GOP的組成：一個(gè)內(nèi)幀是一個(gè)隨機(jī)訪問(wèn)點(diǎn)。I： 內(nèi)幀P： 單向預(yù)測(cè)幀B： 雙向預(yù)測(cè)幀中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1視頻壓縮算法? 為了在圖像質(zhì)量和數(shù)據(jù)速率之間作出調(diào)整， MPEG編碼器允許：– 選擇內(nèi)幀 I的頻率和位置，? I圖像的頻率是指每秒鐘出現(xiàn) I圖像的次數(shù)，位置是指時(shí)間方向上幀所在的位置。– 選擇 I和 P之間雙向預(yù)測(cè)幀 B的數(shù)目。例如，對(duì)于快速運(yùn)動(dòng)的圖像， I圖像的頻率可以選擇高一些，B圖像的數(shù)目可以選擇少一點(diǎn)；對(duì)于滿速運(yùn)動(dòng)的圖像 I圖像的頻率可以低一點(diǎn)，而 B圖像的數(shù)目可以選擇多一點(diǎn)。 CIF 150000b 50000b 20230b 38000bMPEG2編碼參數(shù)為：幀內(nèi)圖像 I的距離為 N=15，預(yù)測(cè)圖像 (P)的距離為 M=3。從表中可以看到， I幀圖像的數(shù)據(jù)量最大，而 B幀圖像的數(shù)據(jù)量最小。宏塊分為四類：? 幀內(nèi)宏塊，簡(jiǎn)稱 I塊? 前向預(yù)測(cè)宏塊，簡(jiǎn)稱 F塊? 后向預(yù)測(cè)宏塊，簡(jiǎn)稱 B塊? 平均宏塊，簡(jiǎn)稱 A塊I圖像只包含 I塊， P圖像只包含 I塊和 F塊， B圖像可以包含 4種類型的宏塊。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? 幀內(nèi)圖像 I不參照任何過(guò)去的或者將來(lái)的其他圖像幀，壓縮編碼采用類似 JPEG壓縮算法，它的框圖如圖所示。每個(gè)圖像平面分成 88的圖塊，對(duì)每個(gè)圖塊進(jìn)行離散余弦變換 DCT(discreteTransform)。 DCT變換后經(jīng)過(guò)量化的直流分量系數(shù)用差分脈沖編碼 DPCM(DifferentialCodeencoding)，然后再用霍夫曼 (Huffman)編碼或者用算術(shù)編碼。 ? 預(yù)測(cè)圖像的編碼也是以圖像宏塊 (macroblock)為基本編碼單元，一個(gè)宏塊定義為 IJ像素的圖像塊，一般取 1616。 16