【正文】 PEG 2022年 fall 1 概述 ? MPEG(Motion Picture Experts Group)是運(yùn)動(dòng)圖像專(zhuān)家小組的英文縮寫(xiě)。 ? JPEG和 MPEG都是在 ISO領(lǐng)導(dǎo)下的專(zhuān)家小組，其成員也有很大的交疊。這是ISO文檔的最初形式，由 ISO內(nèi)部正式調(diào)查研究和投票表決 ? 國(guó)際標(biāo)準(zhǔn)草案 (Draft International Standard， DIS) 投票成員國(guó)對(duì) CD的內(nèi)容和說(shuō)明滿(mǎn)意之后由委員會(huì)草案 CD提升上來(lái)的文件 ? 國(guó)際標(biāo)準(zhǔn) (International Standard， IS) 由投票成員國(guó)、 ISO的其他部門(mén)和其他委員會(huì)投票通過(guò)之后出版發(fā)布的文件 ? MPEG的第一個(gè)成果 MPEG1于 1992年推出，是 VCD的基礎(chǔ)。 ? 1999年 12月發(fā)布了 MPEG4。 MPEG系列 ? MPEG1： ISO/IEC 11172 ? MPEG2： ISO/IEC 13818 ? MPEG4： ISO/IEC 14496 ? MPEG7： ISO/IEC 15938 ? MPEG21： ISO/IEC 21000 組成 ? video coding ? audio coding ? system definition which describes the bination of individual data streams into a mon stream. 2 視頻編碼 ? An image must consist of three ponents. luminance Y two color difference signals Cr and Cb ? color subsampling ? 14 different pixel aspect ratios 1:1 16:9 4:3 ? refresh frequency , 24Hz, 25Hz, , 30Hz, 50Hz, , and 60Hz ? An MPEG macro block is partitioned into 16 16 pixels for the luminance ponent and 8 8 pixels for each of the two chrominance ponents. ? A macro block is formed of six blocks of 8 8 pixels: first four blocks for the luminance ponent then the two chrominance blocks. 宏塊 ? 獲得高速壓縮的關(guān)鍵是去掉盡可能多的冗余，在靜止圖像壓縮方面， MPEG和 JPEG算法幾乎是一樣的。一幅靜態(tài)圖像就是由許多這樣的宏塊組成。 ? P圖（前向預(yù)測(cè)幀 Predicted Picture） ,參照前一幅I或 P圖像做運(yùn)動(dòng)補(bǔ)償編碼。 ? I幀主要用于接收機(jī)的初始化和信道的獲取，以及節(jié)目的切換和插入， I幀圖像的壓縮倍數(shù)相對(duì)較低。 ? 運(yùn)動(dòng)補(bǔ)償工作于宏塊一級(jí)，主要是消除預(yù)測(cè)圖與插補(bǔ)圖在時(shí)間上的冗余，以提高壓縮比。 “ 準(zhǔn)宏塊 ” 的邊界不是 I圖中的 16?16的宏塊，是 I圖中的一個(gè)類(lèi)似塊，這一個(gè)復(fù)制過(guò)程稱(chēng)為 “ 運(yùn)動(dòng) ” 。 ? 16?16的運(yùn)動(dòng)矢量塊是預(yù)測(cè)誤差，必須進(jìn)行編碼、傳送、供解碼時(shí)恢復(fù)圖像時(shí)使用。 the AC coefficients are ignored. ? D frames contain only the lowfrequency ponents of an image. ? A Dframe always consists of one type of macro block and only the DCcoefficients of the DCT are coded. ? D frames are used for fastforward display. This could also be realized by a suitable placement of I frames. ? P幀和 B幀圖像采用幀間編碼方式，即同時(shí)利用了空間和時(shí)間上的相關(guān)性。由于 B幀圖像采用了未來(lái)幀作為參考，因此 MPEG1編碼碼流中圖像幀的傳輸順序和顯示順序是不同的。由于 JPEG只壓縮一幅單獨(dú)圖像的信息，所以 MPEG必須處理時(shí)間冗余。 ? 把這種思想加以擴(kuò)展就是 MPEG所做的工作，當(dāng)然， MPEG要比這復(fù)雜。新老情景間的差別很大，這時(shí)很可能不得不發(fā)送新的場(chǎng)景。例如當(dāng)一個(gè)人在一個(gè)場(chǎng)景中移動(dòng)時(shí)，前一幀中原本藏在人后面的物體會(huì)出現(xiàn)在后續(xù)的幀中。然后 P幀和兩個(gè) I幀可以被緩存起來(lái)，這樣接下來(lái)收到的 B幀就可以在觀看端進(jìn)行解碼。 ? MPEG－ 1標(biāo)準(zhǔn)包括 MPEG視頻、 MPEG音頻和 MPEG系統(tǒng)三部分 ? MPEG－ 1標(biāo)準(zhǔn)是一個(gè)通用標(biāo)準(zhǔn)，既考慮了應(yīng)用要求，又獨(dú)立于應(yīng)用之上。其中應(yīng)用最廣泛的是 VCD光盤(pán)。 MPEG2 ? MPEG2的標(biāo)準(zhǔn)號(hào)為 ISO/IEC 13818， 標(biāo)準(zhǔn)名稱(chēng)為 “ 信息技術(shù) — 電視圖像和伴音信息的通用編碼(Information technology — Generic coding of moving pictures and associated audio information )”。 MPEG2 ? Generic coding of moving pictures and associated audio ? Part 1 Systems ? Part 2 Video ? Part 3 Audio ? Part 4 Conformance testing ? Part 5 Software simulation ? Part 6 System extensions DSMCC ? Part 7 Audio extension NBC mode ? Part 8 VOID (withdrawn) ? Part 9 System extension RTI ? Part 10 Conformance extension DSMCC ? Part 11 IPMP on MPEG2 Systems ? 它是一個(gè)直接與數(shù)字電視廣播有關(guān)的高質(zhì)量圖像和聲音編碼標(biāo)準(zhǔn)。其中 11種組合已達(dá)成共識(shí)，形成技術(shù)規(guī)范，用于從低端的電視會(huì)議／可視電話到高端的高清晰度電視等不同的場(chǎng)合。 MPEG4是目前視頻壓縮技術(shù)的最新發(fā)展水平。 ? MPEG4提供的多種視音頻 (自然的與合成的 )的編碼模式使圖像或視音頻中對(duì)象的存取大為便利 , 稱(chēng)作基于內(nèi)容的存取。因此， MPEG4提供了一種嶄新的交互方式－基于內(nèi)容的交互（ Contentbased Interactivity） ? 在視頻編碼方面， MPEG４ 與現(xiàn)有標(biāo)準(zhǔn)相比也有了重要突破。關(guān)鍵在于基于視頻對(duì)象的編碼， MPEG4引入了視頻會(huì)晤 VS、 視頻對(duì)象 VO、 視頻對(duì)象層 VOL及視頻對(duì)象面VOP等概念。這種數(shù)字聲頻傳播之所以可能實(shí)現(xiàn)是因?yàn)樗恍枰s 16kbit/s的寬帶。 ? MPEG4提供了比 MPEG1與 MPEG2更好的壓縮運(yùn)算性能。 MPEG7正式名稱(chēng)叫作 “ 多媒體內(nèi)容描述接口 ” ，為各種類(lèi)型的多媒體信息規(guī)定一種標(biāo)準(zhǔn)化的描述方法，這種描述與多媒體信息的內(nèi)容本身一起，支持用戶(hù)對(duì)其感興趣的各種 “ 資料 ” 進(jìn)行快速、有效的檢索。 MPEG7 ? Multimedia Content Description Interface ? Part 1 Systems ? Part 2 Description Definition Language ? Part 3 Visual ? Part 4 Audio ? Part 5 Description Schemes ? Part 6 Reference Software ? Part 7 Conformance ? Part 8 Extraction and Use of MPEG7 Descriptions ? MPEG7的目標(biāo)是根據(jù)信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶(hù)對(duì)信息的需求。 ” 中間抽象層也可能存在。對(duì)于視覺(jué)信息，描述將包括顏色、視覺(jué)對(duì)象、紋理、草圖、形狀、體積、空間關(guān)系、運(yùn)動(dòng)及變形等。 ? 幾個(gè)查詢(xún)例子： 音樂(lè)：在鍵盤(pán)上彈幾個(gè)音符就能得到包含（或近似）要求曲調(diào)的音樂(lè)作品列表，或以某種方式匹配音符的圖像。 電影拍攝劇本（劇情說(shuō)明）：對(duì)給定的內(nèi)容，描述出動(dòng)作就會(huì)得到發(fā)生類(lèi)似動(dòng)作的電影拍攝劇本（劇情說(shuō)明）列表。 ? 在 MPEG7推薦的應(yīng)用中蘊(yùn)涵了許多值得研究的課題。 ? ITUT于 2022年 5月正式公布了該標(biāo)準(zhǔn)。 ? 容錯(cuò)能力強(qiáng)：提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯(cuò)誤的必要