【正文】 2:0子采樣格式的圖像質(zhì)量還不夠好，因此在 1996年的標(biāo)準(zhǔn)中增加了 4:2:2子采樣格式的圖像。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年③ Audio，規(guī)定聲音數(shù)據(jù)的編碼和解碼，是 MPEG1138183： 1998technologyGenericofpicturesassociatedinformationPart④ ConformanceDISInformation—codingmovingandaudio—4 ： Conformance⑤ SoftwareTRInformation—codingmovingandaudio—5 ： Software中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年⑥ ExtensionsDSMCC，標(biāo)準(zhǔn)名是 ISO/IEC138186technologyGenericofpicturesassociatedinformationPartforStorageCommandControl， DSMCC)擴(kuò)展協(xié)議，用于管理 MPEG1和 MPEG2的數(shù)據(jù)流，使數(shù)據(jù)流既可在單機(jī)上運(yùn)行，又可在異構(gòu)網(wǎng)絡(luò) (即用類(lèi)似設(shè)備構(gòu)造但運(yùn)行不同協(xié)議的網(wǎng)絡(luò) )環(huán)境下運(yùn)行。在 DSMCC模型中，服務(wù)器 (server)和客戶器 (client)都被認(rèn)為是 DSMCC網(wǎng)絡(luò)的用戶 (user)， DSMCC定義了一個(gè)稱(chēng)為會(huì)話和資源管理 (SessionResourceDSMCC參考模型 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年⑦ MPEG2先進(jìn)聲音編碼，寫(xiě)成 MPEG2這個(gè)標(biāo)準(zhǔn)除后向兼容 MPEG1標(biāo)準(zhǔn)名是 ISO/IECInformation—codingmovingandaudio—7： AdvancedCoding⑧ 138189： 1996technologyGenericofpicturesassociatedinformationPartfortimefordecoders。Stream)的實(shí)時(shí)接口 (realtime實(shí)時(shí)接口參考模型 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年⑨ DSMCC一致性擴(kuò)展測(cè)試，標(biāo)準(zhǔn)名是 ISO/IEC1381810technologyGenericofpicturesassociatedinformationPartextensionsDigitalMediaand(DSMCC)。1ISO/IEC138185： 19971ISO/IEC138185：1997Audio(AAA)。8原計(jì)劃用于采樣精度為 10比特的電視圖像編碼，但由于目前工業(yè)界對(duì)此興趣不大，因此該標(biāo)準(zhǔn)已暫停開(kāi)發(fā)。標(biāo)準(zhǔn)概要 ? MPEG4的目標(biāo)是要在異構(gòu)網(wǎng)絡(luò)環(huán)境下能夠高度可靠地工作，并且具有很強(qiáng)的交互功能。representation)的概念，用來(lái)表達(dá)視聽(tīng)對(duì)象 (audio/visualHybridMPEG4系統(tǒng)構(gòu)造如圖 805所示，接收端的構(gòu)造部件如圖 806所示。MultimediaFramework， DMIF)的會(huì)話協(xié)議，它用來(lái)管理多媒體數(shù)據(jù)流。Transfer? DMIF覆蓋了三種主要技術(shù)：– 廣播技術(shù)，– 交互網(wǎng)絡(luò)技術(shù)– 光盤(pán)技術(shù)，如圖所示。DMIF覆蓋的三種主要技術(shù) 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? MPEG4將應(yīng)用在移動(dòng)通信和公用電話交換網(wǎng) (publictelephon)、電子報(bào)紙(electronic中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG4的標(biāo)準(zhǔn)名是 Verylowaudiovisual(甚低速率視聽(tīng)編碼 )。InternationalMPEG4系統(tǒng)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是 ISO/IEC144961bitratecodingPartSystems 。MPEG4電視圖像標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是 ISO/IEC144962lowaudiovisual—2:③ DISVerybitratecodingPartAudio 。MPEG4一致性測(cè)試標(biāo)準(zhǔn)，標(biāo)準(zhǔn)名是 ISO/IEC144964bitratecodingPartConformance⑤ DISVerylowaudiovisual—5:software⑥ DISVerylowaudiovisual—6:MultimediaFramework中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG7多媒體內(nèi)容描述接口 ContentInterface)– 這些媒體材料可包括靜態(tài)圖像、圖形、 3D模型、聲音、話音、電視以及在多媒體演示中它們之間的組合關(guān)系。? 與其他的 MPEG標(biāo)準(zhǔn)一樣， MPEG7是為滿足特定需求而制定的視聽(tīng)信息標(biāo)準(zhǔn)。MPEG1,– 在 MPEG7中，例如 MPEG4中使用的形狀描述符、 MPEG1和MPEG2中使用的移動(dòng)矢量 (motion中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? 圖 808表示了 MPEG7的處理鏈 (processing在這個(gè)處理鏈中包含有三個(gè)方框：– 特征抽取 (featuredescription)– 檢索工具 (search? 特征的自動(dòng)分析和抽取對(duì) MPEG7是至關(guān)重要的，抽象程度越高，自動(dòng)抽取也越困難，而且不是都能夠自動(dòng)抽取的，因此開(kāi)發(fā)自動(dòng)的和交互式半自動(dòng)抽取的算法和工具都是很有用的。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG7的應(yīng)用領(lǐng)域? 數(shù)字圖書(shū)館 (Digitaldirectorypages)；? 廣播媒體的選擇，– 例如無(wú)線電頻道， TV頻道等；? 多媒體編輯，– 例如個(gè)人電子新聞服務(wù)，多媒體創(chuàng)作等等。 ? 與前面章節(jié)介紹的波形聲音壓縮編碼 (如ADPCM)和參數(shù)編碼 (如 LPC)不同， MPEG1和MPEG2的聲音數(shù)據(jù)壓縮編碼不是依據(jù)波形本身的相關(guān)性和模擬人的發(fā)音器官的特性，而是利用人的聽(tīng)覺(jué)系統(tǒng)的特性來(lái)達(dá)到壓縮聲音數(shù)據(jù)的目的，這種壓縮編碼稱(chēng)為感知聲音編碼(perceptualcoding)。Audio,Audio和 MPEG2 Audio壓縮編碼算法中的三個(gè)特性：– 響度、– 音高– 掩蔽效應(yīng)。? 聲音的響度就是聲音的強(qiáng)弱。– 在心理上，主觀感覺(jué)的聲音強(qiáng)弱使用響度級(jí) “方(phon)”或者 “宋 (sone)”來(lái)度量。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG聲音? 當(dāng)聲音弱到人的耳朵剛剛可以聽(tīng)見(jiàn)時(shí)，我們稱(chēng)此時(shí)的聲音強(qiáng)度為 “聽(tīng)閾 ”。kHz純音的聲強(qiáng)達(dá)到 1016w/cm2(定義成零 dB聲強(qiáng)級(jí) )時(shí)，人耳剛能聽(tīng)到，此時(shí)的主觀響度級(jí)定為零方。測(cè)出的 “聽(tīng)閾 — 頻率 ”曲線如圖 901所示。? 另一種極端的情況是聲音強(qiáng)到使人耳感到疼痛。kHz的純音的聲強(qiáng)級(jí)達(dá)到 120對(duì)不同的頻率進(jìn)行測(cè)量，可以得到 “痛閾 — 頻率 ”曲線，如圖 901中最靠上面所示的一根曲線。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG聲音? 在 “聽(tīng)閾 — 頻率 ”曲線和 “痛閾 — 頻率 ”曲線之間的區(qū)域就是人耳的聽(tīng)覺(jué)范圍。由圖 901可以看出， 1dB的聲音和 200dB的聲音，在人耳聽(tīng)起來(lái)具有相同的響度。kHz～ 4而在低頻區(qū)和高頻區(qū)，能被人耳聽(tīng)到的信號(hào)幅度要高得多。? 客觀上用頻率來(lái)表示聲音的音高，其單位是 Hz。的單位為 Hz，這也是兩個(gè)既不相同又有聯(lián)系的單位。? 人耳對(duì)響度的感覺(jué)有一個(gè)范圍，即從聽(tīng)閾到痛閾。人耳可以聽(tīng)到的最低頻率約 20Hz。kHz純音為基準(zhǔn)一樣，在測(cè)量音高時(shí)則以40中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG聲音? 測(cè)量主觀音高時(shí)，讓實(shí)驗(yàn)者聽(tīng)兩個(gè)聲強(qiáng)級(jí)為 40實(shí)驗(yàn)表明，音高與頻率之間也不是線性關(guān)系。 ? 一種頻率的聲音阻礙聽(tīng)覺(jué)系統(tǒng)感受另一種頻率的聲音的現(xiàn)象稱(chēng)為掩蔽效應(yīng)。tone)，– 后者稱(chēng)為被掩蔽聲音 (masked? 掩蔽可分成頻域掩蔽和時(shí)域掩蔽。masking)。– 如圖 903所示，一個(gè)聲強(qiáng)為 60Hz的純音，另外還有一個(gè) 1100dB，在這種情況下我們的耳朵就只能聽(tīng)到那個(gè) 1000如果有一個(gè) 1000dB的 2023要想讓 2023Hz的純音低 45一般來(lái)說(shuō)，弱純音離強(qiáng)純音越近就越容易被掩蔽。Hz、 1kHz和 8dB。Hz、 1kHz和 8不同純音的掩蔽效應(yīng)曲線 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年由于聲音頻率與掩蔽曲線不是線性關(guān)系，為從感知上來(lái)統(tǒng)一度量聲音頻率，引入了 “臨界頻帶 (critical band)”的概念。臨界頻帶的單位叫 Bark(巴克 )中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG聲音? 時(shí)域掩蔽 ? 時(shí)域掩蔽又分為超前掩蔽 (premasking)和滯后掩蔽 (postmasking)，如圖所示。一般來(lái)說(shuō)，超前掩蔽很短，只有大約 5～ 20ms。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG? MPEGAudio、 MPEG2AAC，它們處理 10Hz范圍里的聲音數(shù)據(jù)。model)”來(lái)達(dá)到壓縮聲音數(shù)據(jù)的目的。Audio與感知特性 – 聽(tīng)覺(jué)閾值的大小隨聲音頻率的改變而改變，各個(gè)人的聽(tīng)覺(jué)閾值也不同。kHz～ 5– 一個(gè)人是否能聽(tīng)到聲音取決于聲音的頻率，以及聲音的幅度是否高于這種頻率下的聽(tīng)覺(jué)閾值。– 例如，同時(shí)有兩種頻率的聲音存在，一種是 1000Hz的聲音，但它的強(qiáng)度比前者低 18分貝，在這種情況下，1100– 也許你有這樣的體驗(yàn)，在一安靜房間里的普通談話可以聽(tīng)得很清楚，但在播放搖滾樂(lè)的環(huán)境下同樣的普通談話就聽(tīng)不清楚了。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1? 聲音的數(shù)據(jù)量由兩方面決定：– 采樣頻率和樣本精度。x要減小數(shù)據(jù)量，就需要降低采樣頻率或者降低樣本精度。Hz～ 20根據(jù)奈奎斯特理論，要想不失真地重構(gòu)信號(hào)，采樣頻率不能低于 40– 再考慮到實(shí)際中使用的濾波器都不可能是理想濾波器，以及考慮各國(guó)所用的交流電源的頻率，為保證聲音頻帶的寬度，所以采樣頻率一般不能低于 – 這樣，壓縮就必須從降低樣本精度這個(gè)角度出發(fā)，即減少每位樣本所需要的位數(shù)。Audiopredictivespecific? MPEG1和 MPEG2的聲音壓縮采用了另一種方法，稱(chēng)為子帶編碼 (subband– 與音源特定編碼法不同， SBC不局限于只對(duì)話音進(jìn)行編碼，也不局限于哪一種聲源。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1? MPEG聲音數(shù)據(jù)壓縮的基礎(chǔ)是量化。在 MPEG標(biāo)準(zhǔn)的制定過(guò)程中， MPEGAudio委員會(huì)作了大量的主觀測(cè)試實(shí)驗(yàn)。kHz、樣本精度為 16比特的聲音數(shù)據(jù)壓縮到 256? MPEG– 聲音數(shù)據(jù)壓縮算法的根據(jù)是心理聲學(xué)模型，心理聲學(xué)模型中一個(gè)最基本的概念是聽(tīng)覺(jué)系統(tǒng)中存在一個(gè)聽(tīng)覺(jué)閾值電平，低于這個(gè)電平的聲音信號(hào)就聽(tīng)不到。大多數(shù)人的聽(tīng)覺(jué)系統(tǒng)對(duì) 2kHz之間的聲音最敏感。中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年MPEG1? 心理聲學(xué)模型中的另一個(gè)概念是聽(tīng)覺(jué)掩飾特性，意思是聽(tīng)覺(jué)閾值電平是自適應(yīng)的，即聽(tīng)覺(jué)閾值電平會(huì)隨聽(tīng)到的頻率不同的聲音而發(fā)生變化。聲音壓縮算法也同樣可以確立這種特性的模型，根據(jù)這個(gè)模型可取消冗余的聲音數(shù)據(jù)。Audio的壓縮算法框圖如圖所示。111723)壓縮算法是世界上第一個(gè)高保真聲音數(shù)據(jù)壓縮國(guó)際標(biāo)準(zhǔn)，并且得到了極其廣泛的應(yīng)用。? MPEG1聲音標(biāo)準(zhǔn)的主要性能如下： (1) 48kb/s～ 384MPEG編碼器的輸入 /輸出 中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年(2)1)、層 2(Layer3)，用戶對(duì)層次的選擇可在復(fù)雜性和聲音質(zhì)量之間進(jìn)行權(quán)衡。– 層 1的編碼器最為簡(jiǎn)單，編碼器的輸出數(shù)據(jù)率為 384pact– 層 2的編碼器的復(fù)雜程度屬中等，編碼器的輸出數(shù)據(jù)率為 256kb/s，其應(yīng)用包括數(shù)字廣播聲音 (digitalaudio， DBA)、數(shù)字音樂(lè)、 CDI(pactpact– 層 3的編碼器最為復(fù)雜，編碼器的輸出數(shù)據(jù)率為 64中山大學(xué)信息科學(xué)與技術(shù)學(xué)院 , 黃劍多媒體技術(shù)基礎(chǔ) ,2023年? 在盡可能保持 CD音質(zhì)為前提的條件下， MPEG聲音標(biāo)準(zhǔn)一般所能達(dá)到的壓縮率如表 902所示，從編碼器的輸入到輸出的延遲時(shí)間如表 903所示?？深A(yù)先定義壓縮后的數(shù)據(jù)率，如表 904所示。(4)redundancy(5) ? MPEG1使用子帶編碼來(lái)達(dá)到既壓縮聲音數(shù)據(jù)又盡可能保留聲音原有質(zhì)量的目的。– SBC的基本想法就是在編碼過(guò)程中保留信號(hào)的帶寬而扔掉被掩蔽的信號(hào)，其結(jié)果是編碼之后還原的聲音，也就是解碼或者叫做重構(gòu)的聲音信號(hào)與編碼