【正文】 模擬信號(hào)（電影和錄音剪輯）；u可利用 7的描述來(lái)增強(qiáng)其他標(biāo)準(zhǔn)的內(nèi)容描述功能；u7與其他標(biāo)準(zhǔn)最大不同在于 7更注重于對(duì)人的自然本性的考慮；u7必須將許多相關(guān)領(lǐng)域的特點(diǎn)和技術(shù)結(jié)合起來(lái)，比如：計(jì)算機(jī)視覺(jué)、數(shù)據(jù)庫(kù)以及信號(hào)處理等。7的潛在應(yīng)用（ 檢索 /定位）：多媒體素材的存儲(chǔ)與調(diào)用 （過(guò)濾）：個(gè)性化電視服務(wù)7?基于內(nèi)容檢索系統(tǒng)的簡(jiǎn)單結(jié)構(gòu)媒體庫(kù) 特征庫(kù)特征抽取 檢索引擎管理端 用戶端數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)生成子系統(tǒng) 數(shù)據(jù)查詢子系統(tǒng)知識(shí)庫(kù)7按 7描述標(biāo)準(zhǔn)建立的 管理系統(tǒng)工作流程圖例讀入視頻資料鏡頭分割提取視頻資料及其關(guān)鍵幀的特征值將特征值按照7標(biāo)準(zhǔn)進(jìn)行描述將視頻資料及其描述信息存儲(chǔ)到視頻數(shù)據(jù)庫(kù)提取關(guān)鍵幀21u多媒體框架（ 18034）u標(biāo)準(zhǔn)的提出背景u隨著互連網(wǎng)的飛速發(fā)展，越來(lái)越多的設(shè)備通過(guò)互聯(lián)網(wǎng)的主干線、本地的寬帶或窄帶網(wǎng)、高速局域網(wǎng)或家庭網(wǎng)以及正在發(fā)展的無(wú)線網(wǎng)互連到一起，共享和交換信息；u多媒體內(nèi)容的產(chǎn)生和消費(fèi)不再是固定的，每個(gè)消費(fèi)終端都是多媒體的制作者和消費(fèi)者，多媒體數(shù)據(jù)將通過(guò)不同的用戶層和應(yīng)用范圍漫游。在多媒體數(shù)據(jù)的交換過(guò)程中，要處理和組成各種所需內(nèi)容，直到滿足各種消費(fèi)要求的問(wèn)題尚不能解決；21u怎樣能使這些無(wú)處不在的多媒體信息高效地、安全可靠地通過(guò)全球范圍的各種不同類型網(wǎng)絡(luò)和用戶設(shè)備漫游？是當(dāng)前流媒體安全發(fā)展中的一個(gè)挑戰(zhàn)性的問(wèn)題；u解決這個(gè)問(wèn)題需要綜合地利用不同層次的多媒體技術(shù)標(biāo)準(zhǔn)。現(xiàn)在的標(biāo)準(zhǔn)是否能真正做到匹配銜接？在各個(gè)標(biāo)準(zhǔn)之間是否存在缺漏？是否還需要一個(gè)綜合性的標(biāo)準(zhǔn)來(lái)加以協(xié)調(diào)？21u面對(duì)這些問(wèn)題，于 1999年 10月的墨爾本會(huì)議上提出了多媒體框架這一概念。 1999年 12月毛伊島會(huì)議上確定為 21。u主要研究目標(biāo)u討論是否需要和如何將這些不同的組件（協(xié)議、標(biāo)準(zhǔn)、技術(shù)等）有機(jī)的結(jié)合起來(lái)；u討論是否需要新的規(guī)范；u討論如果具備前兩個(gè)條件，如何將不同的標(biāo)準(zhǔn)集成在一起。21u21的范圍可描述成一些關(guān)鍵技術(shù)的集成，其功能包括：內(nèi)容表示、內(nèi)容創(chuàng)建、內(nèi)容發(fā)布、內(nèi)容消費(fèi)、內(nèi)容識(shí)別與描述、知識(shí)產(chǎn)權(quán)管理和保護(hù)、財(cái)政管理、用戶的隱私權(quán)、終端和網(wǎng)絡(luò)資源的內(nèi)容提取、事件報(bào)告等；21u21框架的基本要素u數(shù)字項(xiàng)目的發(fā)布（ ）u數(shù)字項(xiàng)目的識(shí)別與描述u內(nèi)容管理與使用u知識(shí)產(chǎn)權(quán)管理與保護(hù)u終端和網(wǎng)絡(luò)（ ） u內(nèi)容表示（ ）u事件報(bào)告（ ）2121的應(yīng)用和發(fā)展u有關(guān) 21的應(yīng)用主要參考會(huì)議產(chǎn)生的文檔 N3549，文中介紹了多方面應(yīng)用及舉例：u相冊(cè)管理；u數(shù)字圖書館；u醫(yī)學(xué)研究；u旅游；u家庭設(shè)計(jì)u網(wǎng)絡(luò)視音頻的廣播和點(diǎn)播等。u21的制定從 2023年 5月開始，計(jì)劃在 2023年 2月達(dá)到國(guó)際標(biāo)準(zhǔn)。u21標(biāo)準(zhǔn)的內(nèi)容非常豐富，許多內(nèi)容尚在制定中，如轉(zhuǎn)碼、擴(kuò)展的權(quán)力表達(dá)語(yǔ)言 — 等。21關(guān)鍵問(wèn)題u關(guān)鍵問(wèn)題u網(wǎng)絡(luò)傳送；u服務(wù)質(zhì)量和靈活性；u內(nèi)容展示的質(zhì)量；u內(nèi)容藝術(shù)性方面的質(zhì)量；u服務(wù)和設(shè)備的易用性；u物理媒體格式的互操作性；u付費(fèi) /訂購(gòu)模型；21關(guān)鍵問(wèn)題u多平臺(tái)的解碼和繪制；u內(nèi)容的過(guò)濾、定位、回放和存儲(chǔ)；u消費(fèi)者信息發(fā)布；u消費(fèi)者使用權(quán)限；u消費(fèi)者隱私保護(hù)。167。 視頻編碼和解碼一、標(biāo)準(zhǔn)簡(jiǎn)介 ( )是由國(guó)際標(biāo)準(zhǔn)化組織運(yùn)動(dòng)圖像專家組（ ）和國(guó)際電信聯(lián)盟視頻編碼專家組（ ）成立的聯(lián)合視頻工作組，致力于開發(fā)低比特率視頻標(biāo)準(zhǔn)；標(biāo)準(zhǔn)于 2023年推出 在中正式名稱為 4 10，稱之為 “ 14496 10 高級(jí)視頻編碼算法 ” （ 14496 10 ）167。 視頻編碼和解碼167。 視頻編碼和解碼二、檔次與等級(jí) 4:2:0格式的連續(xù)或隔行視頻的編解碼， 4:2:2和 4:4:4可作為額外的參考信息參數(shù)；根據(jù)應(yīng)用領(lǐng)域不同，制定了不同的算法集合和技術(shù)限定，共分為 3個(gè)檔次：基本檔、主檔和擴(kuò)展檔；在每一檔次設(shè)置了不同的參數(shù)，每個(gè)檔次下面又劃分為不同的等級(jí)；基本檔是擴(kuò)展檔的子集，但不是主檔的子集。167。 視頻編碼和解碼檔次 技術(shù)特點(diǎn) 典型應(yīng)用基本檔利用 I片和 P片支持幀內(nèi)和幀間編碼，支持利用基于上下文的自適應(yīng)變長(zhǎng)編碼進(jìn)行熵編碼；支持靈活的宏塊組織順序；片之間是相互獨(dú)立的可任意順序傳輸?shù)浇獯a端視頻會(huì)話、如會(huì)議電視、可視電話、遠(yuǎn)程醫(yī)療、遠(yuǎn)程教學(xué)等主檔支持隔行視頻，采用 B片的幀間編碼和加權(quán)預(yù)測(cè)的幀內(nèi)編碼；采用基于上下文的自適應(yīng)算數(shù)編碼消費(fèi)電子應(yīng)用，如數(shù)字電視廣播、數(shù)字視頻存儲(chǔ)等擴(kuò)展檔支持碼流之間的有效切換（和片）、改進(jìn)抗誤碼性能；不支持隔行視頻和基于上下文的自適應(yīng)算數(shù)編碼網(wǎng)絡(luò)視頻流，如視頻點(diǎn)播、流媒體等167。 視頻編碼和解碼：u上層為視頻編碼層；u底層為網(wǎng)絡(luò)抽象層。控制數(shù)據(jù) 視頻編碼層數(shù)據(jù)分割網(wǎng)絡(luò)適配層 MPEG4 編碼宏塊編碼片 /分區(qū)167。 視頻編碼和解碼u視頻編碼層負(fù)責(zé)完成高效率的視頻壓縮任務(wù)，網(wǎng)絡(luò)適配層將視頻編碼層從具體的傳輸層中抽象出來(lái)，負(fù)責(zé)解決網(wǎng)絡(luò)的適配問(wèn)題，即根據(jù)使用環(huán)境對(duì)不同網(wǎng)絡(luò)采用最為合適的方式對(duì)數(shù)據(jù)進(jìn)行打包和傳送，以使得碼流對(duì)各類信道都具有良好的適應(yīng)能力；u對(duì)上層，從視頻編碼層獲得數(shù)據(jù)，包括頭信息、視頻壓縮數(shù)據(jù)信息；u對(duì)下層，依據(jù)具體傳輸網(wǎng)絡(luò)的特性對(duì)數(shù)據(jù)進(jìn)行封裝，包括成幀、發(fā)送信號(hào)至邏輯信道、利用同步信息等，定義適合傳輸層或存儲(chǔ)介質(zhì)需要的數(shù)據(jù)格式，提供頭信息，將視頻編碼數(shù)據(jù)正確的映射到 、 ，從而提供視頻編碼層與外部世界的接口。167。 視頻編碼和解碼三、編 /解碼原理編碼原理仍然采用經(jīng)典的運(yùn)動(dòng)補(bǔ)償混合編碼算法；編碼圖像分為 3種： I幀、 P幀和 B幀；此外 ，用以實(shí)現(xiàn)不同的傳輸速率、不同圖像質(zhì)量碼流間的快速切換以及信息丟失的快速恢復(fù)等功能；，一個(gè)片由一系列按光柵掃描順序排列的宏塊構(gòu)成每片包含整數(shù)個(gè)宏塊或一幅圖像的全部宏塊。167。 視頻編碼和解碼u采用幀內(nèi)編碼時(shí)首先選擇相應(yīng)的幀內(nèi)預(yù)測(cè)模式進(jìn)行預(yù)測(cè)；u隨后對(duì)實(shí)際值和預(yù)測(cè)值之間的差值進(jìn)行變換、量化和熵編碼；u同時(shí)編碼后的碼流經(jīng)過(guò)反量化和反變換之后重構(gòu)預(yù)測(cè)殘差圖像，與預(yù)測(cè)值相加得出重構(gòu)幀，結(jié)果經(jīng)環(huán)路濾波器平滑后送入幀存儲(chǔ)器；u采用幀間編碼時(shí)首先在參考幀中進(jìn)行運(yùn)動(dòng)估計(jì)，之后的殘差圖像經(jīng)整數(shù)變換、量化和熵編碼后與運(yùn)動(dòng)矢量一起送入信道傳輸。167。 視頻編碼和解碼三、編 /解碼原理解碼原理u首先根據(jù)語(yǔ)法元素判斷：u為幀內(nèi)編碼直接進(jìn)行反量化、反變換重構(gòu)；u為幀間編碼得到的為殘差圖像，需要根據(jù)幀存儲(chǔ)器中的參考圖u 進(jìn)行運(yùn)動(dòng)補(bǔ)償后與殘差圖疊加。167。 視頻編碼和解碼四、關(guān)鍵技術(shù)，通過(guò)改善預(yù)測(cè)誤差而提高編碼效率；與 +和 4簡(jiǎn)單類相比，在視頻圖像質(zhì)量相同的情況下， 50%的碼率；167。 視頻編碼和解碼u采用的新型編碼技術(shù)主要包括如下：u采用 44像素塊的整數(shù)變換，運(yùn)算速度快，反變換過(guò)程中沒(méi)有匹配錯(cuò)誤問(wèn)題；u采用可變塊運(yùn)動(dòng)估計(jì) /運(yùn)動(dòng)補(bǔ)償技術(shù)，宏塊尺寸從1616,168,816,88,84,48,44像素塊中可選，采用尺寸可變塊的運(yùn)動(dòng)估計(jì)可以比單獨(dú) 1616宏塊的預(yù)測(cè)方法提高超過(guò) 15%的編碼率；u運(yùn)動(dòng)矢量的精度為 1/4或 1/8像素，編碼效率比整數(shù)精度的提高 20%；u采用多參考幀進(jìn)行幀間預(yù)測(cè)，可節(jié)省 5%～ 10%的傳輸碼率，且有利于碼流的錯(cuò)誤恢復(fù)；u采用空域幀內(nèi)預(yù)測(cè)技術(shù)，有效降低了 I幀編碼的比特率；u為消除塊效應(yīng)，采用基于 44塊邊界的去塊濾波器（環(huán)路濾波器），有效提高了圖像的主觀質(zhì)量；u采用通用可變長(zhǎng)編碼或基于上下文的自適應(yīng)二進(jìn)算術(shù)編碼提高 10%編碼率；u引入幀類型，有效提高碼流切換能力，對(duì)增強(qiáng)抗誤碼性也有一定優(yōu)勢(shì)。167。 視頻編碼和解碼整數(shù)變換算法以 44像素子塊為單位，在正反變換過(guò)程中只包含整數(shù)運(yùn)算，重要不同之處；整數(shù)變換算法由和聯(lián)合提出，采用了全新的變換核和量化公式；變換可通過(guò) 16位運(yùn)算實(shí)現(xiàn)，有效降低對(duì)存儲(chǔ)器的要求；簡(jiǎn)化了步驟在計(jì)算時(shí)只使用加法和移位運(yùn)算，無(wú)需使用乘法；使用這種算法做正反變換同樣是安全可逆的，不存在誤匹配問(wèn)題；對(duì)亮度分量和系數(shù)以及色度分量的系數(shù)使用 44的整數(shù)變換；對(duì)色度分量的系數(shù) 22整數(shù)變換。167。 視頻編碼和解碼u整數(shù)變換算法分析u由于采用更小的像素塊變換，比 88 變換的運(yùn)動(dòng)估計(jì)精度更高，且能降低塊效應(yīng)；u整數(shù)變換、量化計(jì)算及其逆過(guò)程可通過(guò)整數(shù)運(yùn)算實(shí)現(xiàn)，比原來(lái)浮點(diǎn)運(yùn)算能有效提高計(jì)算速度，也更有利于硬件實(shí)現(xiàn)實(shí)時(shí)系統(tǒng)；u整數(shù)變換運(yùn)算結(jié)果精確度高，且不存在浮點(diǎn)運(yùn)算及取整，可有效避免反變換誤匹配問(wèn)題；u尺度運(yùn)算結(jié)合到量化過(guò)程中，進(jìn)一步降低整數(shù)變換的復(fù)雜度；u新的 16整數(shù)變換更簡(jiǎn)潔，無(wú)需使用乘法；減少變換后的動(dòng)態(tài)范圍，降低了對(duì)存儲(chǔ)器和處理器的要求；u通過(guò)采用 “ 分層 ” 變換方案，能進(jìn)一步降低變換后的系數(shù)之間的相關(guān)性。變換后量化步長(zhǎng)的變化幅度控制在 %左右，不以固定增幅變化。對(duì)色度系數(shù)采用較小量化步長(zhǎng)，使色度分量更為逼真。167。 視頻編碼和解碼幀內(nèi)預(yù)測(cè)技術(shù)子塊內(nèi)部和子塊之間的像素具有空間冗余性；自然場(chǎng)景圖像中的前景和背景通常具有一定的紋理特性，按其方向性可分為水平紋理、垂直紋理和傾斜紋理等；—— 為空域的幀內(nèi)預(yù)測(cè)創(chuàng)造了條件1/2幀內(nèi)編碼采用、量化和熵編碼；+和 4中 I幀采用基于頻域的幀內(nèi)預(yù)測(cè)；，對(duì)于每個(gè) 44塊每個(gè)像素可用 17個(gè)最接近的先前已編碼像素的不同加權(quán)和來(lái)預(yù)測(cè)。（兩種預(yù)測(cè)模式）和色度分量（一種預(yù)測(cè)模式）設(shè)定不同預(yù)測(cè)方案，獨(dú)立實(shí)施預(yù)測(cè)。各預(yù)測(cè)模式中詳細(xì)定義了多種預(yù)測(cè)選項(xiàng)適應(yīng)不同紋理特性的圖像子塊。167。 視頻編碼和解碼u44塊亮度分量預(yù)測(cè)模式：共 9種167。 視頻編碼和解碼167。 視頻編碼和解碼167。 視頻編碼和解碼幀編碼為了適應(yīng)視頻碼流帶寬自適應(yīng)特性和抗誤碼性能要求，在擴(kuò)展檔次中定義了兩種新的幀類型：幀 (P)和幀(P)；幀特有的編碼方法使壓縮碼流能在不插入 I幀的情況下同樣實(shí)現(xiàn)碼流的隨機(jī)切換功能；幀可在諸如碼流拼接、隨機(jī)接入、快進(jìn) /快退等應(yīng)用中取代 I幀，獲得比 I幀更高的編碼效率；對(duì)于多參考幀模式下幀能采用統(tǒng)一的重建過(guò)程，更利于碼流錯(cuò)誤恢復(fù)和隱藏；通過(guò)使用幀，能非常好的適應(yīng)視頻數(shù)據(jù)在各種傳輸環(huán)境下的應(yīng)用，如視頻監(jiān)視器之間快速切換、廣播電視插播、網(wǎng)絡(luò)錯(cuò)誤重發(fā)等。167。 視頻編碼和解碼A0 A1 A2 A3 A4P拼接 碼流 AB0 B1 B2 B3 B4切換點(diǎn)碼流 BP拼接P拼接 I拼接使用 I幀進(jìn)行視頻流的切換過(guò)程碼流切換167。 視頻編碼和解碼A0 A1 A2 A3 A4P拼接 碼流 AB0 B1 B2 B3 B4切換點(diǎn)碼流 BP拼接P拼接 I拼接使用幀進(jìn)行視頻流的切換過(guò)程2167。 視頻編碼和解碼A0 A1 A2 A3 A4幀 碼流 AB0 B1 B2 B3 B4切換點(diǎn)碼流 BP幀使用幀實(shí)現(xiàn)視頻流的拼接碼流拼接 P幀P幀幀不使用運(yùn)動(dòng)補(bǔ)償，所以適合于兩種序列之間沒(méi)有相關(guān)性167。 視頻編碼和解碼A0 A10P9 A11P幀A1～ A10幀使用幀實(shí)現(xiàn)快進(jìn)功能隨機(jī)接入....幀幀不需要像 I幀那樣包含在碼流中，僅在快進(jìn) /快退時(shí)傳輸167。 視頻編碼和解碼u編碼原理u幀編碼類似于 P幀，不同在于幀編碼允許在使用不同參考幀圖像的情況下重建相同的幀，在許多應(yīng)用中可以取代 I幀，大大降低碼率開銷；u幀編碼類似于 I幀，使用 44 的幀內(nèi)預(yù)測(cè)算法對(duì)以前的解碼樣本進(jìn)行預(yù)測(cè)，能夠同樣重構(gòu)一個(gè)對(duì)應(yīng)的幀。167。 視頻編碼和解碼去塊濾波器（ ）緩解塊效應(yīng)，盡可能保持圖像邊緣；視頻編碼中所使用濾波器分兩種：后處理濾波器 ()、回路濾波器 ()；后處理濾波器只對(duì)緩沖區(qū)內(nèi)輸出的圖像處理，而去塊濾波器位于編碼器的運(yùn)動(dòng)估計(jì) /運(yùn)動(dòng)補(bǔ)償回路中，重構(gòu)幀必須經(jīng)過(guò)濾波才可存入幀存儲(chǔ)器作為參考幀，因此此處的自適應(yīng)去塊濾波器是回路濾波器；167。 視頻編碼和解碼u自適應(yīng)濾波基本思想是使用邊界強(qiáng)度自適應(yīng)地判定是否需要濾波，若檢測(cè)到的圖像塊的邊緣采樣點(diǎn)之間具有較大的絕對(duì)差，需進(jìn)行平滑處理；但如果此絕對(duì)差非常大，可能是圖像真實(shí)信息，需保持；u運(yùn)算量大，占到編碼器總運(yùn)算量的 1/3左右，如何降低濾波器復(fù)雜度是亟待解決的問(wèn)題。精品資料網(wǎng)（ 2023年，專注于企業(yè)管理培訓(xùn)。提供 60萬(wàn)企業(yè)管理資料下載，詳情查看： 提供 5萬(wàn)集管理視頻課程下載，詳情查看： 提供 2萬(wàn) GB高清管理視頻課程硬盤拷貝，詳情查看： 2萬(wàn) GB高清管理視頻課程目錄下載： 高清課程可提供免費(fèi)體驗(yàn)，如有需要請(qǐng)于我們聯(lián)系。咨詢電話： 02039603888值班手機(jī)： 13726708999網(wǎng)站網(wǎng)址： 在線文檔： 謝 謝二月 2121:17:1521:1721:17二月 21二月 2121:17 21:1721:17:15二月 21二月2121:17:162023/2/16 21:17:16? 靜夜四無(wú) 鄰 ，荒居舊 業(yè)貧 。 二月 21二月 21Tuesday, February 16, 2023? 雨中黃葉 樹 ，燈下白 頭 人。 21:17:1621:17:1621:172/16/2023 9:17:16 PM? 1以我獨(dú)沈