【正文】 f e ct i v e p re d i ct i o n b e t w e e n vi e w s f o r h i g h c o mp re ssi o n p e rf o rma n c eExisting 3DV Coding Formats 現(xiàn)有三維視頻編碼的各種格式 ? Pack pixels from left and right views into a single frame (loss of resolution) 把來(lái)自左視和右視的各像素，拼接進(jìn)單個(gè)圖像幀（分辨率下降） ? Leverage existing infrastructure and equipment, only require additional signaling to deinterleave frame 權(quán)衡現(xiàn)有的基礎(chǔ)設(shè)施，并只需對(duì)圖像幀增加 “去交織” 信令 ? Embraced by broadcasters for first phase of 3D broadcast services 在 3D 電視廣播的第一階段受到廣播業(yè)者歡迎 ? Fullresolution coding of stereo and MV video as extension of AVC 雙視和多視的視頻之全分辨率編碼是 AVC 的擴(kuò)展 ? High coding efficiency achieved via interview prediction techniques 通過(guò)視間預(yù)測(cè)技術(shù)獲得更高的編碼效率 ? 2D patibility supported能夠兼容二維 (2D) 電視 ? Adopted as format for 3D Bluray Disc 已采納為 3D 藍(lán)光盤的格式 ? Being considered for second phase of broadcast standards 正在考慮用于各廣播標(biāo)準(zhǔn)的第 2 階段 2023/05/08 MPEG for the past, present and future of TV 22 Left 左 Right 右 左視 右視 視間的高效預(yù)測(cè)用于高壓縮性能 Targets of Future 3DV Format 未來(lái)三維視頻格式的各種目標(biāo) 2023/05/08 MPEG for the past, present and future of TV 23 Da ta Fo rm a tDa ta Fo rm a tCons tra in e d Ra te(b a se d o n di str ib u tion)Li m itedCa m e ra In pu ts? Wid e vie w i n g a n g l e? L a rg e nu m b e r o f o u tpu t vie w sLeftRightA u to s te re oscop icN v i e w d ispla y sSte re osc op ic display s? Va ria b l e stereo ba se l in e? Ad ju st de p th p e rce p tion 受限的 攝像機(jī)輸入 數(shù)據(jù)格式 受約束的比特率 （基于分發(fā)） 數(shù)據(jù)格式 左 右 各種雙目立體顯示器 ? 立體視基線可變 ? 調(diào)節(jié)深度感知 自動(dòng)立體的 N 視顯示器 ? 寬視角 ? 大量的各種輸出視圖 3DV Reference Framework 三維視頻參考框架 Limited Video Inputs (., 2 or 3 views) Depth Estimation Video/Depth Encoder Decoder and View Synthesis Larger Output Views Binary Representation Reconstruction Process 二進(jìn)制表達(dá)和重建過(guò)程 + 1010001010001 24 2023/05/08 MPEG for the past, present and future of TV 受限數(shù)量 的 視 頻輸入 (例如 2 或 3 個(gè)視角 ) 深度估計(jì) 視頻 /深度編碼器 解碼器和視圖合成 大于 的 輸出視 Overview of Call For Proposals 提案征集書的概述 ? Test Material Conditions 測(cè)試素材及條件 ? 8 test sequences (1920x1080 1024x768) 8 個(gè)測(cè)試序列 ? 4 target bit rates per sequence 每個(gè)序列有 4 個(gè)目標(biāo)比特率 ? 2view and 3view test scenarios 2視角和 3視角的測(cè)試場(chǎng)景 ? AVC and HEVC patible test categories 與 AVC 和 HEVC 兼容的各種測(cè)試類別 ? 23 responses (12 AVC + 11 HEVC) 23 個(gè)響應(yīng) [提案 ] ? Evaluation in Nov 2023 2023 年 11 月的評(píng)估 ? Objective quality (PSNR of synthesized views) 客觀質(zhì)量（各種合成視的 PSNR） ? Subjective assessment (stereo and autostereo) 主觀評(píng)分（雙目立體和自動(dòng)立體） 2023/05/08 MPEG for the past, present and future of TV 25 3DV Testing Scenarios 三維視頻的測(cè)試場(chǎng)景 2023/05/08 MPEG for the past, present and future of TV 26 Le ftRi gh tCent erDept h E stimatio n3D V ide o Cod ecMu ltivie w Ren de ri ngvi rtu al vi ewsOutp ut t oAuto Ste re o N vi ew Disp la y Le ftR ig htDep th E stim atio n3D V id e o Cod ecMu lti vie w Ren de ri ngvirtu al viewOut p ut t oSter e o Displa y2view Configuration 2視配置 3view Configuration 3視配置 左 右 深度估計(jì) 三維視頻編碼器 多視演奏 虛擬視 輸出至 立體顯示器 輸出至 自動(dòng)立體 N視顯示器 中 Tool Categories 工具的分類 ? Texture coding 紋理編碼 ? Independent of depth 不依賴于深度 ? ., interview prediction of color view, interview prediction of motion parameters and residual data 例如，彩色視的視間預(yù)測(cè)，運(yùn)動(dòng)參數(shù)和殘差數(shù)據(jù)之間的視間預(yù)測(cè) ? Using depth data 利用深度數(shù)據(jù) ? ., view synthesis prediction, motion prediction 例如，視圖合成的預(yù)測(cè)，運(yùn)動(dòng)預(yù)測(cè) ? Depth coding 深度編碼 ? Independent of texture 不依賴于紋理 ? ., depth modeling modes, weighted prediction, reduced resolution coding 例如，深度建模的各種模式，加權(quán)預(yù)測(cè)，降低分辨率編碼 ? Using texture data 利用紋理數(shù)據(jù) ? ., motion parameter inheritance, intra prediction 例如，運(yùn)動(dòng)參數(shù)的繼承，幀內(nèi)預(yù)測(cè) 2023/05/08 MPEG for the past, present and future of TV 27 3DV Current Status 三維視頻的現(xiàn)狀 ? Extensive subjective evaluation of 20+ proposals to the 3DV CfP 對(duì) 3DV 征集提案的 20 多個(gè)提案之廣泛主觀評(píng)估 ? Considered both AVC and HEVC patible 考慮同 AVC 和 HEVC 的兼容性 ? Many new coding tools proposed for MV texture and depth coding 已提出多視紋理和深度的多種新編碼工具 ? Substantial rate savings pared to capabilities of existing standards 與現(xiàn)存標(biāo)準(zhǔn)的各種可能性相比，可顯著節(jié)省比特率 ? AVC and HEVC extensions standardisation under way AVC 和 HEVC 的擴(kuò)展之標(biāo)準(zhǔn)化正在進(jìn)行 ? Add support for depth 增加對(duì)深度的支持 ? New AVCbased coding tools 新的基于 AVC 的編碼工具 ? MV extensions of HEVC HEVC 對(duì)多視的擴(kuò)展 ? Hybrid architectures 混合結(jié)構(gòu) 2023/05/08 MPEG for the past, present and future of TV 28 R3 的特例 R1 建議的最佳性能 Hybrid Architectures 各種混合結(jié)構(gòu) ? From a pure pression efficiency point of view, it is always best to use the most advanced codec 從純壓縮效率的觀點(diǎn)來(lái)看，采用最先進(jìn)的編碼器總是最佳選擇 ? However, when introducing new services, providers must also consider capabilities of existing receivers and transition plan 然而，在引進(jìn)各種新服務(wù)時(shí)，服務(wù)提供者還必須考慮現(xiàn)存接收機(jī)和過(guò)渡計(jì)劃的各種可能性 ? Use Case: 示例 ? Many terrestrial broadcast systems based on MPEG2 很多地面廣播系統(tǒng)基于 MPEG2 ? US cable systems based on mix of MPEG2 and AVC 美國(guó)有線系統(tǒng)基于 MPEG2 和 AVC 的混合 ? May not be easy to simply switch codecs in near term 在近期簡(jiǎn)單切換編碼器并不容易 2023/05/08 MPEG for the past, present and future of TV 29 Multiview Extensions of HEVC HEVC 的多視擴(kuò)展 ? HEVC Stereo/MV extensions being considered 已考慮 HEVC 雙目立體 /多視的各種擴(kuò)展 ? Extensions expected to be pleted approximately 12 months after the base specification, ., Jan 2023