【正文】 Views Binary Representation Reconstruction Process 二進(jìn)制表達(dá)和重建過程 + 1010001010001 24 2023/05/08 MPEG for the past, present and future of TV 受限數(shù)量 的 視 頻輸入 (例如 2 或 3 個視角 ) 深度估計 視頻 /深度編碼器 解碼器和視圖合成 大于 的 輸出視 Overview of Call For Proposals 提案征集書的概述 ? Test Material Conditions 測試素材及條件 ? 8 test sequences (1920x1080 1024x768) 8 個測試序列 ? 4 target bit rates per sequence 每個序列有 4 個目標(biāo)比特率 ? 2view and 3view test scenarios 2視角和 3視角的測試場景 ? AVC and HEVC patible test categories 與 AVC 和 HEVC 兼容的各種測試類別 ? 23 responses (12 AVC + 11 HEVC) 23 個響應(yīng) [提案 ] ? Evaluation in Nov 2023 2023 年 11 月的評估 ? Objective quality (PSNR of synthesized views) 客觀質(zhì)量（各種合成視的 PSNR） ? Subjective assessment (stereo and autostereo) 主觀評分（雙目立體和自動立體） 2023/05/08 MPEG for the past, present and future of TV 25 3DV Testing Scenarios 三維視頻的測試場景 2023/05/08 MPEG for the past, present and future of TV 26 Le ftRi gh tCent erDept h E stimatio n3D V ide o Cod ecMu ltivie w Ren de ri ngvi rtu al vi ewsOutp ut t oAuto Ste re o N vi ew Disp la y Le ftR ig htDep th E stim atio n3D V id e o Cod ecMu lti vie w Ren de ri ngvirtu al viewOut p ut t oSter e o Displa y2view Configuration 2視配置 3view Configuration 3視配置 左 右 深度估計 三維視頻編碼器 多視演奏 虛擬視 輸出至 立體顯示器 輸出至 自動立體 N視顯示器 中 Tool Categories 工具的分類 ? Texture coding 紋理編碼 ? Independent of depth 不依賴于深度 ? ., interview prediction of color view, interview prediction of motion parameters and residual data 例如，彩色視的視間預(yù)測，運(yùn)動參數(shù)和殘差數(shù)據(jù)之間的視間預(yù)測 ? Using depth data 利用深度數(shù)據(jù) ? ., view synthesis prediction, motion prediction 例如，視圖合成的預(yù)測，運(yùn)動預(yù)測 ? Depth coding 深度編碼 ? Independent of texture 不依賴于紋理 ? ., depth modeling modes, weighted prediction, reduced resolution coding 例如，深度建模的各種模式，加權(quán)預(yù)測，降低分辨率編碼 ? Using texture data 利用紋理數(shù)據(jù) ? ., motion parameter inheritance, intra prediction 例如，運(yùn)動參數(shù)的繼承，幀內(nèi)預(yù)測 2023/05/08 MPEG for the past, present and future of TV 27 3DV Current Status 三維視頻的現(xiàn)狀 ? Extensive subjective evaluation of 20+ proposals to the 3DV CfP 對 3DV 征集提案的 20 多個提案之廣泛主觀評估 ? Considered both AVC and HEVC patible 考慮同 AVC 和 HEVC 的兼容性 ? Many new coding tools proposed for MV texture and depth coding 已提出多視紋理和深度的多種新編碼工具 ? Substantial rate savings pared to capabilities of existing standards 與現(xiàn)存標(biāo)準(zhǔn)的各種可能性相比，可顯著節(jié)省比特率 ? AVC and HEVC extensions standardisation under way AVC 和 HEVC 的擴(kuò)展之標(biāo)準(zhǔn)化正在進(jìn)行 ? Add support for depth 增加對深度的支持 ? New AVCbased coding tools 新的基于 AVC 的編碼工具 ? MV extensions of HEVC HEVC 對多視的擴(kuò)展 ? Hybrid architectures 混合結(jié)構(gòu) 2023/05/08 MPEG for the past, present and future of TV 28 R3 的特例 R1 建議的最佳性能 Hybrid Architectures 各種混合結(jié)構(gòu) ? From a pure pression efficiency point of view, it is always best to use the most advanced codec 從純壓縮效率的觀點(diǎn)來看，采用最先進(jìn)的編碼器總是最佳選擇 ? However, when introducing new services, providers must also consider capabilities of existing receivers and transition plan 然而，在引進(jìn)各種新服務(wù)時，服務(wù)提供者還必須考慮現(xiàn)存接收機(jī)和過渡計劃的各種可能性 ? Use Case: 示例 ? Many terrestrial broadcast systems based on MPEG2 很多地面廣播系統(tǒng)基于 MPEG2 ? US cable systems based on mix of MPEG2 and AVC 美國有線系統(tǒng)基于 MPEG2 和 AVC 的混合 ? May not be easy to simply switch codecs in near term 在近期簡單切換編碼器并不容易 2023/05/08 MPEG for the past, present and future of TV 29 Multiview Extensions of HEVC HEVC 的多視擴(kuò)展 ? HEVC Stereo/MV extensions being considered 已考慮 HEVC 雙目立體 /多視的各種擴(kuò)展 ? Extensions expected to be pleted approximately 12 months after the base specification, ., Jan 2023 這些擴(kuò)展預(yù)期在基本規(guī)范確定后約 12 個月完成，即 2023 年 1 月 ? Reportedly simple extensions of HEVC can achieve 3040% bit rate reduction pared to HEVC simulcast 已有報告：對 HEVC 的簡單擴(kuò)展與 HEVC 同播相比，可使比特率下降 3040 % ? Further gains expected if blocklevel changes to codec are considered 如果對編碼器考慮圖像塊級的各種變更，預(yù)期可獲得更多的增益 2023/05/08 MPEG for the past, present and future of TV 30 MPEGH part 3: 3D Audio MPEGH 第 3 部分：三維音頻 ? Well, there is no Systems and Video without Audio? 好，沒有不帶音頻的系統(tǒng)和視頻 ? 2023/05/08 MPEG for the past, present and future of TV 31 3D Audio requirements/1 對三維音頻的需求 /1 ? High quality: quality of decoded sound perceptually transparent 高質(zhì)量 ：解碼聲的質(zhì)量在感知上是透明的 ? Localization and Envelopment: Accurate sound localization and very high sense of sound envelopment within a targeted listening area (“sweet spot”) 定位和組裝 ：在預(yù)定的監(jiān)聽區(qū) (“ 欣賞地點(diǎn)” ) 準(zhǔn)確的聲學(xué)定位和極高體驗(yàn)的聲學(xué)組裝 ? Flexible Loudspeaker Placement: the transmitted audio program to be mapped to a rendering setup in which loudspeakers are in alternate locations 靈活的揚(yáng)聲器擺放 ：傳輸?shù)囊纛l節(jié)目將映射到一套演奏裝置，其中的揚(yáng)聲器可處在不同位置 ? Interactivity: Interactive modification of the sound scene rendered from the coded representation 交互性 ：從編碼表示中演奏的聲音場景，可進(jìn)行交互式調(diào)節(jié) MPEG for the past, present and future of TV 32 2023/05/08 3D Audio requirements/2 對三維音頻的需求 /2 ? Rendering on setups with fewer loudspeakers (including headphones): ability to derive a signal from the transmitted program material for reproduction with fewer loudspeakers 對 較少揚(yáng)聲器 (包括耳機(jī) ) 的配置也可演奏 ：揚(yáng)聲器較少時，仍然能夠從傳輸?shù)墓?jié)目素材中導(dǎo)出一個信號來滿足重現(xiàn)的需求 ? Audio/visual alignment consistency: ability to adapt the rendered acoustic scene to be consistent with the visual 音頻 /視頻的對準(zhǔn)和一致性 ：能夠調(diào)節(jié)演奏的聲學(xué)場景，以便與視覺場景保持一致 ? Efficiency for decoding on different setups: ability to be rendered on