【正文】 對(duì)視頻數(shù)據(jù)知覺(jué)冗余的壓縮，是相當(dāng)高效的。測(cè)試方法、視知覺(jué)熵的數(shù)量化方法以及高階視覺(jué)熵的定義需要深入研究。為了保證所提出的基于視覺(jué)的編碼系統(tǒng)具有很好的適應(yīng)性，在各類型的視頻序列上都能取得較高的編碼效率，我們將首先將自然圖像中的局部結(jié)構(gòu)分為幾個(gè)最基本的特征參數(shù)來(lái)描述，如：輪廓形狀 、方向，空間周期性，時(shí)間周期性等。 多維度可伸縮編碼 現(xiàn)有的 SVC 編碼標(biāo)準(zhǔn)主要從空間、時(shí)間、質(zhì)量三個(gè)維度上實(shí)現(xiàn)可伸縮性，對(duì) HVS 的考慮還非常少，因此在性能上仍有很大提升空間。在組織碼流時(shí)，給感興趣區(qū)域一定優(yōu)先，例如降低其量化參數(shù)或者在增強(qiáng)層提升其變換系數(shù)的位平面，從而保證該部分區(qū)域更高的重建質(zhì)量；同時(shí)還可根據(jù)重要性參數(shù)，在必要時(shí)丟棄非感興趣區(qū)域部分。具體技術(shù)路線如下： (1) 基于視覺(jué)特 性的視頻源分割 在視覺(jué)模型的指導(dǎo)下，考慮分布式編解碼的特點(diǎn)，可通過(guò)統(tǒng)計(jì)分析等手段建立視頻源的視覺(jué)特性與統(tǒng)計(jì)特性的關(guān)聯(lián)模型。這種方法不需要傳感器之間進(jìn)行大量的數(shù)據(jù)通信以及復(fù)雜的視差估計(jì)，不過(guò)其獲取的視差信息不夠精確。 數(shù)據(jù)融合技術(shù)：不同邊信息可以看作是相同信源信號(hào)經(jīng)過(guò)具有不同噪聲的信道傳輸而形成的，因此具有不同的統(tǒng)計(jì)特性。我們將主觀視覺(jué)質(zhì)量評(píng)價(jià)模型嵌入于分布式解碼器中 (5) 基于立體視覺(jué)機(jī)理的多視編碼方法 1) 基于立體視覺(jué)機(jī)理的深度信息獲取和編碼 根據(jù)立體視覺(jué)成像的原理，利用多個(gè)視點(diǎn)圖像的空間幾何關(guān)系以及圖示線索知識(shí)生成深度信息是立體視點(diǎn)視頻處理的重點(diǎn)研究?jī)?nèi)容，它主要解決了深度信息獲取算法的復(fù)雜性與深度信息獲取的精度問(wèn)題。我們擬提出一套以切換代價(jià)為評(píng)價(jià)指標(biāo)的預(yù)測(cè)結(jié)構(gòu)調(diào)整算法，根據(jù)系統(tǒng)所要求的最大解碼延遲幀數(shù)為目標(biāo)，建立以當(dāng)前幀所處的時(shí)域方向?qū)哟?、視點(diǎn)方向?qū)哟?、采用的預(yù)測(cè)模式以及視覺(jué)質(zhì)量為參數(shù)的評(píng)價(jià)函數(shù)，從而有效地衡量預(yù)測(cè)結(jié)構(gòu)的視點(diǎn)切換能力。所以，這個(gè)時(shí)候，異常區(qū)域應(yīng)該采用更高空間分辨率的編碼。更進(jìn)一步地，基于多源視頻在空間、時(shí)間上的相關(guān)性，計(jì)算視頻之間的重疊區(qū)，實(shí)現(xiàn)多畫(huà)面拼接，獲得視角 23 更廣闊的監(jiān)控畫(huà)面。在本 項(xiàng)目 中，我們將研究基于時(shí)空要素圖的統(tǒng)一表達(dá)，對(duì)監(jiān)控環(huán)境中的不同場(chǎng)景建立并學(xué)習(xí)相應(yīng)的統(tǒng)計(jì)模型，并驗(yàn)證其效果，例如對(duì)室內(nèi) /室外、不同天氣 (陰天、晴天、下雨或下雪等 )下光照的不 同變化情況建模、對(duì)動(dòng)態(tài)噪音 (如樹(shù)、草、水、陰影、反光等 )的瞬時(shí)動(dòng)態(tài)干擾建模、以及對(duì)物體運(yùn)動(dòng)的路徑軌跡等進(jìn)行自動(dòng)統(tǒng)計(jì)，從而總結(jié)歸納出其運(yùn)動(dòng)的規(guī)律，建立統(tǒng)計(jì)性的描述。視頻索引面向視頻特征和語(yǔ)義描述信息，主要采用通用技術(shù)與 特定算法相結(jié)合的方法獲得，通用技術(shù)主要是研究視頻基元的統(tǒng)計(jì)特性，以得到視頻的特征描述，并采用統(tǒng)計(jì)學(xué)習(xí)或規(guī)則學(xué)習(xí)的方法得到中層特征的模型，以得到視頻基本結(jié)構(gòu)和基本對(duì)象的描述。本項(xiàng)目研究新穎的色調(diào)映射方法，應(yīng)用于遠(yuǎn)程醫(yī)療中。利用多描述編碼在時(shí)間軸的冗余特性，對(duì)視頻數(shù)據(jù)進(jìn)行分流操作。 面向遠(yuǎn)程醫(yī)療的寬帶移動(dòng)多媒體應(yīng)用原型系統(tǒng)研究：結(jié)合視頻編碼的最新成果和業(yè)務(wù)應(yīng)用場(chǎng)景，提出面向遠(yuǎn)程醫(yī)療的寬帶移動(dòng)多媒體原型系統(tǒng)的設(shè)計(jì)方案。表 3 則給出了這些計(jì)算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。因此，在視覺(jué)計(jì)算模型的設(shè)計(jì)上， 也就必須要采用自底向上和自頂向下二者的有機(jī)結(jié)合。 可行性分析 (1)研究目標(biāo)明確，研究方案具體，并進(jìn)行了長(zhǎng)時(shí)期的論證。 (3) 項(xiàng)目 承擔(dān)與合作單位各有所長(zhǎng)，研究隊(duì)伍精干，專業(yè)分布合適。在視頻編碼壓縮方面 ， 提出一系列高效智能的圖像視頻編碼算法，被 AVS、MPEG 視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與 高清的視頻編碼標(biāo)準(zhǔn) AVS 的 制定。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時(shí)針對(duì)不同的顯著性進(jìn)行有選擇性的比特分配，從而實(shí)現(xiàn)在視覺(jué)注意層面上的可伸縮。 27 再比如，本項(xiàng)目視覺(jué)信息處理基本機(jī)理方面將會(huì)重點(diǎn)研究的群組編碼也可以對(duì)后續(xù)的視頻處理提供有效支持。在底層的視覺(jué)信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動(dòng)感知和視覺(jué)注意等方面的機(jī)理與假說(shuō)，這對(duì)本項(xiàng)目重點(diǎn)涉及的視覺(jué)基元模型、時(shí)空要素圖、視覺(jué)顯著性計(jì)算模型等視頻表示和計(jì)算模型提供 了重要的機(jī)理基礎(chǔ)和設(shè)計(jì)指南。 (4) 面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù) 驗(yàn)證 跟蹤遠(yuǎn)程醫(yī)療系統(tǒng)的演進(jìn)情況，分析遠(yuǎn)程醫(yī)療應(yīng)用中針對(duì)視頻編碼的業(yè)務(wù)需求，設(shè)計(jì)面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù)應(yīng)用場(chǎng)景，包括： 感興趣區(qū)域編碼的遠(yuǎn)程醫(yī)療會(huì)診技術(shù)應(yīng)用研究：利用基于視覺(jué)特性的多維度可伸縮編 碼方法 ,實(shí)現(xiàn)手術(shù)監(jiān)測(cè)圖像中不同重要性區(qū)域的編碼質(zhì)量分級(jí) , 提高圖像整體的壓縮比例。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實(shí)現(xiàn)多流編碼的重要技術(shù)之一。高動(dòng)態(tài)范圍視頻的編碼需要考慮高動(dòng)態(tài)范圍視頻的特點(diǎn)，根據(jù)人眼視覺(jué)特點(diǎn)進(jìn)行高效的編碼。在人臉識(shí)別方面，根據(jù)監(jiān)控視頻中在一個(gè)時(shí)段內(nèi)連續(xù)出現(xiàn)的特點(diǎn)，我們將從基于序列的人 臉檢測(cè)和識(shí)別方法入手展開(kāi)工作，研究時(shí)序信息的有效利用、低質(zhì)量人臉的預(yù)處理、基于局部視覺(jué)模型的識(shí)別方法、超分辨率分析等內(nèi)容，以實(shí)現(xiàn)人物這一重要監(jiān)控對(duì)象的提取和編碼。由于該模型基于具有語(yǔ)義信息的視覺(jué)基元表示，它能夠更加魯棒地去除背景中存在的陰影、光照和反射的影響，利用視覺(jué)心理冗余對(duì)監(jiān)控視頻中的背景進(jìn)行高效編碼。 根據(jù)重要場(chǎng)合視頻監(jiān)控?cái)z像頭眾多、監(jiān)控中心集中的特點(diǎn)，研究多源視頻融合技術(shù)，實(shí)現(xiàn)廣視角、高清晰的監(jiān)控視頻增強(qiáng)方法。 在全景監(jiān)控圖像中，特殊對(duì)象往往占有很少的畫(huà)面比例，相對(duì)于物體本身來(lái)說(shuō)，空間分辨率比較低，大部分細(xì)節(jié)信息在采樣時(shí)已經(jīng)損失，因此，即使對(duì)這個(gè)區(qū)域采用無(wú)損編碼，也不能夠提供足夠的細(xì)節(jié)。高效靈活的低延遲視點(diǎn)切換是多視點(diǎn)視頻系統(tǒng)的需求。當(dāng)有多個(gè)邊信息的時(shí)候，我們通過(guò)擴(kuò)展解碼網(wǎng)格，使網(wǎng)格中每個(gè)轉(zhuǎn)移路徑上的輸入輸出均為多維信號(hào)集合，每個(gè)集合包括相同的元素。相鄰視點(diǎn)同一個(gè)物體往往具有相似的運(yùn)動(dòng)趨勢(shì)，某一傳感器中的視頻序列 Wynerziv 幀中物體的運(yùn)動(dòng)趨勢(shì)可以由另外一個(gè)傳感器中相對(duì)應(yīng)物體的運(yùn)動(dòng)趨勢(shì)來(lái)估計(jì)。一種有效的方式是在編碼端獲取相關(guān)模型，從而估計(jì)邊信息的相關(guān)性強(qiáng)弱，以指導(dǎo)編碼端的碼率分配。 分布式多視點(diǎn)視頻編碼方法 針對(duì)分布式視頻編碼，以 WynerZiv理論為指導(dǎo)，研究基于視知覺(jué)質(zhì)量評(píng)價(jià)準(zhǔn)則的信源分割方法以及相應(yīng)的信源相關(guān)模型，同時(shí)在分布式多視頻解碼過(guò)程中，為了有效利用多視頻信源之間的冗余信息，需要研究如何建立高效的時(shí)間視間聯(lián)合相關(guān)模型以及面向視覺(jué)的自適應(yīng)解碼。 (2) 融合時(shí)域、空域、質(zhì)量、注意、動(dòng)態(tài)范圍等多維度的可伸縮編碼方法 以傳統(tǒng)三維可伸 縮編碼方法為基礎(chǔ)框架，融入注意度。我們擬對(duì)圖像中的高頻信息和低頻信息分別考慮，對(duì)高頻信息進(jìn)行建模表示，研究基于多參考幀的超分辨率插值技術(shù)，提高超分辨率視頻的重構(gòu)質(zhì)量。這些視頻要素可以具體地由邊緣、紋理、運(yùn)動(dòng)等圖像 /視頻的局部特征來(lái)表示。 視知覺(jué)熵的定義及其數(shù)量化測(cè)度，特別是視知覺(jué)熵的動(dòng)態(tài)測(cè)度，是視覺(jué)信息論可應(yīng)用的關(guān)鍵。人類視覺(jué)系統(tǒng)提取外界信息是一個(gè)從底層像素到高層物體邊緣、結(jié)構(gòu)、顏色、紋理、運(yùn)動(dòng)的一個(gè)層級(jí)、漸進(jìn)抽象的過(guò)程。在分別研究了不同類型運(yùn)動(dòng)基元的動(dòng)態(tài)特性后，我們將通過(guò)回歸式數(shù)學(xué)模型來(lái)描述物體以及基元之間在運(yùn)動(dòng)軌跡方面的相互影響；通過(guò)學(xué)習(xí)上下文相關(guān)的隨機(jī)圖語(yǔ)法來(lái)描述在運(yùn)動(dòng)過(guò)程中物體或基元之間在拓?fù)浣Y(jié)構(gòu)上產(chǎn)生的相互影響與作用關(guān)系。由此我們可以導(dǎo)出可跟蹤性度量。 我們將在 貝葉斯 理論框架下通過(guò)最大似然估計(jì)的方法學(xué)習(xí)時(shí)空要素圖系統(tǒng)中的最優(yōu)參數(shù) (包括以上提到的各方面內(nèi)容 )，從而實(shí)現(xiàn)對(duì)要素圖的整合、分割、與組合，并實(shí)現(xiàn)對(duì)運(yùn)動(dòng)基元 (或子圖 )的提取、跟蹤，以及對(duì)圖語(yǔ)法規(guī)則的學(xué)習(xí)。在定義感興趣區(qū)域的基礎(chǔ)上，我們將利用 Itti 的貝葉斯模型，定義視覺(jué)注意區(qū)域，并且給出計(jì)算算法。其中， 第一層對(duì)應(yīng)稀疏表示，目標(biāo)是建立視覺(jué)信息的 超完備表示，模擬視覺(jué)初始皮層的功能，該層的學(xué)習(xí)算法采用自適應(yīng)的視覺(jué)信息稀疏表示算法，在神經(jīng)信息內(nèi)部編碼方面，研究基于神經(jīng)元信號(hào)獨(dú)立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計(jì)模型，使得該層的神經(jīng)元具有超完備稀疏響應(yīng)特征。最后則可以基于這些計(jì)算模型研究基于局部視覺(jué)模型的高效視頻編碼、包含注意機(jī)制的多維度可伸縮編碼、分布式多視編碼和面向智能監(jiān)控的視頻編碼等理 論與方法。 因此，本項(xiàng)目的總體研究思路就是 (如圖 12 中間虛線右側(cè)部分 )：借鑒人類視覺(jué)系統(tǒng)的信息處理過(guò)程，將編碼的理論基礎(chǔ)向視覺(jué)通路的后端延伸，即延伸至視覺(jué)皮層的 V1 區(qū)， V2 區(qū)， V3 區(qū)， V4 區(qū)，乃至 IT/MT 區(qū)。 (2) 突破面向智能監(jiān)控的視頻編碼關(guān)鍵技術(shù) ，通過(guò)在編碼過(guò)程中引入局部視覺(jué)模型和視覺(jué)注意等新要素，從而 有效支持自動(dòng)異常發(fā)現(xiàn)和報(bào)警、目標(biāo)檢索等功能， 從而改變智能視頻監(jiān)控的應(yīng)用模式， 滿足國(guó)家在公共安全和重大應(yīng)急事件 管理中，對(duì)智能視頻監(jiān)控系統(tǒng)的重大需求。 (2) 在視覺(jué)計(jì)算模型層面 ， 建立統(tǒng)一的統(tǒng)計(jì)視覺(jué)表示與計(jì)算模型 。 10 二、預(yù)期目標(biāo) 總體目標(biāo) 本項(xiàng)目 針對(duì)高效 視頻編碼所涉及的視覺(jué)信息處理基礎(chǔ)科學(xué)問(wèn)題開(kāi)展多學(xué)科交叉的共同研究， 借鑒神經(jīng)科學(xué)的最新研究成果， 以探索視覺(jué)信息表示和編碼的基本神經(jīng)機(jī)制和心理機(jī)理為出發(fā)點(diǎn)，構(gòu)建視頻內(nèi)容表示的時(shí)空要素圖模型及其統(tǒng)一的計(jì)算模型。我們重點(diǎn)考慮在寬帶移動(dòng)多媒體應(yīng)用中進(jìn)行原型研究和系統(tǒng)驗(yàn)證，構(gòu)建相應(yīng)的驗(yàn)證平臺(tái)。 8 面向智能監(jiān)控的視頻編碼方法 雖然視頻監(jiān)控部署規(guī)模已經(jīng)比較龐大，而且發(fā)揮著重要作 用，但是目前系統(tǒng)的應(yīng)用模式比較落后，主要靠人工監(jiān)視多路視頻和事發(fā)后的人工搜檢，其中實(shí)時(shí)現(xiàn)場(chǎng)人工監(jiān)視耗費(fèi)大量人力，而且監(jiān)視人員易疲勞、漏檢風(fēng)險(xiǎn)大，亟待半自動(dòng)乃至全自動(dòng)預(yù)警的支持。 (3) 研究多視頻源時(shí)間、視間聯(lián)合相關(guān)性，實(shí)現(xiàn)高效解碼 分布式編碼理論要求獨(dú)立編碼的信源碼流必須在解碼端聯(lián)合解碼，通過(guò)充分挖掘信源間的相關(guān)性來(lái)高質(zhì)量地重建源數(shù)據(jù)。 對(duì)于這一問(wèn)題 重點(diǎn)研究注意模型的建立及基于注意模型的感興趣區(qū)域的提取、表達(dá)和編碼，力圖尋求具有最高率失真性能的可伸縮編碼；研究具有強(qiáng)容錯(cuò)能力并且能夠適應(yīng)各種動(dòng)態(tài)變化網(wǎng)絡(luò)和不同的用戶終端設(shè)備的可伸縮視頻編碼方法，主要基于視頻內(nèi)容的視知覺(jué)熵，為視頻要素提供不同級(jí)別的糾錯(cuò)保護(hù)，盡可能提高重建視頻的主觀滿意度；研究基于注意度的碼流優(yōu)化截取方法，其目標(biāo)即為最大化重建視頻的視知覺(jué)率失真性能，同時(shí)兼顧復(fù)雜度。動(dòng)畫(huà)本身的產(chǎn)生機(jī)制非常有利于采用基于視覺(jué)的編碼方法，和自然視頻相比，動(dòng)畫(huà)一般有著較明顯的邊緣特征、紋理特征、或色彩一致的區(qū)域，運(yùn)動(dòng)模型也相對(duì)較容易建立，因此我們擬 結(jié)合動(dòng)畫(huà)制作的基本原理，對(duì)基于視覺(jué)特征的動(dòng)畫(huà)編碼進(jìn)行研究，搭建基于視覺(jué)的動(dòng)畫(huà)壓縮系統(tǒng) ,提高動(dòng)畫(huà)的壓縮效率，為推動(dòng)基于視覺(jué)的視頻壓縮應(yīng)用邁出關(guān)鍵的一步。 5 在視頻編碼理論與方法層面，我們將重點(diǎn)開(kāi)展四個(gè)方面的研究，即： 基于視覺(jué)模型的高效視頻編碼理論 、多維度可伸縮編碼方法、分布式多視點(diǎn)視頻編碼方法和面向智能監(jiān)控的視頻編碼方法。 視頻編碼理論與方法層 上述視覺(jué)基本機(jī)理與模型層研究的核心內(nèi)容是視覺(jué)信息的有效表示問(wèn)題，而視頻編碼的根本目標(biāo)則是要使用盡可能少的比特來(lái)編碼表達(dá)原始視頻中包含的視覺(jué)信息，因此，上述基本機(jī)理和數(shù)學(xué)模型恰可以利用以進(jìn)行高效的視頻編碼，而且這為突破現(xiàn)有技術(shù)框架提出了新思路，即基于視覺(jué)特性的高效視頻編碼理論。這些語(yǔ)義信息主要來(lái)源于運(yùn)動(dòng)所提供的豐富線索 ——考慮到運(yùn)動(dòng)的時(shí)空相關(guān)性以及整體運(yùn)動(dòng)的一致性 (coherence)，我們可以對(duì)每幀靜態(tài)要素圖做進(jìn)一步的分析處理，如層次化連接不同粒度的基元和模式等。具體研究?jī)?nèi)容包括：在視皮層網(wǎng)絡(luò)結(jié)構(gòu)第一層上研究視覺(jué)信息稀疏表示的機(jī)器學(xué)習(xí)算法、超完備表示對(duì)實(shí)現(xiàn)魯棒圖像編碼的作用以及基于超完備表示的特征提取方法等。 視覺(jué)基本機(jī)理與模型層 該層面的研究?jī)?nèi)容面向的科學(xué)問(wèn)題主要是前兩個(gè)：視覺(jué)信息處理的基本機(jī)理和符合這些基本機(jī)理的計(jì)算模型。視覺(jué)信息論試圖借鑒神經(jīng)生理學(xué)在不同感知階段對(duì)感知對(duì)象的抽象，建 2 立對(duì)應(yīng)的符號(hào) (事件 )集，使之能夠方便地描述高階相關(guān)性，體現(xiàn)語(yǔ)義結(jié)構(gòu)，從而豐富信息論理論。 視頻編碼 處理 的 核心環(huán)節(jié) 要對(duì)視頻中包含的視 覺(jué)信息進(jìn)行高效的表達(dá)和準(zhǔn)確的重建，其本質(zhì)是視覺(jué)信息的基本結(jié)構(gòu)和有效表示問(wèn)題 。特別是近年來(lái)，我國(guó)的數(shù)字媒體產(chǎn)業(yè)迅猛發(fā)展，年均產(chǎn)值已近萬(wàn)億元，使得音視頻編解碼標(biāo)準(zhǔn) 技術(shù) 的 地位越來(lái)越重要 。本項(xiàng)目將從多學(xué)科交叉的角度出發(fā)， 探索 視覺(jué)信息處理的基本神經(jīng)機(jī)制和認(rèn)知機(jī)理， 研究 相應(yīng)的理論和模型，對(duì)其進(jìn)行實(shí)驗(yàn)驗(yàn)證與計(jì)算仿真 ，以期能夠用以指導(dǎo)建立更加有效的視覺(jué)計(jì)算模型。 上述三個(gè)關(guān)鍵科學(xué)問(wèn)題緊緊圍繞視覺(jué)信息處理系統(tǒng)中最核心的表示與編碼問(wèn)題，分別從生理 /心理基本機(jī)理、視覺(jué)信息處理計(jì)算模型、視頻編碼基礎(chǔ)理論三個(gè)層面展開(kāi)。下面分別敘述本項(xiàng)目在視覺(jué)基本機(jī)理和計(jì)算模型方面擬開(kāi)展的研究。 面向視頻編碼的視覺(jué)計(jì)算模型研究 在上述視知覺(jué)機(jī)理研究基礎(chǔ)上，我們將從功能模擬的角度，采用統(tǒng)計(jì)學(xué)習(xí)方法，研究 從圖像和視頻中學(xué)習(xí)與視覺(jué)感知相對(duì)應(yīng)的視覺(jué)信息表示基本粒子結(jié)構(gòu)，建立形式化數(shù)學(xué)描述的有關(guān)理論和方法。我們認(rèn)為時(shí)空要素圖模型是對(duì)運(yùn)動(dòng)圖像序列的一種內(nèi)在本質(zhì)表示，它將為編碼提供稀疏、高效的表示，從而有望使得新一代編碼技術(shù)獲得本質(zhì)性的飛躍。 傳統(tǒng)的可伸縮編碼重點(diǎn)在時(shí)間、空間和質(zhì)量上進(jìn)行伸縮，我們則提出了更多的維度，包括注意可伸縮、動(dòng)態(tài)范圍可伸縮等。 在基礎(chǔ)理論方面，研究基于視知覺(jué)熵的視覺(jué)信息論，探討視知