【正文】 類視覺系統(tǒng)提取外界信息是一個(gè)從底層像素到高層物體邊緣、結(jié)構(gòu)、顏色、紋理、運(yùn)動(dòng)的一個(gè)層級(jí)、漸進(jìn)抽象的過程。兩者效率上的差距正是基于視覺的視頻壓縮技術(shù)發(fā)展的空間。 視知覺熵的定義及其數(shù)量化測(cè)度，特別是視知覺熵的動(dòng)態(tài)測(cè)度，是視覺信息論可應(yīng)用的關(guān)鍵。 主觀視覺評(píng)價(jià)是上述方法中的關(guān)鍵步驟，因此對(duì)魯棒的主觀視覺評(píng)價(jià)方法也需要進(jìn)行深入研究。這些視頻要素可以具體地由邊緣、紋理、運(yùn)動(dòng)等圖像 /視頻的局部特征來表示。之后通過學(xué)習(xí)大量的自然圖片，獲得基本特征的變體，同時(shí)對(duì)基本集進(jìn)行擴(kuò)充。我們擬對(duì)圖像中的高頻信息和低頻信息分別考慮，對(duì)高頻信息進(jìn)行建模表示，研究基于多參考幀的超分辨率插值技術(shù)，提高超分辨率視頻的重構(gòu)質(zhì)量。主要從如下四方面展開： (1) 基于注意模型的感興趣區(qū)域提取、表達(dá)及編碼 根據(jù)視知覺的敏感特性和視頻 中各視覺要素的統(tǒng)計(jì)特性，對(duì)視頻內(nèi)容進(jìn)行區(qū)域劃分，建立對(duì)各注意區(qū)域的模型表示，并根據(jù)注意程度對(duì)感興趣的級(jí)別進(jìn)行編碼表示。 (2) 融合時(shí)域、空域、質(zhì)量、注意、動(dòng)態(tài)范圍等多維度的可伸縮編碼方法 以傳統(tǒng)三維可伸 縮編碼方法為基礎(chǔ)框架，融入注意度。對(duì)此需要研究相應(yīng)的量化編碼策略，以達(dá)到高效的可伸縮編碼 。 分布式多視點(diǎn)視頻編碼方法 針對(duì)分布式視頻編碼，以 WynerZiv理論為指導(dǎo)，研究基于視知覺質(zhì)量評(píng)價(jià)準(zhǔn)則的信源分割方法以及相應(yīng)的信源相關(guān)模型，同時(shí)在分布式多視頻解碼過程中，為了有效利用多視頻信源之間的冗余信息，需要研究如何建立高效的時(shí)間視間聯(lián)合相關(guān)模型以及面向視覺的自適應(yīng)解碼。在分布式編解碼環(huán)中，考慮視覺特性與統(tǒng)計(jì)特性的差異，分別對(duì)各子視頻源采用與其視覺特性與統(tǒng)計(jì)特性相適應(yīng)的編解碼方法。一種有效的方式是在編碼端獲取相關(guān)模型，從而估計(jì)邊信息的相關(guān)性強(qiáng)弱，以指導(dǎo)編碼端的碼率分配。 為了降低復(fù)雜度，可以借助視點(diǎn)間的幾何位置和采集參數(shù)來加速視差參數(shù)的估計(jì)。相鄰視點(diǎn)同一個(gè)物體往往具有相似的運(yùn)動(dòng)趨勢(shì)，某一傳感器中的視頻序列 Wynerziv 幀中物體的運(yùn)動(dòng)趨勢(shì)可以由另外一個(gè)傳感器中相對(duì)應(yīng)物體的運(yùn)動(dòng)趨勢(shì)來估計(jì)。我們將多個(gè)邊信息組織成多維的信號(hào)。當(dāng)有多個(gè)邊信息的時(shí)候，我們通過擴(kuò)展解碼網(wǎng)格，使網(wǎng)格中每個(gè)轉(zhuǎn)移路徑上的輸入輸出均為多維信號(hào)集合，每個(gè)集合包括相同的元素。 彩色視頻的壓縮效率 21 是以視頻的率失真程度來衡量的 ，而通過立體視原理計(jì)算得到的深度序列并不是直接用來 觀看的，它是用來輔助繪制虛擬視點(diǎn)的，因此，按照編碼彩色視頻的方法直接編碼深度序列并不是最優(yōu)的方案，對(duì)深度序列單獨(dú)采用率失真（ RD）最優(yōu)的壓縮方法并不合適。高效靈活的低延遲視點(diǎn)切換是多視點(diǎn)視頻系統(tǒng)的需求。 (6) 三維顯示研究 為支持用戶能按照深度感知能力選擇合適的欣賞視點(diǎn)，需要研究虛擬視點(diǎn)視頻合成與虛擬視點(diǎn)深度序列生成技術(shù)，從而能合成該虛擬視點(diǎn)的二維視頻以及對(duì)應(yīng)的深度序列。 在全景監(jiān)控圖像中，特殊對(duì)象往往占有很少的畫面比例，相對(duì)于物體本身來說，空間分辨率比較低，大部分細(xì)節(jié)信息在采樣時(shí)已經(jīng)損失，因此，即使對(duì)這個(gè)區(qū)域采用無損編碼，也不能夠提供足夠的細(xì)節(jié)。 更進(jìn)一步，如果編碼端從攝像頭獲取的最高分辨率圖像仍然不夠清晰，在這種情況下，單純依靠壓縮編碼技術(shù)已經(jīng)沒有辦法提高該區(qū)域的分辨率了。 根據(jù)重要場(chǎng)合視頻監(jiān)控?cái)z像頭眾多、監(jiān)控中心集中的特點(diǎn)，研究多源視頻融合技術(shù)，實(shí)現(xiàn)廣視角、高清晰的監(jiān)控視頻增強(qiáng)方法。我們將針對(duì)選定的重點(diǎn)監(jiān)控場(chǎng)所，構(gòu)建一個(gè)多源視頻融合監(jiān)控試驗(yàn)中心，采用分布式編碼等新一代視頻編碼方法，獲得廣視角、高清晰的監(jiān)控視頻。由于該模型基于具有語義信息的視覺基元表示，它能夠更加魯棒地去除背景中存在的陰影、光照和反射的影響，利用視覺心理冗余對(duì)監(jiān)控視頻中的背景進(jìn)行高效編碼。 物體是監(jiān)控的重點(diǎn)對(duì)象，幾乎所有的物體檢測(cè)、識(shí)別與跟蹤都需要得到物體的位置和類型，這里由于時(shí)空要素圖能夠在語義層面對(duì)視頻進(jìn)行表示和描述，我們還要驗(yàn)證基于此種表達(dá)的不同物體檢測(cè)方法在不同環(huán)境下的檢測(cè)效果，如判別式模 型和生成式模型，并研究如何將這些檢測(cè)方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。在人臉識(shí)別方面，根據(jù)監(jiān)控視頻中在一個(gè)時(shí)段內(nèi)連續(xù)出現(xiàn)的特點(diǎn)，我們將從基于序列的人 臉檢測(cè)和識(shí)別方法入手展開工作，研究時(shí)序信息的有效利用、低質(zhì)量人臉的預(yù)處理、基于局部視覺模型的識(shí)別方法、超分辨率分析等內(nèi)容，以實(shí)現(xiàn)人物這一重要監(jiān)控對(duì)象的提取和編碼。對(duì)于視頻中的具體索引算法，將采用基于視覺關(guān)鍵詞的倒排索引方法；對(duì)于高維和時(shí)間序列數(shù)據(jù)，將采用改進(jìn)樹結(jié)構(gòu)、時(shí)序擴(kuò)展等方法來進(jìn)行高效索引。高動(dòng)態(tài)范圍視頻的編碼需要考慮高動(dòng)態(tài)范圍視頻的特點(diǎn)，根據(jù)人眼視覺特點(diǎn)進(jìn)行高效的編碼。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對(duì)應(yīng)于某一特定的目標(biāo)，例如碼率縮減，空間分辨率縮減或者時(shí)間分辨率縮減，而實(shí)際視頻轉(zhuǎn)碼過程往往涉及這幾個(gè)方面的同時(shí)實(shí)現(xiàn)。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實(shí)現(xiàn)多流編碼的重要技術(shù)之一。利用不同流數(shù)據(jù)之間的相關(guān)性，建 立相關(guān)性函數(shù)并進(jìn)行流化封包，從而達(dá)到各流之間相關(guān)性最小。 (4) 面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù) 驗(yàn)證 跟蹤遠(yuǎn)程醫(yī)療系統(tǒng)的演進(jìn)情況，分析遠(yuǎn)程醫(yī)療應(yīng)用中針對(duì)視頻編碼的業(yè)務(wù)需求，設(shè)計(jì)面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù)應(yīng)用場(chǎng)景，包括： 感興趣區(qū)域編碼的遠(yuǎn)程醫(yī)療會(huì)診技術(shù)應(yīng)用研究：利用基于視覺特性的多維度可伸縮編 碼方法 ,實(shí)現(xiàn)手術(shù)監(jiān)測(cè)圖像中不同重要性區(qū)域的編碼質(zhì)量分級(jí) , 提高圖像整體的壓縮比例。 主要研究?jī)?nèi)容 間的相互支撐關(guān)系 本項(xiàng)目的主要研究?jī)?nèi)容從基本機(jī)理到計(jì)算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進(jìn)。在底層的視覺信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動(dòng)感知和視覺注意等方面的機(jī)理與假說，這對(duì)本項(xiàng)目重點(diǎn)涉及的視覺基元模型、時(shí)空要素圖、視覺顯著性計(jì)算模型等視頻表示和計(jì)算模型提供 了重要的機(jī)理基礎(chǔ)和設(shè)計(jì)指南。 通過表 2 和表 3 不難看出，本項(xiàng)目的各個(gè)研究?jī)?nèi)容之間具有很強(qiáng)的關(guān)聯(lián)性，在項(xiàng)目執(zhí)行過程中有非常強(qiáng)的交叉性研究特點(diǎn)，有利于創(chuàng)新思路的誕生。 27 再比如，本項(xiàng)目視覺信息處理基本機(jī)理方面將會(huì)重點(diǎn)研究的群組編碼也可以對(duì)后續(xù)的視頻處理提供有效支持。 本項(xiàng)目主要研究?jī)?nèi)容之間緊密耦合、相互支撐的另外一個(gè)例子則是視覺注意機(jī)制、顯著性計(jì)算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時(shí)針對(duì)不同的顯著性進(jìn)行有選擇性的比特分配，從而實(shí)現(xiàn)在視覺注意層面上的可伸縮。在此基礎(chǔ)上， 對(duì)項(xiàng)目的立項(xiàng)依據(jù)、研究目標(biāo)、研究?jī)?nèi)容及具體研究方案進(jìn)行了反復(fù)討論， 使得 設(shè)計(jì)的研究方案既具有較好的前瞻性和原創(chuàng)性，同時(shí)又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。在視頻編碼壓縮方面 ， 提出一系列高效智能的圖像視頻編碼算法，被 AVS、MPEG 視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與 高清的視頻編碼標(biāo)準(zhǔn) AVS 的 制定。該項(xiàng)目組的主要成員來自 神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、 數(shù)學(xué)、計(jì)算機(jī)科學(xué)和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。 (3) 項(xiàng)目 承擔(dān)與合作單位各有所長(zhǎng)，研究隊(duì)伍精干，專業(yè)分布合適。 項(xiàng)目組的主要成員長(zhǎng)期以來從事相關(guān)的研究工作，取得了 顯著 成果，為保證完成該項(xiàng)目的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。 可行性分析 (1)研究目標(biāo)明確，研究方案具體，并進(jìn)行了長(zhǎng)時(shí)期的論證。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動(dòng)等），分別計(jì)算各種特征的顯著性圖，融合得到最終的興趣圖。因此，在視覺計(jì)算模型的設(shè)計(jì)上， 也就必須要采用自底向上和自頂向下二者的有機(jī)結(jié)合。自然圖像 和視頻的統(tǒng)計(jì)分析表明，自然圖像的高階統(tǒng)計(jì)特性滿足非高斯分布，也就是說，大部分神經(jīng)元對(duì)外界信號(hào)的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對(duì)外界信號(hào)有較強(qiáng)的響應(yīng)，這種性質(zhì)稱為稀疏編碼。表 3 則給出了這些計(jì)算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。 表 2：視覺基本機(jī)理與計(jì)算模型之間的相互支撐和促進(jìn)關(guān)系 視知覺機(jī)理或假說 表示或 計(jì)算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運(yùn)動(dòng) 感知 顏色知覺 時(shí)序 編碼 拓?fù)? 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計(jì)算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗(yàn)證 表示或 計(jì)算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點(diǎn)編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ 表 2 給出了本項(xiàng)目涉及的視知覺生理、心理機(jī)理和本項(xiàng)目研究的主要計(jì)算模型之間的相互關(guān)系。 面向遠(yuǎn)程醫(yī)療的寬帶移動(dòng)多媒體應(yīng)用原型系統(tǒng)研究：結(jié)合視頻編碼的最新成果和業(yè)務(wù)應(yīng)用場(chǎng)景，提出面向遠(yuǎn)程醫(yī)療的寬帶移動(dòng)多媒體原型系統(tǒng)的設(shè)計(jì)方案。根據(jù)無線信道拓?fù)?、信?hào)質(zhì)量、和數(shù)據(jù)重要性，建立冗余量模型。利用多描述編碼在時(shí)間軸的冗余特性，對(duì)視頻數(shù)據(jù)進(jìn)行分流操作。研究以分步驟的轉(zhuǎn)碼算法為主，適當(dāng)設(shè)計(jì)跨目標(biāo)的轉(zhuǎn)碼算法。本項(xiàng)目研究新穎的色調(diào)映射方法，應(yīng)用于遠(yuǎn)程醫(yī)療中。 寬帶移動(dòng)多媒體應(yīng)用原型研究與驗(yàn)證平臺(tái) 在基于視覺特性的高效視頻編碼 理論和算法基礎(chǔ)上，本項(xiàng)目將面向遠(yuǎn)程醫(yī)療、 IPTV 等應(yīng)用搭建寬帶移動(dòng)多媒體系統(tǒng)驗(yàn)證平臺(tái)，提供基于寬帶和無線 移動(dòng)網(wǎng)絡(luò) /具備 高動(dòng)態(tài)范圍視頻顯示等 功能的多媒體服務(wù)。視頻索引面向視頻特征和語義描述信息，主要采用通用技術(shù)與 特定算法相結(jié)合的方法獲得，通用技術(shù)主要是研究視頻基元的統(tǒng)計(jì)特性，以得到視頻的特征描述，并采用統(tǒng)計(jì)學(xué)習(xí)或規(guī)則學(xué)習(xí)的方法得到中層特征的模型，以得到視頻基本結(jié)構(gòu)和基本對(duì)象的描述。本 項(xiàng)目 還將驗(yàn)證以時(shí)空要素圖為表達(dá)的跟蹤算法和它們?cè)诓煌h(huán)境的跟蹤效果。在本 項(xiàng)目 中，我們將研究基于時(shí)空要素圖的統(tǒng)一表達(dá)，對(duì)監(jiān)控環(huán)境中的不同場(chǎng)景建立并學(xué)習(xí)相應(yīng)的統(tǒng)計(jì)模型，并驗(yàn)證其效果，例如對(duì)室內(nèi) /室外、不同天氣 (陰天、晴天、下雨或下雪等 )下光照的不 同變化情況建模、對(duì)動(dòng)態(tài)噪音 (如樹、草、水、陰影、反光等 )的瞬時(shí)動(dòng)態(tài)干擾建模、以及對(duì)物體運(yùn)動(dòng)的路徑軌跡等進(jìn)行自動(dòng)統(tǒng)計(jì)，從而總結(jié)歸納出其運(yùn)動(dòng)的規(guī)律，建立統(tǒng)計(jì)性的描述。對(duì)于攝像頭固定的場(chǎng)景，背景建 模是常用的、簡(jiǎn)單且有效的用來提取前景的方法。更進(jìn)一步地，基于多源視頻在空間、時(shí)間上的相關(guān)性，計(jì)算視頻之間的重疊區(qū)，實(shí)現(xiàn)多畫面拼接，獲得視角 23 更廣闊的監(jiān)控畫面。超分辨率算法不同于像素內(nèi)插的上采樣算法，圖像的超分辨率重建，就是希望盡可能地挽回圖像的分辨率損失，以彌補(bǔ)其“先天不足”，即在保證通頻帶內(nèi)圖像低頻信息復(fù)原的基礎(chǔ)上，對(duì)截止頻率以上的高頻信息進(jìn) 行復(fù)原，使重建圖像獲得更多的細(xì)節(jié)和信息，更加接近理想圖像。所以，這個(gè)時(shí)候，異常區(qū)域應(yīng)該采用更高空間分辨率的編碼。 22 面向智能監(jiān)控的視頻編碼方法 針對(duì)視頻監(jiān)控智能化、高效率的發(fā)展需要，擬根據(jù)監(jiān)控視頻的特點(diǎn)研究其專用編碼方法，同時(shí)在視頻碼流中增加與之同步的對(duì)象層和索引層，分別描述視頻內(nèi)的監(jiān)控目標(biāo)和整個(gè)視頻序列的結(jié)構(gòu)，服務(wù)于智能化預(yù)警和海量監(jiān)控視頻的快速檢索和高效存儲(chǔ)。我們擬提出一套以切換代價(jià)為評(píng)價(jià)指標(biāo)的預(yù)測(cè)結(jié)構(gòu)調(diào)整算法，根據(jù)系統(tǒng)所要求的最大解碼延遲幀數(shù)為目標(biāo)，建立以當(dāng)前幀所處的時(shí)域方向?qū)哟巍⒁朁c(diǎn)方向?qū)哟巍⒉捎玫念A(yù)測(cè)模式以及視覺質(zhì)量為參數(shù)的評(píng)價(jià)函數(shù)，從而有效地衡量預(yù)測(cè)結(jié)構(gòu)的視點(diǎn)切換能力。而深度圖序列的編碼在滿足 (1)的情況下繼續(xù)滿足最小化 _ ( )D v r v DJ v isu a l D R R?? ? ? ? (2) 其中 vDJ? ， _ rvisual D ， Dv RR? ， 分別代表聯(lián)合視頻深度壓縮的拉格朗日代價(jià)，繪制圖像的視知覺失真，聯(lián)合視頻深度壓縮的碼率。我們將主觀視覺質(zhì)量評(píng)價(jià)模型嵌入于分布式解碼器中 (5) 基于立體視覺機(jī)理的多視編碼方法 1) 基于立體視覺機(jī)理的深度信息獲取和編碼 根據(jù)立體視覺成像的原理，利用多個(gè)視點(diǎn)圖像的空間幾何關(guān)系以及圖示線索知識(shí)生成深度信息是立體視點(diǎn)視頻處理的重點(diǎn)研究?jī)?nèi)容，它主要解決了深度信息獲取算法的復(fù)雜性與深度信息獲取的精度問題。 Turbo碼的解碼器基于網(wǎng)格選擇一條路徑，使得路徑上每個(gè)元素的后驗(yàn)概率最大。 數(shù)據(jù)融合技術(shù)：不同邊信息可以看作是相同信源信號(hào)經(jīng)過具有不同噪聲的信道傳輸而形成的，因此具有不同的統(tǒng)計(jì)特性。這里包括以下幾項(xiàng)技術(shù)： 基于視間運(yùn)動(dòng)的邊信息推導(dǎo)：不同于傳統(tǒng)混合編碼的幀間預(yù)測(cè)，分布式視頻的 Wynerziv幀比特流中并沒有任何運(yùn)動(dòng)相關(guān)的描述信息。這種方法不需要傳感器之間進(jìn)行大量的數(shù)據(jù)通信以及復(fù)雜的視差估計(jì)，不過其獲取的視差信息不