【正文】 該項目組的主要成員來自 神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、 數(shù)學(xué)、計算機科學(xué)和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。 (3) 項目 承擔(dān)與合作單位各有所長，研究隊伍精干，專業(yè)分布合適。在視頻編碼壓縮方面 ， 提出一系列高效智能的圖像視頻編碼算法，被 AVS、MPEG 視頻編碼標準接受，主導(dǎo)了面向標清與 高清的視頻編碼標準 AVS 的 制定。 項目組的主要成員長期以來從事相關(guān)的研究工作，取得了 顯著 成果，為保證完成該項目的研究奠定了堅實的基礎(chǔ)。在此基礎(chǔ)上， 對項目的立項依據(jù)、研究目標、研究內(nèi)容及具體研究方案進行了反復(fù)討論， 使得 設(shè)計的研究方案既具有較好的前瞻性和原創(chuàng)性，同時又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。 可行性分析 (1)研究目標明確，研究方案具體，并進行了長時期的論證。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時針對不同的顯著性進行有選擇性的比特分配，從而實現(xiàn)在視覺注意層面上的可伸縮。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運動等），分別計算各種特征的顯著性圖，融合得到最終的興趣圖。 本項目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個例子則是視覺注意機制、顯著性計算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。因此，在視覺計算模型的設(shè)計上， 也就必須要采用自底向上和自頂向下二者的有機結(jié)合。 27 再比如，本項目視覺信息處理基本機理方面將會重點研究的群組編碼也可以對后續(xù)的視頻處理提供有效支持。自然圖像 和視頻的統(tǒng)計分析表明，自然圖像的高階統(tǒng)計特性滿足非高斯分布，也就是說，大部分神經(jīng)元對外界信號的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對外界信號有較強的響應(yīng)，這種性質(zhì)稱為稀疏編碼。 通過表 2 和表 3 不難看出，本項目的各個研究內(nèi)容之間具有很強的關(guān)聯(lián)性，在項目執(zhí)行過程中有非常強的交叉性研究特點，有利于創(chuàng)新思路的誕生。表 3 則給出了這些計算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。在底層的視覺信息處理機理方面，我們重點研究和驗證稀疏編碼、群組編碼、增量成組、運動感知和視覺注意等方面的機理與假說，這對本項目重點涉及的視覺基元模型、時空要素圖、視覺顯著性計算模型等視頻表示和計算模型提供 了重要的機理基礎(chǔ)和設(shè)計指南。 表 2：視覺基本機理與計算模型之間的相互支撐和促進關(guān)系 視知覺機理或假說 表示或 計算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運動 感知 顏色知覺 時序 編碼 拓撲 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ ★ 顯著性計算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗證 表示或 計算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計算 ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ 表 2 給出了本項目涉及的視知覺生理、心理機理和本項目研究的主要計算模型之間的相互關(guān)系。 主要研究內(nèi)容 間的相互支撐關(guān)系 本項目的主要研究內(nèi)容從基本機理到計算模型、再到編碼理論和方法、最后到原型驗證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進。 面向遠程醫(yī)療的寬帶移動多媒體應(yīng)用原型系統(tǒng)研究：結(jié)合視頻編碼的最新成果和業(yè)務(wù)應(yīng)用場景，提出面向遠程醫(yī)療的寬帶移動多媒體原型系統(tǒng)的設(shè)計方案。 (4) 面向遠程醫(yī)療的視頻編碼技術(shù) 驗證 跟蹤遠程醫(yī)療系統(tǒng)的演進情況，分析遠程醫(yī)療應(yīng)用中針對視頻編碼的業(yè)務(wù)需求，設(shè)計面向遠程醫(yī)療的視頻編碼技術(shù)應(yīng)用場景，包括： 感興趣區(qū)域編碼的遠程醫(yī)療會診技術(shù)應(yīng)用研究：利用基于視覺特性的多維度可伸縮編 碼方法 ,實現(xiàn)手術(shù)監(jiān)測圖像中不同重要性區(qū)域的編碼質(zhì)量分級 , 提高圖像整體的壓縮比例。根據(jù)無線信道拓撲、信號質(zhì)量、和數(shù)據(jù)重要性，建立冗余量模型。利用不同流數(shù)據(jù)之間的相關(guān)性，建 立相關(guān)性函數(shù)并進行流化封包，從而達到各流之間相關(guān)性最小。利用多描述編碼在時間軸的冗余特性，對視頻數(shù)據(jù)進行分流操作。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實現(xiàn)多流編碼的重要技術(shù)之一。研究以分步驟的轉(zhuǎn)碼算法為主，適當(dāng)設(shè)計跨目標的轉(zhuǎn)碼算法。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對應(yīng)于某一特定的目標，例如碼率縮減，空間分辨率縮減或者時間分辨率縮減，而實際視頻轉(zhuǎn)碼過程往往涉及這幾個方面的同時實現(xiàn)。本項目研究新穎的色調(diào)映射方法，應(yīng)用于遠程醫(yī)療中。高動態(tài)范圍視頻的編碼需要考慮高動態(tài)范圍視頻的特點，根據(jù)人眼視覺特點進行高效的編碼。 寬帶移動多媒體應(yīng)用原型研究與驗證平臺 在基于視覺特性的高效視頻編碼 理論和算法基礎(chǔ)上，本項目將面向遠程醫(yī)療、 IPTV 等應(yīng)用搭建寬帶移動多媒體系統(tǒng)驗證平臺，提供基于寬帶和無線 移動網(wǎng)絡(luò) /具備 高動態(tài)范圍視頻顯示等 功能的多媒體服務(wù)。對于視頻中的具體索引算法，將采用基于視覺關(guān)鍵詞的倒排索引方法；對于高維和時間序列數(shù)據(jù)，將采用改進樹結(jié)構(gòu)、時序擴展等方法來進行高效索引。視頻索引面向視頻特征和語義描述信息，主要采用通用技術(shù)與 特定算法相結(jié)合的方法獲得，通用技術(shù)主要是研究視頻基元的統(tǒng)計特性，以得到視頻的特征描述，并采用統(tǒng)計學(xué)習(xí)或規(guī)則學(xué)習(xí)的方法得到中層特征的模型，以得到視頻基本結(jié)構(gòu)和基本對象的描述。在人臉識別方面，根據(jù)監(jiān)控視頻中在一個時段內(nèi)連續(xù)出現(xiàn)的特點，我們將從基于序列的人 臉檢測和識別方法入手展開工作，研究時序信息的有效利用、低質(zhì)量人臉的預(yù)處理、基于局部視覺模型的識別方法、超分辨率分析等內(nèi)容，以實現(xiàn)人物這一重要監(jiān)控對象的提取和編碼。本 項目 還將驗證以時空要素圖為表達的跟蹤算法和它們在不同環(huán)境的跟蹤效果。 物體是監(jiān)控的重點對象，幾乎所有的物體檢測、識別與跟蹤都需要得到物體的位置和類型，這里由于時空要素圖能夠在語義層面對視頻進行表示和描述，我們還要驗證基于此種表達的不同物體檢測方法在不同環(huán)境下的檢測效果，如判別式模 型和生成式模型，并研究如何將這些檢測方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。在本 項目 中，我們將研究基于時空要素圖的統(tǒng)一表達，對監(jiān)控環(huán)境中的不同場景建立并學(xué)習(xí)相應(yīng)的統(tǒng)計模型，并驗證其效果，例如對室內(nèi) /室外、不同天氣 (陰天、晴天、下雨或下雪等 )下光照的不 同變化情況建模、對動態(tài)噪音 (如樹、草、水、陰影、反光等 )的瞬時動態(tài)干擾建模、以及對物體運動的路徑軌跡等進行自動統(tǒng)計，從而總結(jié)歸納出其運動的規(guī)律，建立統(tǒng)計性的描述。由于該模型基于具有語義信息的視覺基元表示，它能夠更加魯棒地去除背景中存在的陰影、光照和反射的影響，利用視覺心理冗余對監(jiān)控視頻中的背景進行高效編碼。對于攝像頭固定的場景，背景建 模是常用的、簡單且有效的用來提取前景的方法。我們將針對選定的重點監(jiān)控場所，構(gòu)建一個多源視頻融合監(jiān)控試驗中心，采用分布式編碼等新一代視頻編碼方法，獲得廣視角、高清晰的監(jiān)控視頻。更進一步地，基于多源視頻在空間、時間上的相關(guān)性，計算視頻之間的重疊區(qū)，實現(xiàn)多畫面拼接，獲得視角 23 更廣闊的監(jiān)控畫面。 根據(jù)重要場合視頻監(jiān)控攝像頭眾多、監(jiān)控中心集中的特點，研究多源視頻融合技術(shù)，實現(xiàn)廣視角、高清晰的監(jiān)控視頻增強方法。超分辨率算法不同于像素內(nèi)插的上采樣算法，圖像的超分辨率重建，就是希望盡可能地挽回圖像的分辨率損失，以彌補其“先天不足”，即在保證通頻帶內(nèi)圖像低頻信息復(fù)原的基礎(chǔ)上，對截止頻率以上的高頻信息進 行復(fù)原，使重建圖像獲得更多的細節(jié)和信息，更加接近理想圖像。 更進一步，如果編碼端從攝像頭獲取的最高分辨率圖像仍然不夠清晰，在這種情況下，單純依靠壓縮編碼技術(shù)已經(jīng)沒有辦法提高該區(qū)域的分辨率了。所以，這個時候，異常區(qū)域應(yīng)該采用更高空間分辨率的編碼。 在全景監(jiān)控圖像中，特殊對象往往占有很少的畫面比例，相對于物體本身來說，空間分辨率比較低，大部分細節(jié)信息在采樣時已經(jīng)損失，因此，即使對這個區(qū)域采用無損編碼，也不能夠提供足夠的細節(jié)。 22 面向智能監(jiān)控的視頻編碼方法 針對視頻監(jiān)控智能化、高效率的發(fā)展需要，擬根據(jù)監(jiān)控視頻的特點研究其專用編碼方法，同時在視頻碼流中增加與之同步的對象層和索引層，分別描述視頻內(nèi)的監(jiān)控目標和整個視頻序列的結(jié)構(gòu)，服務(wù)于智能化預(yù)警和海量監(jiān)控視頻的快速檢索和高效存儲。 (6) 三維顯示研究 為支持用戶能按照深度感知能力選擇合適的欣賞視點，需要研究虛擬視點視頻合成與虛擬視點深度序列生成技術(shù)，從而能合成該虛擬視點的二維視頻以及對應(yīng)的深度序列。我們擬提出一套以切換代價為評價指標的預(yù)測結(jié)構(gòu)調(diào)整算法，根據(jù)系統(tǒng)所要求的最大解碼延遲幀數(shù)為目標，建立以當(dāng)前幀所處的時域方向?qū)哟?、視點方向?qū)哟巍⒉捎玫念A(yù)測模式以及視覺質(zhì)量為參數(shù)的評價函數(shù)，從而有效地衡量預(yù)測結(jié)構(gòu)的視點切換能力。高效靈活的低延遲視點切換是多視點視頻系統(tǒng)的需求。而深度圖序列的編碼在滿足 (1)的情況下繼續(xù)滿足最小化 _ ( )D v r v DJ v isu a l D R R?? ? ? ? (2) 其中 vDJ? ， _ rvisual D ， Dv RR? ， 分別代表聯(lián)合視頻深度壓縮的拉格朗日代價，繪制圖像的視知覺失真，聯(lián)合視頻深度壓縮的碼率。 彩色視頻的壓縮效率 21 是以視頻的率失真程度來衡量的 ，而通過立體視原理計算得到的深度序列并不是直接用來 觀看的，它是用來輔助繪制虛擬視點的，因此，按照編碼彩色視頻的方法直接編碼深度序列并不是最優(yōu)的方案，對深度序列單獨采用率失真（ RD）最優(yōu)的壓縮方法并不合適。我們將主觀視覺質(zhì)量評價模型嵌入于分布式解碼器中 (5) 基于立體視覺機理的多視編碼方法 1) 基于立體視覺機理的深度信息獲取和編碼 根據(jù)立體視覺成像的原理，利用多個視點圖像的空間幾何關(guān)系以及圖示線索知識生成深度信息是立體視點視頻處理的重點研究內(nèi)容，它主要解決了深度信息獲取算法的復(fù)雜性與深度信息獲取的精度問題。當(dāng)有多個邊信息的時候，我們通過擴展解碼網(wǎng)格，使網(wǎng)格中每個轉(zhuǎn)移路徑上的輸入輸出均為多維信號集合，每個集合包括相同的元素。 Turbo碼的解碼器基于網(wǎng)格選擇一條路徑，使得路徑上每個元素的后驗概率最大。我們將多個邊信息組織成多維的信號。 數(shù)據(jù)融合技術(shù)：不同邊信息可以看作是相同信源信號經(jīng)過具有不同噪聲的信道傳輸而形成的，因此具有不同的統(tǒng)計特性。相鄰視點同一個物體往往具有相似的運動趨勢，某一傳感器中的視頻序列 Wynerziv 幀中物體的運動趨勢可以由另外一個傳感器中相對應(yīng)物體的運動趨勢來估計。這里包括以下幾項技術(shù)： 基于視間運動的邊信息推導(dǎo)：不同于傳統(tǒng)混合編碼的幀間預(yù)測，分布式視頻的 Wynerziv幀比特流中并沒有任何運動相關(guān)的描述信息。 為了降低復(fù)雜度，可以借助視點間的幾何位置和采集參數(shù)來加速視差參數(shù)的估計。這種方法不需要傳感器之間進行大量的數(shù)據(jù)通信以及復(fù)雜的視差估計，不過其獲取的視差信息不夠精確。一種有效的方式是在編碼端獲取相關(guān)模型，從而估計邊信息的相關(guān)性強弱，以指導(dǎo)編碼端的碼率分配。對于運動區(qū)域采用 Intra 編碼，對背景區(qū)域這類可以獲得 高質(zhì)量邊信息的區(qū)域采用分布式編碼，而對過渡區(qū)域等視覺不敏感的區(qū)域則采用主要以主觀效果為評價準則的分布式編碼。在分布式編解碼環(huán)中，考慮視覺特性與統(tǒng)計特性的差異，分別對各子視頻源采用與其視覺特性與統(tǒng)計特性相適應(yīng)的編解碼方法。具體技術(shù)路線如下： (1) 基于視覺特 性的視頻源分割 在視覺模型的指導(dǎo)下，考慮分布式編解碼的特點，可通過統(tǒng)計分析等手段建立視頻源的視覺特性與統(tǒng)計特性的關(guān)聯(lián)模型。 分布式多視點視頻編碼方法 針對分布式視頻編碼，以 WynerZiv理論為指導(dǎo)，研究基于視知覺質(zhì)量評價準則的信源分割方法以及相應(yīng)的信源相關(guān)模型，同時在分布式多視頻解碼過程中，為了有效利用多視頻信源之間的冗余信息，需要研究如何建立高效的時間視間聯(lián)合相關(guān)模型以及面向視覺的自適應(yīng)解碼。在增強層率失真建模時要考慮到圖像組內(nèi)的誤差漂移問題，平衡準確性和復(fù)雜度，尋求快速實用且接近于理論最優(yōu)的碼流截取方法。對此需要研究相應(yīng)的量化編碼策略，以達到高效的可伸縮編碼 。在組織碼流時，給感興趣區(qū)域一定優(yōu)先，例如降低其量化參數(shù)或者在增強層提升其變換系數(shù)的位平面，從而保證該部分區(qū)域更高的重建質(zhì)量；同時還可根據(jù)重要性參數(shù)，在必要時丟棄非感興趣區(qū)域部分。 (2) 融合時域、空域、質(zhì)量、注意、動態(tài)范圍等多維度的可伸縮編碼方法 以傳統(tǒng)三維可伸 縮編碼方法為基礎(chǔ)框架，融入注意度。 基于所建立的注意模型，提取感興趣區(qū)域。主要從如下四方面展開： (1) 基于注意模型的感興趣區(qū)域提取、表達及編碼 根據(jù)視知覺的敏感特性和視頻 中各視覺要素的統(tǒng)計特性，對視頻內(nèi)容進行區(qū)域劃分