【正文】 項目組先后在國際知名期刊和國際會議上發(fā)表了 400 多篇論文，其中有超過 80 篇文章在本領域頂級國際期刊 Science、 Nature Neuroscience、 Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、 IEEE Trans. on Circuits and Systems for Video Technology、 IEEE Trans. on Multimedia、 IEEE Trans. on Image Processing、 IEEE Trans. on Neural Network、 IEEE Trans. on Knowledge and Data Engineering、 Pattern Recognition、 International Journal of Computer Vision、 Neural Computation等上發(fā)表。 注意機制和模型還可以用于面向智能監(jiān)控視頻的編碼中，通過對重點關注對象或區(qū)域的有效編碼、索引和處理，可以實現基于注意機制的索引構建、對象檢索和分析，從而實現更加智能的視頻監(jiān)控和檢索。群組編碼研究表明，視覺處理的過程并非簡單的從初級視覺皮層到更高級的視覺皮層，而是有反饋機制，即既有自底向上的推理過程，也有自頂向下的反饋過程。反過來，這些計算模型的研究也可以反過來促進視知覺機理研究領域的發(fā)展，包括提出新的假說或深化現有機理假說。 高動態(tài)范圍視頻手術監(jiān)測技術應用研究：利用高動態(tài)范圍視頻的高寬容度 ,實現遠程手術高保真?zhèn)魉?。但作為分層編碼特點，接收端在缺乏基本層數據條件下，無法進行解碼。高動態(tài)范圍視頻不能直接在普通設備中顯示，必須要通過 色調映射轉化為普通動態(tài)范圍視頻。 視頻索引將充分利用視覺計算模型中的視覺注意選擇策略，同時融合對比度、位置和多運動等信息，并根據監(jiān)控場景切換、突變或結構變化情況的分析結果，建立時間和空間上自適應的多尺度摘要生成算法，使其更加符合人類認知，同時滿足可計算性；并進一步根據視頻的時序關注曲線，研究并提出評價視頻片 24 段重要性的計量方法。監(jiān)控場景分析對于異常行為與事件的實時監(jiān)測起著至關重要的作用。采用本項目研究的分布式視頻編碼方法，將來自多個編碼端的各幀圖像看成獨立信源，在解碼端，利用時域相鄰幀的相關性，通過對已解碼重建運動估計，進行時域內插求取邊信息，最后將邊信息用于 SlepianWolf 解碼和當前解碼幀的重構，也就是說，將計算量 較大的幀間預測 (如運動估計 )從編碼端轉移到解碼端。即使通過上采樣放大，也仍然是模糊的。為了使壓縮效率和視點切換達到最優(yōu)的平衡，我們通過兩個方面的研究解決視點切換問題： ? 調整預測結構：幀間預測的編碼結構直接影響視點切換的延遲程度。 (4) 面向視覺質量的自適應解碼 分布式視頻編碼技術中，解碼器通過反饋信道向編碼器進行碼流請求，從而實現碼率自適應，或者通過更復雜的解碼過程產生更有效的邊信 息，以實現質量的自適應控制。這需要不同網絡傳感器之間采用不同的數據分割進行編碼，使得 Wynerziv幀中物體的運動信息可以由其它視點中關鍵幀的運動模型來推導。單視點視頻的相關性可以進行獨立估計，而對于多視點視頻的視間相關性我們擬采用以下兩種方案： 1) 通過多視點視頻系統(tǒng)中視點間的幾何位置以及采集參數估計視間相關性，指導視頻數據的分割，實現高效的分布式編碼。在立體視編碼方面，為了精確地描述真實三維視頻，需要生成精確的深度信息；同時為了進一步實現高效傳輸，深度圖像與彩色圖像的聯合壓縮必須滿足立體視覺質量最優(yōu)。注意度的可伸縮性可以根據人眼對不同區(qū)域或視頻要素的感興趣程度，設置相應的重要性參數，該參數應包含在圖像頭定義中。 (5) 多光譜視頻壓縮 18 我們擬根據多光譜圖像的平移和光譜分布特 點，研究多光譜圖像的像素亮度對比度量化編碼，依據人眼視覺系統(tǒng)在不同光照條件下的對比度閾值調節(jié)量化誤差，提高多光譜視頻的壓縮效率?；谒崛〉膱D像特征，提出新的編碼框架，建立一個基于局部特征的壓縮系統(tǒng)。本 項目 擬采用一組無冗余視頻要素對視頻序列進行表示，則視頻要素的視知覺熵可通過要素組合視頻與原始視頻的主觀視覺無差異性來測試獲得。人類視覺系統(tǒng)會忽略視知覺感受 不到的內容，而關注于有實際物理意義的感興趣對象。 (3) 運動基元在不同熵域間的轉換 同一物體或基元由于運動可能穿梭于不同的熵域。 為 了獲得視頻的最優(yōu)的時空要素圖表示，我們將可跟蹤性度量作為此優(yōu)化問題的 一個重要參量置于 系統(tǒng)動態(tài)模型 中 ，使系統(tǒng)能夠通過計算，在不同基元優(yōu)化自身可跟蹤性度量的同時，能夠自動地選擇適應不同視頻內容的基元表示方法，從而獲得最優(yōu)的表示。 具體研究方案 如下： (1) 基元在不同子空間中的動態(tài)特性分析 在確立了以時空要素圖系統(tǒng)作為運動圖像序列的表示模型后，我們將運動基元定義為時空要素圖中的子圖，如飄落著的雪花、飛翔的小鳥等。 面向視頻編碼的 視覺計算模型與方法 概括來說，我們擬采用產生式的、多層結構時空要素圖 (STITCH)系統(tǒng)作為視頻運動的統(tǒng)一表示，并采用 貝葉斯 理論框架下 的最大似然估計 (Maximum likelihood estimation)方法實現推理計算。 第二層的功能是局部特征成組 (Feature Grouping)，該層的學習準則是使得具有相近響應特征的神經元盡可能集群到相近的鄰域，我們擬引入鄰域神經元之間的能量變化極小化實現局部特征成組 和無監(jiān)督學習機制 。 需要指出的是，本項目的上述研究方案強調了神經科學、生理學、心理學、數學、計算科學和電子學等多學科的交叉 從而 有效地促進我國科學與技術研究在 13 上述領域中的 進一步 發(fā)展。從視覺信息表示的基本 對象 角度來看，該思路主要采用視覺基元作為視覺內容的基本單元，而不再是傳統(tǒng)方法中的像素或者圖像塊。 (3) 突破寬帶移動多媒體應用系統(tǒng)涉及的關鍵技術 ，本項目在視頻編碼方面的研究成果可以有效支持面向高清的 IPTV、具有三維和高動態(tài)范圍視頻屬性的遠程醫(yī)療系統(tǒng)等，提高我國在寬帶移動多媒體應用方面的技術水平并得到產業(yè)應用。提出并完成 11 面向視頻處理的 “時空要素圖 ”模型，建立視頻內容基本要素的數學統(tǒng)計模型及其符號化的形式化描 述以及相應的計算推理方法。在這些研究的基礎上，針對視覺信息編碼與傳輸問題， 將香農信息論與人類視覺系統(tǒng)信息處理原理相結合 ，并以此作為視頻編碼的理論基礎，從而提出新的基于視覺模型的下一代高效視頻編碼框架，并 擴展研究包括視覺注意和高動態(tài)范圍在內的多維度可伸縮編碼方法、面向多視頻源的分布式多視點編碼方法以及面向智能監(jiān)控的視頻編碼方法，從而構建 一套基于視覺特性的高效視頻編碼理論、模型和方法體系 ——這即是本項目在理論方面的總體目標。具體研究內容如下： (1) 面向遠程醫(yī)療的高動態(tài)視頻采集技術： 高動態(tài)范圍視頻采集通過多個攝像頭協(xié)同采集同 一場景不同動態(tài)范圍的圖像，生成高保真的高動態(tài)范圍視頻源。這需要我們從視頻編碼層次進行基礎性創(chuàng)新，從而構建新一代的智能化、高效能視頻監(jiān)控體系。利用基于視間運動的邊信息導出、數據融合等技術，研究高效的邊信息生成、信道解碼以及源數據重建等方法。 分布式多視點視頻編碼方法 在資 源受限的分布式視頻應用中，鑒于現有分布式視頻編碼的低效性，需要 7 利用視覺特性，研究分布式多視點編碼理論，從而提高編碼效率。 對于超高清分辨率視頻，目前的壓縮效率還難以滿足應用需求，本項目擬研究基于視覺的超分辨率視頻編碼技術，提高超高清視頻的編碼效率。它們之間的關系如表 1 所示： 表 1 編碼理論與方法主要研究內容之間的關系 編碼方法 涉及的機理與 計算 模型 主要的理論與方法 主要應用領域 基于視覺模型的高效視頻編碼 視知覺機理，特別是稀疏編碼 理論，視覺計算模型，特別是局部視覺（基元）模型 視覺信息論，視覺要素編碼方法，局部視覺模型參數編碼 高清、超高清視頻廣播，視頻存儲 多維度可伸縮編碼 視覺注意機理，圖像 /視頻顯著性計算模型 可伸縮編碼理論，注意區(qū)域編碼方法 流媒體服務，可伸縮質量服務 分布式多視點視頻編碼 分布式信源相關模型，深度視覺計算模型 分布式編碼理論， WynerZiv編碼 多視點視頻， 3D電視 面向智能監(jiān)控的視頻編碼 群組編碼機理，對象檢測與識別模型，視覺注意機理 面向對象編碼方法，智能視頻分析與編碼，索引編碼 智能視頻監(jiān)控 ，視頻檢索 四個主要研究內容 各自具體 描述 如下： 基于視覺模型的高效視頻編碼理論 結合視知覺機理和視覺計算模型，研究符合人類視知覺機理的視頻壓縮理論與方法。 從視頻編碼領域自身技術發(fā)展趨勢來看，除了提高編碼效率這一 核心目標之外，也需要在其他角度上發(fā)展。圖與圖之間元素的對應關系表示了這些元素在時間上的動態(tài)對應關系。在第二網絡層次上將研究視覺特征成組 (Feature Grouping)機理以及神經網絡拓撲結構和學習算法。不難理解，二者有天然的緊密聯系：一方 面，視覺信息處理基本機理為視覺信息處理的計算仿真、計算模型建立等提供了良好的生理學和心理學參照系，對其基本規(guī)律的認識為計算模型的建立提供了良好的技術可能性和努力方向。符號 (事件 )是借鑒稀疏編碼理論通過采用 貝葉斯 計算視覺感知的后驗概率建立的。 為此，我們需要探討以下關鍵科學問題： （ 1） 視頻編碼可以借鑒的 視覺信息處理機理是什么？ 作為長期進化的結果，人類視覺信息處理系統(tǒng)是至為精致的生物系統(tǒng)之一。 項目名稱： 基于視覺特性的視頻編碼理論與方法研究 1 一、研究內容 由于可以有效節(jié)省通信帶寬和存儲容量，高效率的 視頻編碼技術已經成為數字視頻廣播 (廣播網 )、數字媒體存儲與網絡傳輸 (計算機網絡 )、以及多媒體通訊(通信網 )等數字媒體產業(yè)的共性關鍵技術。但遺憾的是，其基本神經機制、知覺和認知機理目前尚不 完全 清晰。這將為高效視頻編碼提供指導性的理論基礎。另一方面，計算模型也為基本機理的正確性和模型的有效性提供了驗證機會，有利于推動視覺基本機理的研究。在皮層型網絡的第三層上則研究整體特征形成機理及計算模擬算法，在最高層則研究基于整體特征的物體識別模型與算法 。此外， STITCH 系統(tǒng)還包括驅使這些要素圖產生變化的動力學模型，如：要素圖或其子圖的運動、幾何變形、以及拓撲結 構的變化模型等。首先，需要適應不同的傳輸帶寬、存儲和檢索目的，實現多個維度上的可伸縮編碼 。本部分研究內容將從基礎理論、算法與框架以及應用三個方面開展。我們擬在原始分辨率視頻上提取邊緣、紋理等視覺特征并進行編碼，然后對原始分辨率視頻進行下采樣編碼，在解碼端通過超分辨率插值技術重構高分辨率視頻。同時，必須充分利用分布式信源之間的相關性，去除分布式信源的視間冗余，達到分布式視頻信息高效解碼。 (4) 面向視覺質量的自適應解碼 將主觀視覺質量評價模型嵌入 到 分布式解碼器中，當目標視頻區(qū)域解碼質量達到主觀質量要求時，即終止解碼過程。 針對視頻監(jiān)控的特點與需求，研究三層碼流結構 (基本層、對象層和索引層 )的新一代監(jiān)控視頻編碼方法與標準，擬利用本項目研究的視頻編碼方法進行基本層編碼，通過在視頻碼流中增加對象層和索引層，將滿足視頻監(jiān)控智能化和高效率的需要。 (2) 視頻轉碼技術研究： 主要解決流媒體系統(tǒng)平移過程中的轉碼關鍵問題，特別是多種 其它編碼 格式到 AVS 等視頻 格式 的轉碼技術，在此基礎上突破解決 9 轉碼的一些共性的關鍵技術，例如新的轉碼結構的設計、視頻圖像的濾波預處理、轉碼運動矢量的預測等。 本項目在解決國家重大需求和產業(yè)創(chuàng)新方面的總體目標包括兩方面。 (3) 在 視頻編碼理論層面 ， 提出 與視覺感知一致的視頻編碼與傳輸理論。 在科研產出、優(yōu)秀人才培養(yǎng)等方面的預期目標 (1) 預期在視頻編碼領域的部分研究成果達到國際領先水平，促進相關學科的發(fā)展。這種信息表示機制變化的意義在于：通過將編碼符號集合定義在具有視覺意義的基元上，傳統(tǒng)的信息論就可以被擴展，我們稱之 為 “視覺信息論 ”，以區(qū)分一般意義上的信息論。 各主要研究內容的研究方案 基于上述總體學術思路和技術路線，本項目各個主要研究內容的研究方案概述如下： 視覺信息處理基本機理方面 這部分的研究將采用包括清醒動物神經電生理學、視覺行為學和藥物學方法以及 ERP、 fMRI 等技術手段研究生物視覺系統(tǒng)知覺組織主要環(huán)節(jié)的神經機制和心理機理。 第三層的功能是視覺整體特征的形成，該層依賴于具體的視覺處理任務。 具體地我們擬定以下研究方案： 首先，我們提出 “時空要素圖系統(tǒng) ”來統(tǒng)一地表示視頻中復雜的運動內容。運動基元也可以按粒度近一步的分解，如一個行走的人作為某一層上的運動基元可被進一步分解成為頭、軀干、四肢等具有不同運動特性卻又相互關聯的不同運動基元。我們稱之為基元對視頻的 “競爭解釋機制 ”。例如，一輛汽車 由遠及近地駛來：它在很遠的地方由于相機分辨率有限，成像后可以簡單地用一個尺度很 16 小的點 (blob)來表示，這時它處在高熵紋理區(qū)；隨著汽車的駛近，它會經過中熵以及低熵圖像表示區(qū)。因此，人類視覺系統(tǒng)對有意義信息的提取，也即