【正文】 智能監(jiān)控的視頻編碼方法 針對視頻監(jiān)控智能化、高效率的發(fā)展需要，擬根據監(jiān)控視頻的特點研究其專用編碼方法，同時在視頻碼流中增加與之同步的對象層和索引層，分別描述視頻內的監(jiān)控目標和整個視頻序列的結構，服務于智能化預警和海量監(jiān)控視頻的快速檢索和高效存儲。而深度圖序列的編碼在滿足 (1)的情況下繼續(xù)滿足最小化 _ ( )D v r v DJ v isu a l D R R?? ? ? ? (2) 其中 vDJ? ， _ rvisual D ， Dv RR? ， 分別代表聯(lián)合視頻深度壓縮的拉格朗日代價，繪制圖像的視知覺失真，聯(lián)合視頻深度壓縮的碼率。 Turbo碼的解碼器基于網格選擇一條路徑，使得路徑上每個元素的后驗概率最大。這里包括以下幾項技術： 基于視間運動的邊信息推導：不同于傳統(tǒng)混合編碼的幀間預測，分布式視頻的 Wynerziv幀比特流中并沒有任何運動相關的描述信息。對于運動區(qū)域采用 Intra 編碼，對背景區(qū)域這類可以獲得 高質量邊信息的區(qū)域采用分布式編碼，而對過渡區(qū)域等視覺不敏感的區(qū)域則采用主要以主觀效果為評價準則的分布式編碼。在增強層率失真建模時要考慮到圖像組內的誤差漂移問題，平衡準確性和復雜度，尋求快速實用且接近于理論最優(yōu)的碼流截取方法。 基于所建立的注意模型，提取感興趣區(qū)域。這個特征類型集將是超完備并且恒定更新的，將會采用增量學習的辦法來保證編碼器和解碼器的內容同步，并進行模型更新， (3) 基于視覺的動畫壓縮 我們擬結合動畫制作的基本原理，提取有效的動畫特征，包括邊緣，紋理，運動、或色彩等，建立起動畫中對象的模型表示，搭建基于視覺的動畫 壓縮系統(tǒng)，提高動畫的壓縮效率。 17 (2) 基于視知覺的視頻壓縮算法及框架 基于視知覺的視頻壓縮算法及其系統(tǒng)要求具有高效、功能完備、可實現的特點。 (1) 基于視知覺熵的視覺信息論 結合視知覺機理和視覺計算模型，我們認為 “視頻要素 ”是符合人類視覺處理機制的視頻信息的基本組成單元。 基于視覺模型的高效視頻編碼理論 以往視頻壓縮技術的主要理論基礎是香農信息論，但目前遇到了效率瓶頸，這表現在壓縮效率進一步提升將以不可承受的復雜度增加為代價。同時，對于不可跟蹤運動基元，我們將在其特征空間 (如 PCA、Fourier 空間 )研究其光度和運動等動態(tài)特性。 我們將借鑒對一般跟蹤系統(tǒng)的分析方法，在貝葉斯推理理論框架下用信息論的方法 (information theoretic approach)，將物體狀態(tài)的 “不 可跟蹤性 ”度量定義為其后驗 條件熵 。本層是我們需要推理演算出的隱變量 (hidden variable)層， 是 以產生式要素圖模型生成底層的圖像。殘差值越大，該區(qū)域的可預測性越差，因此我們把局部圖像譜能量對數值殘差超過一定閥值的區(qū)域定義為感興趣的區(qū)域。 在模型研究方面， 考慮圖像在不同感覺、知覺層面上的不同表示，對于視覺信息的稀疏表示、視覺皮層 V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個層次 采用前饋聯(lián)接，采用無監(jiān)督和有監(jiān)督兩種不同學習方式解決局部特征和整體特征的學習任務。 具體的，在視覺基本機理方面，我們將采用多電極矩陣植入猴腦和計算仿真兩種方法，重點探討稀疏編碼、群組編碼、增量成組、運動感知、視覺注意等主要內容。 12 三、研究方案 總體學術思路與技術路線 如前所述，傳統(tǒng)的視頻編碼技術建立在香農信息論基礎上，只能在信號層面上采用統(tǒng)計處理的手段對視頻進行壓縮，所以，基于傳統(tǒng)信息論的方法流行多年，形成了延續(xù)至今的基于變換與預測的混合編碼框架，基于此的編碼效率已遭遇瓶頸。預期能夠為下一代視頻編碼國家標準 (AVS 階段 2)做出不可替代的貢獻 (預期本項目組成員貢獻率不低于 40%)。特別要采用先進的多電極矩陣技術手段，為揭示視知覺的神經機制提供經驗和第一手實驗證據。 (4) 面向遠程醫(yī)療的視頻編碼應用技術研究： 根據基于視覺特性的視頻編碼理論和遠程醫(yī)療業(yè)務應用需求， 針對遠程醫(yī)療的視頻編碼技術應用場景進行分析和研究，主要包括：感興趣區(qū)域編碼的遠程醫(yī)療會診技術應用研究 ,高動態(tài)范圍視頻手術監(jiān)測技術應用研究等。 索引層以提高海量監(jiān)控視頻的檢索和存儲效率為目標，基于基本層中的感興趣區(qū)域、視 覺基元和對象層中的對象描述信息，研究監(jiān)控場景變化的檢測方法，提出評價視頻片段重要性的計量方法，獲得場景變換位置、視頻片段重要程度等描述信息，形成描述視頻結構的索引，支持對監(jiān)控視頻的提綱攜領式檢索、摘要和存儲容量縮減。為了支持多視點切換，研究高效靈活的低延遲視點切換，同時使壓縮效率和視點切換代價之間達到最優(yōu)的平衡。然后對每個子視頻源使用相應的高效編碼方法，以期獲取好的主觀質量。在此理論研究基礎上我們將探索基于視覺信息論的 SVC 編碼框架及算法。在這里如何進行局部特征的提取，以 及利用這些局部特征對視覺模型的調整與具體編碼模塊間的聯(lián)系成為整個編碼系統(tǒng)的關鍵問題，因此，找出這些特征的規(guī)律，并用其指導壓縮成為提高壓縮效率的關鍵，為此項目研究還將對基于模型的圖像 /視 6 頻局部特征提取進行深入研究，從而可以通過學習訓練適應性地進行特征提取與編碼。目前的監(jiān)控系統(tǒng)均直接采用面向廣播或通信業(yè)務的視頻編碼方法，而沒有針對監(jiān)控任務本身進行特殊的編碼，因 此編碼和后端的智能分析功能是割裂開的。將視頻分解成基元結構后，根據視覺機理中的 “中心 環(huán)繞 ”機制，視頻中的注意區(qū)域可定義為運動基元的時空特征拐點，如飛翔的小鳥、飄落的雪花可能會因其空間特征與周圍區(qū)域有顯著差異而顯著性高，而快速行走的人突然停下來可能會引起運動特征與周圍 (時間軸 )有變化而被關注。該系統(tǒng)包含了運動圖像序列中每一幀的要素圖表示。 視知覺基本機理的研究成果為實現人工視覺提供了一條可行的道路，利用基本視覺機理如稀疏編碼、 群組編碼、增量成組等 ，根據人類視覺系統(tǒng)在平移、旋轉、尺度下的不變性以及對數據缺失、噪聲等問題的自適應性，從計算仿真的角度研究相應的視覺信息處理計算結構，探討視知覺的計算機理，建立相應的表示和計算模 型。如圖所示，對應三個關鍵科學問題，本項目的主要研究內容自底向上分別建立在三個層面， 即：機理與模型層，理論與方法層，關鍵技術與驗證層。其解決不僅可以有效促進視覺編碼技術的發(fā)展，還可以從計算模擬的角度反過來推動視覺基本機理的研究。 從 視頻 編碼 的需求 角度看，編碼的主要 動機 是在 盡量保證 高質量 視覺效果 的前提下最大限度地 降低碼率 ，達到壓縮的目的 。但我們仍需未雨綢繆，從模型、理論、方法和技術上 為下一代 視頻編碼 國家標準和 國際標準的制定 早做準備，確保在下一輪的標準競爭中立于不敗之地。如何基于這些發(fā)現構建相應的、 可計算的視覺信息處理數學模型就成為一個重要的基礎科學問題。 圍繞上述三個關鍵科學問題，我們提出的總體研究內容框架如圖 2 所示，以期建立解決這些問題的模型、理論和方法，構建相應的驗證平臺和原型系統(tǒng)。圖 3給出了本項目在視知覺基本機理方面擬開展的主要研究內容，涉及的主要關鍵問題，機理模型 /假說，以及擬采用的技術手段。 在本項目的研究中，我們將基于靜態(tài)要素圖模型，提出一個針對視覺運動的、統(tǒng)一的視覺表示模型 ——時空要素圖 (Spatial Temporal prImal skeTCh graph — STITCH)系統(tǒng)。 在視覺注意計算方面 ， 項目 將基于前面討論的 STITCH 表示，研究視頻的注意選擇計算模型。最后，在視頻監(jiān)控領域，對智能視頻監(jiān)控的需求日益強烈。具體而言，就是從人的視覺特性出發(fā)，對視頻內容進行分析，從中提取出視頻的關鍵特征，如邊緣、紋理、運動等人眼所關注的局部特征，探索針對這些局部特征的參數化算法、根據局部特征參數的視覺掩蔽模型的動態(tài)調整方法、以及相應的量化算法和編碼算法，建立空域、時域、局部特征的相關性模型。理論部分主要結合香農傳統(tǒng)信息論和視覺信息論，根據視知覺熵的定義、測度及相關率失真理論，探求可伸縮編碼的視知覺率失真曲線，及其與傳統(tǒng)率失真曲線的關系。根據這種分割準則，將視頻源劃分為若干個視覺特性、統(tǒng)計特性相異的子視頻源。基于立體視覺機理，進一步研究深度序列與彩色視頻的聯(lián)合高效壓縮，重構出最優(yōu)的三維視頻。 對象層編碼面向監(jiān)控智能化的需要，基于基本層碼流中的視覺基元、運動向量等要素，研究監(jiān)控背景、場景、物體、人物等對象模型，分析異常行為和異常事件，形成描述監(jiān)控目標及其關系的對象層碼流，發(fā)揮基于視覺特性的編碼理論與方法的優(yōu)越性，提高視頻監(jiān)控系統(tǒng)的效率。研究基于傳輸通道的冗余編碼技術，減少傳輸過程對誤碼率的影響，適應不同帶寬。 五年預期目標 根據上述總體目標，未來五年內本項目預期在理論與方法、解決國家重大需求、科研成果和人才培養(yǎng)方面達到如下目標： 預期在理論與方法方面取得的進展、突破及其科學價值 如前所述，理論層面我們的總體目標是構建 一套高效的基于視覺特性的視頻編碼理論、模型和方法體系，具體的五年目標主要體現在以下幾個 方面： (1) 在視覺 基本機理層面， 探索 視覺信息處理的基本神經機制和認知機理并對其進行計算仿真 。 預期在解決國家重大需求方面的研究目標 (1) 突破數字視頻編解碼核心技術 ，為制定下一代自主知識產權的高效視頻壓縮國際 /國家標準提供理論、方法和關鍵 技術上的支持，實現 5 年內視頻壓縮率再提高 1 倍的目標 (即從目前的約 1:100 提高到 1:200)。培養(yǎng)博士 60 人、碩士 100 人。 本項目研究將基于上述總體思路展開，分別在視覺信息處理基本機理、視覺表示與計算模型、 視頻編碼理論與方法以及系統(tǒng)驗證等幾個層面展開。 具體方案為：向被試呈現不同的刺激圖片 (背景和圖像容易分離或不易分離，自然圖像或刺激－背景圖形 )，考察在給不同線索 (cue)情況下， ERP 的波形，反應時間以及激活腦區(qū)的差異。擬采用局部譜能量對數的殘余量來定義感興趣區(qū)域。為靜態(tài)圖像表示提出的 要素圖模型，其本質上是一種屬性圖表示。因此， (a) 我們首先要定義各種圖像基元在時空中的 “可跟蹤性 ”(trackability)及其度量。在此統(tǒng)計學習過程中，我們不斷地學習、更新可跟蹤運動基元在光度、幾何、運動、以及拓撲等不同維度上的動態(tài)特性。在本 項目 的研究中，我們將采用統(tǒng)計學習的方法，通過上下文相關的隨機圖語法來描述物體或基元在穿越不同熵域時發(fā)生的結構變化。本 項目 的研究內容包括理論基礎研究、算法及系統(tǒng)研究，具體的研究思路如下。本 項目 會對以上設想及測試方法的正確性、魯棒性進行分析、實驗、論證，對具有更一般性的方法開展研究。最終形成一個基本覆蓋所有自然圖片局部特征類型的集合，并建立模型，實現對這個特征類型集合的模型表示。模型的建立還要考慮與應用類型的結合，如針對視頻監(jiān)控的應用的注意模型等。 (3) 基于注意度的碼流優(yōu)化截取方法 碼流截斷須以重建視頻的視知覺率失真最優(yōu)為目標。如擬采用 Canny 算子，考慮運動的劇烈程度，可將一幀圖像分割為運動區(qū)域、過渡區(qū)域和背景區(qū)域。 (3) 研究多視頻源時間、視間聯(lián)合相關性，實現高效解碼 實現高效的分布式多視頻信源解碼的關鍵在于如何在解碼器端有效利用每個視點內視頻序列的時間與空間相關性，以及多個視點之間的視間相關性來實現分布式信源的聯(lián)合解碼。這樣，無論是選擇一 個邊信息還是合并生成多個邊信息 , 對于解碼器而言，獲得的依然是相同維度的信號。一種理想的解決方法是通過聯(lián)合視知覺率失真最優(yōu)的方式對彩色視頻序列與深度序列進行壓縮，首先使彩色視頻編碼滿足下式最小： _v v vJ visu al D R???. (1) 其中 vJ ， _ vvisual D ， vR 分別代表彩色視頻的拉格朗日代價，視知覺失真，碼率。 通過在液晶板前添加光柵，利用柵條交錯顯示左眼和右眼的畫面的原理，研制多視點的三維顯示技術，克服觀測者頭部必須佩戴定位裝置或顯示器必須配備自動跟蹤觀測者位置的裝置來調整 “視差柵欄 ”帶來的不便，使觀看者具有更加廣闊的視域。因此必須提取編碼端成像系統(tǒng)的降質特性模型參數做為邊信息，在解碼端結合邊信息并利用視頻超分辨率方法重建出更高分辨率的清晰圖像。 對象層編碼是監(jiān)控智能化的重要支撐手段，主要研究監(jiān)控背景、監(jiān)控場景、重要物體和人物的建模、分析和編碼。本 項目 基于時空要素圖系統(tǒng)，可以從視頻中學習出不同熵域的運動圖像內容的視覺詞匯集以及不同基元的流形，并籍此對視頻中的物體進行高效編碼。將視頻索引產生的描述信息置入壓縮碼流中，從而快速獲取所需的視頻監(jiān)控信息。 為了綜合實現這幾個方面的目標，同時簡化轉碼算法的設計，本 項目 采取了分步驟實現各個轉碼目標的方法，為每一個轉碼目標設置假想的目標視頻層，每一次轉碼都把源編碼的 信息轉到這個假想的目標視頻層上。 針對無線信道誤碼率高的特點，基于 FCC(前向糾錯 )編碼的信道保護對無線媒體傳輸非常重要。這集中體現在視覺信息處理基本機理和視覺信息處理計算模型之間、計算模型與編碼理論和方法之間的強相關性上，這種相關性大體上可總結為表 2 和表 3。 特別是在局部視覺要素圖模型（如基元）計算模型方面，該模型有很強的視覺機理支持，即稀疏編碼理論。視覺注意目前主要有兩種模型，即：數據驅動的注意模型和任務驅動的注意模型。 (2)研究隊伍在相關課題的研究工作中已積累了豐富的經驗。同時，項目組由 研究隊伍由來自六個參與單位的科技人