【正文】 智能監(jiān)控的視頻編碼方法 針對視頻監(jiān)控智能化、高效率的發(fā)展需要，擬根據(jù)監(jiān)控視頻的特點研究其專用編碼方法，同時在視頻碼流中增加與之同步的對象層和索引層，分別描述視頻內(nèi)的監(jiān)控目標和整個視頻序列的結(jié)構(gòu)，服務(wù)于智能化預(yù)警和海量監(jiān)控視頻的快速檢索和高效存儲。而深度圖序列的編碼在滿足 (1)的情況下繼續(xù)滿足最小化 _ ( )D v r v DJ v isu a l D R R?? ? ? ? (2) 其中 vDJ? ， _ rvisual D ， Dv RR? ， 分別代表聯(lián)合視頻深度壓縮的拉格朗日代價，繪制圖像的視知覺失真，聯(lián)合視頻深度壓縮的碼率。 Turbo碼的解碼器基于網(wǎng)格選擇一條路徑，使得路徑上每個元素的后驗概率最大。這里包括以下幾項技術(shù)： 基于視間運動的邊信息推導(dǎo)：不同于傳統(tǒng)混合編碼的幀間預(yù)測，分布式視頻的 Wynerziv幀比特流中并沒有任何運動相關(guān)的描述信息。對于運動區(qū)域采用 Intra 編碼，對背景區(qū)域這類可以獲得 高質(zhì)量邊信息的區(qū)域采用分布式編碼，而對過渡區(qū)域等視覺不敏感的區(qū)域則采用主要以主觀效果為評價準則的分布式編碼。在增強層率失真建模時要考慮到圖像組內(nèi)的誤差漂移問題，平衡準確性和復(fù)雜度，尋求快速實用且接近于理論最優(yōu)的碼流截取方法。 基于所建立的注意模型，提取感興趣區(qū)域。這個特征類型集將是超完備并且恒定更新的，將會采用增量學(xué)習(xí)的辦法來保證編碼器和解碼器的內(nèi)容同步，并進行模型更新， (3) 基于視覺的動畫壓縮 我們擬結(jié)合動畫制作的基本原理，提取有效的動畫特征，包括邊緣，紋理，運動、或色彩等，建立起動畫中對象的模型表示，搭建基于視覺的動畫 壓縮系統(tǒng)，提高動畫的壓縮效率。 17 (2) 基于視知覺的視頻壓縮算法及框架 基于視知覺的視頻壓縮算法及其系統(tǒng)要求具有高效、功能完備、可實現(xiàn)的特點。 (1) 基于視知覺熵的視覺信息論 結(jié)合視知覺機理和視覺計算模型，我們認為 “視頻要素 ”是符合人類視覺處理機制的視頻信息的基本組成單元。 基于視覺模型的高效視頻編碼理論 以往視頻壓縮技術(shù)的主要理論基礎(chǔ)是香農(nóng)信息論，但目前遇到了效率瓶頸，這表現(xiàn)在壓縮效率進一步提升將以不可承受的復(fù)雜度增加為代價。同時，對于不可跟蹤運動基元，我們將在其特征空間 (如 PCA、Fourier 空間 )研究其光度和運動等動態(tài)特性。 我們將借鑒對一般跟蹤系統(tǒng)的分析方法，在貝葉斯推理理論框架下用信息論的方法 (information theoretic approach)，將物體狀態(tài)的 “不 可跟蹤性 ”度量定義為其后驗 條件熵 。本層是我們需要推理演算出的隱變量 (hidden variable)層， 是 以產(chǎn)生式要素圖模型生成底層的圖像。殘差值越大，該區(qū)域的可預(yù)測性越差，因此我們把局部圖像譜能量對數(shù)值殘差超過一定閥值的區(qū)域定義為感興趣的區(qū)域。 在模型研究方面， 考慮圖像在不同感覺、知覺層面上的不同表示，對于視覺信息的稀疏表示、視覺皮層 V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個層次 采用前饋聯(lián)接，采用無監(jiān)督和有監(jiān)督兩種不同學(xué)習(xí)方式解決局部特征和整體特征的學(xué)習(xí)任務(wù)。 具體的，在視覺基本機理方面，我們將采用多電極矩陣植入猴腦和計算仿真兩種方法，重點探討稀疏編碼、群組編碼、增量成組、運動感知、視覺注意等主要內(nèi)容。 12 三、研究方案 總體學(xué)術(shù)思路與技術(shù)路線 如前所述，傳統(tǒng)的視頻編碼技術(shù)建立在香農(nóng)信息論基礎(chǔ)上，只能在信號層面上采用統(tǒng)計處理的手段對視頻進行壓縮，所以，基于傳統(tǒng)信息論的方法流行多年，形成了延續(xù)至今的基于變換與預(yù)測的混合編碼框架，基于此的編碼效率已遭遇瓶頸。預(yù)期能夠為下一代視頻編碼國家標準 (AVS 階段 2)做出不可替代的貢獻 (預(yù)期本項目組成員貢獻率不低于 40%)。特別要采用先進的多電極矩陣技術(shù)手段，為揭示視知覺的神經(jīng)機制提供經(jīng)驗和第一手實驗證據(jù)。 (4) 面向遠程醫(yī)療的視頻編碼應(yīng)用技術(shù)研究： 根據(jù)基于視覺特性的視頻編碼理論和遠程醫(yī)療業(yè)務(wù)應(yīng)用需求， 針對遠程醫(yī)療的視頻編碼技術(shù)應(yīng)用場景進行分析和研究，主要包括：感興趣區(qū)域編碼的遠程醫(yī)療會診技術(shù)應(yīng)用研究 ,高動態(tài)范圍視頻手術(shù)監(jiān)測技術(shù)應(yīng)用研究等。 索引層以提高海量監(jiān)控視頻的檢索和存儲效率為目標，基于基本層中的感興趣區(qū)域、視 覺基元和對象層中的對象描述信息，研究監(jiān)控場景變化的檢測方法，提出評價視頻片段重要性的計量方法，獲得場景變換位置、視頻片段重要程度等描述信息，形成描述視頻結(jié)構(gòu)的索引，支持對監(jiān)控視頻的提綱攜領(lǐng)式檢索、摘要和存儲容量縮減。為了支持多視點切換，研究高效靈活的低延遲視點切換，同時使壓縮效率和視點切換代價之間達到最優(yōu)的平衡。然后對每個子視頻源使用相應(yīng)的高效編碼方法，以期獲取好的主觀質(zhì)量。在此理論研究基礎(chǔ)上我們將探索基于視覺信息論的 SVC 編碼框架及算法。在這里如何進行局部特征的提取，以 及利用這些局部特征對視覺模型的調(diào)整與具體編碼模塊間的聯(lián)系成為整個編碼系統(tǒng)的關(guān)鍵問題，因此，找出這些特征的規(guī)律，并用其指導(dǎo)壓縮成為提高壓縮效率的關(guān)鍵，為此項目研究還將對基于模型的圖像 /視 6 頻局部特征提取進行深入研究，從而可以通過學(xué)習(xí)訓(xùn)練適應(yīng)性地進行特征提取與編碼。目前的監(jiān)控系統(tǒng)均直接采用面向廣播或通信業(yè)務(wù)的視頻編碼方法，而沒有針對監(jiān)控任務(wù)本身進行特殊的編碼，因 此編碼和后端的智能分析功能是割裂開的。將視頻分解成基元結(jié)構(gòu)后，根據(jù)視覺機理中的 “中心 環(huán)繞 ”機制，視頻中的注意區(qū)域可定義為運動基元的時空特征拐點，如飛翔的小鳥、飄落的雪花可能會因其空間特征與周圍區(qū)域有顯著差異而顯著性高，而快速行走的人突然停下來可能會引起運動特征與周圍 (時間軸 )有變化而被關(guān)注。該系統(tǒng)包含了運動圖像序列中每一幀的要素圖表示。 視知覺基本機理的研究成果為實現(xiàn)人工視覺提供了一條可行的道路，利用基本視覺機理如稀疏編碼、 群組編碼、增量成組等 ，根據(jù)人類視覺系統(tǒng)在平移、旋轉(zhuǎn)、尺度下的不變性以及對數(shù)據(jù)缺失、噪聲等問題的自適應(yīng)性，從計算仿真的角度研究相應(yīng)的視覺信息處理計算結(jié)構(gòu)，探討視知覺的計算機理，建立相應(yīng)的表示和計算模 型。如圖所示，對應(yīng)三個關(guān)鍵科學(xué)問題，本項目的主要研究內(nèi)容自底向上分別建立在三個層面， 即：機理與模型層，理論與方法層，關(guān)鍵技術(shù)與驗證層。其解決不僅可以有效促進視覺編碼技術(shù)的發(fā)展，還可以從計算模擬的角度反過來推動視覺基本機理的研究。 從 視頻 編碼 的需求 角度看，編碼的主要 動機 是在 盡量保證 高質(zhì)量 視覺效果 的前提下最大限度地 降低碼率 ，達到壓縮的目的 。但我們?nèi)孕栉从昃I繆，從模型、理論、方法和技術(shù)上 為下一代 視頻編碼 國家標準和 國際標準的制定 早做準備，確保在下一輪的標準競爭中立于不敗之地。如何基于這些發(fā)現(xiàn)構(gòu)建相應(yīng)的、 可計算的視覺信息處理數(shù)學(xué)模型就成為一個重要的基礎(chǔ)科學(xué)問題。 圍繞上述三個關(guān)鍵科學(xué)問題，我們提出的總體研究內(nèi)容框架如圖 2 所示，以期建立解決這些問題的模型、理論和方法，構(gòu)建相應(yīng)的驗證平臺和原型系統(tǒng)。圖 3給出了本項目在視知覺基本機理方面擬開展的主要研究內(nèi)容，涉及的主要關(guān)鍵問題，機理模型 /假說，以及擬采用的技術(shù)手段。 在本項目的研究中，我們將基于靜態(tài)要素圖模型，提出一個針對視覺運動的、統(tǒng)一的視覺表示模型 ——時空要素圖 (Spatial Temporal prImal skeTCh graph — STITCH)系統(tǒng)。 在視覺注意計算方面 ， 項目 將基于前面討論的 STITCH 表示，研究視頻的注意選擇計算模型。最后，在視頻監(jiān)控領(lǐng)域，對智能視頻監(jiān)控的需求日益強烈。具體而言，就是從人的視覺特性出發(fā)，對視頻內(nèi)容進行分析，從中提取出視頻的關(guān)鍵特征，如邊緣、紋理、運動等人眼所關(guān)注的局部特征，探索針對這些局部特征的參數(shù)化算法、根據(jù)局部特征參數(shù)的視覺掩蔽模型的動態(tài)調(diào)整方法、以及相應(yīng)的量化算法和編碼算法，建立空域、時域、局部特征的相關(guān)性模型。理論部分主要結(jié)合香農(nóng)傳統(tǒng)信息論和視覺信息論，根據(jù)視知覺熵的定義、測度及相關(guān)率失真理論，探求可伸縮編碼的視知覺率失真曲線，及其與傳統(tǒng)率失真曲線的關(guān)系。根據(jù)這種分割準則，將視頻源劃分為若干個視覺特性、統(tǒng)計特性相異的子視頻源。基于立體視覺機理，進一步研究深度序列與彩色視頻的聯(lián)合高效壓縮，重構(gòu)出最優(yōu)的三維視頻。 對象層編碼面向監(jiān)控智能化的需要，基于基本層碼流中的視覺基元、運動向量等要素，研究監(jiān)控背景、場景、物體、人物等對象模型，分析異常行為和異常事件，形成描述監(jiān)控目標及其關(guān)系的對象層碼流，發(fā)揮基于視覺特性的編碼理論與方法的優(yōu)越性，提高視頻監(jiān)控系統(tǒng)的效率。研究基于傳輸通道的冗余編碼技術(shù)，減少傳輸過程對誤碼率的影響，適應(yīng)不同帶寬。 五年預(yù)期目標 根據(jù)上述總體目標，未來五年內(nèi)本項目預(yù)期在理論與方法、解決國家重大需求、科研成果和人才培養(yǎng)方面達到如下目標： 預(yù)期在理論與方法方面取得的進展、突破及其科學(xué)價值 如前所述，理論層面我們的總體目標是構(gòu)建 一套高效的基于視覺特性的視頻編碼理論、模型和方法體系，具體的五年目標主要體現(xiàn)在以下幾個 方面： (1) 在視覺 基本機理層面， 探索 視覺信息處理的基本神經(jīng)機制和認知機理并對其進行計算仿真 。 預(yù)期在解決國家重大需求方面的研究目標 (1) 突破數(shù)字視頻編解碼核心技術(shù) ，為制定下一代自主知識產(chǎn)權(quán)的高效視頻壓縮國際 /國家標準提供理論、方法和關(guān)鍵 技術(shù)上的支持，實現(xiàn) 5 年內(nèi)視頻壓縮率再提高 1 倍的目標 (即從目前的約 1:100 提高到 1:200)。培養(yǎng)博士 60 人、碩士 100 人。 本項目研究將基于上述總體思路展開，分別在視覺信息處理基本機理、視覺表示與計算模型、 視頻編碼理論與方法以及系統(tǒng)驗證等幾個層面展開。 具體方案為：向被試呈現(xiàn)不同的刺激圖片 (背景和圖像容易分離或不易分離，自然圖像或刺激－背景圖形 )，考察在給不同線索 (cue)情況下， ERP 的波形，反應(yīng)時間以及激活腦區(qū)的差異。擬采用局部譜能量對數(shù)的殘余量來定義感興趣區(qū)域。為靜態(tài)圖像表示提出的 要素圖模型，其本質(zhì)上是一種屬性圖表示。因此， (a) 我們首先要定義各種圖像基元在時空中的 “可跟蹤性 ”(trackability)及其度量。在此統(tǒng)計學(xué)習(xí)過程中，我們不斷地學(xué)習(xí)、更新可跟蹤運動基元在光度、幾何、運動、以及拓撲等不同維度上的動態(tài)特性。在本 項目 的研究中，我們將采用統(tǒng)計學(xué)習(xí)的方法，通過上下文相關(guān)的隨機圖語法來描述物體或基元在穿越不同熵域時發(fā)生的結(jié)構(gòu)變化。本 項目 的研究內(nèi)容包括理論基礎(chǔ)研究、算法及系統(tǒng)研究，具體的研究思路如下。本 項目 會對以上設(shè)想及測試方法的正確性、魯棒性進行分析、實驗、論證，對具有更一般性的方法開展研究。最終形成一個基本覆蓋所有自然圖片局部特征類型的集合，并建立模型，實現(xiàn)對這個特征類型集合的模型表示。模型的建立還要考慮與應(yīng)用類型的結(jié)合，如針對視頻監(jiān)控的應(yīng)用的注意模型等。 (3) 基于注意度的碼流優(yōu)化截取方法 碼流截斷須以重建視頻的視知覺率失真最優(yōu)為目標。如擬采用 Canny 算子，考慮運動的劇烈程度，可將一幀圖像分割為運動區(qū)域、過渡區(qū)域和背景區(qū)域。 (3) 研究多視頻源時間、視間聯(lián)合相關(guān)性，實現(xiàn)高效解碼 實現(xiàn)高效的分布式多視頻信源解碼的關(guān)鍵在于如何在解碼器端有效利用每個視點內(nèi)視頻序列的時間與空間相關(guān)性，以及多個視點之間的視間相關(guān)性來實現(xiàn)分布式信源的聯(lián)合解碼。這樣，無論是選擇一 個邊信息還是合并生成多個邊信息 , 對于解碼器而言，獲得的依然是相同維度的信號。一種理想的解決方法是通過聯(lián)合視知覺率失真最優(yōu)的方式對彩色視頻序列與深度序列進行壓縮，首先使彩色視頻編碼滿足下式最?。? _v v vJ visu al D R???. (1) 其中 vJ ， _ vvisual D ， vR 分別代表彩色視頻的拉格朗日代價，視知覺失真，碼率。 通過在液晶板前添加光柵，利用柵條交錯顯示左眼和右眼的畫面的原理，研制多視點的三維顯示技術(shù)，克服觀測者頭部必須佩戴定位裝置或顯示器必須配備自動跟蹤觀測者位置的裝置來調(diào)整 “視差柵欄 ”帶來的不便，使觀看者具有更加廣闊的視域。因此必須提取編碼端成像系統(tǒng)的降質(zhì)特性模型參數(shù)做為邊信息，在解碼端結(jié)合邊信息并利用視頻超分辨率方法重建出更高分辨率的清晰圖像。 對象層編碼是監(jiān)控智能化的重要支撐手段，主要研究監(jiān)控背景、監(jiān)控場景、重要物體和人物的建模、分析和編碼。本 項目 基于時空要素圖系統(tǒng)，可以從視頻中學(xué)習(xí)出不同熵域的運動圖像內(nèi)容的視覺詞匯集以及不同基元的流形，并籍此對視頻中的物體進行高效編碼。將視頻索引產(chǎn)生的描述信息置入壓縮碼流中，從而快速獲取所需的視頻監(jiān)控信息。 為了綜合實現(xiàn)這幾個方面的目標，同時簡化轉(zhuǎn)碼算法的設(shè)計，本 項目 采取了分步驟實現(xiàn)各個轉(zhuǎn)碼目標的方法，為每一個轉(zhuǎn)碼目標設(shè)置假想的目標視頻層，每一次轉(zhuǎn)碼都把源編碼的 信息轉(zhuǎn)到這個假想的目標視頻層上。 針對無線信道誤碼率高的特點，基于 FCC(前向糾錯 )編碼的信道保護對無線媒體傳輸非常重要。這集中體現(xiàn)在視覺信息處理基本機理和視覺信息處理計算模型之間、計算模型與編碼理論和方法之間的強相關(guān)性上，這種相關(guān)性大體上可總結(jié)為表 2 和表 3。 特別是在局部視覺要素圖模型（如基元）計算模型方面，該模型有很強的視覺機理支持，即稀疏編碼理論。視覺注意目前主要有兩種模型，即：數(shù)據(jù)驅(qū)動的注意模型和任務(wù)驅(qū)動的注意模型。 (2)研究隊伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗。同時，項目組由 研究隊伍由來自六個參與單位的科技人