【正文】 (2)研究隊(duì)伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗(yàn)。 特別是在局部視覺要素圖模型（如基元）計(jì)算模型方面，該模型有很強(qiáng)的視覺機(jī)理支持，即稀疏編碼理論。 針對(duì)無線信道誤碼率高的特點(diǎn)，基于 FCC(前向糾錯(cuò) )編碼的信道保護(hù)對(duì)無線媒體傳輸非常重要。將視頻索引產(chǎn)生的描述信息置入壓縮碼流中，從而快速獲取所需的視頻監(jiān)控信息。 對(duì)象層編碼是監(jiān)控智能化的重要支撐手段，主要研究監(jiān)控背景、監(jiān)控場景、重要物體和人物的建模、分析和編碼。 通過在液晶板前添加光柵，利用柵條交錯(cuò)顯示左眼和右眼的畫面的原理，研制多視點(diǎn)的三維顯示技術(shù)，克服觀測者頭部必須佩戴定位裝置或顯示器必須配備自動(dòng)跟蹤觀測者位置的裝置來調(diào)整 “視差柵欄 ”帶來的不便，使觀看者具有更加廣闊的視域。這樣，無論是選擇一 個(gè)邊信息還是合并生成多個(gè)邊信息 , 對(duì)于解碼器而言，獲得的依然是相同維度的信號(hào)。如擬采用 Canny 算子，考慮運(yùn)動(dòng)的劇烈程度，可將一幀圖像分割為運(yùn)動(dòng)區(qū)域、過渡區(qū)域和背景區(qū)域。模型的建立還要考慮與應(yīng)用類型的結(jié)合，如針對(duì)視頻監(jiān)控的應(yīng)用的注意模型等。本 項(xiàng)目 會(huì)對(duì)以上設(shè)想及測試方法的正確性、魯棒性進(jìn)行分析、實(shí)驗(yàn)、論證，對(duì)具有更一般性的方法開展研究。在本 項(xiàng)目 的研究中，我們將采用統(tǒng)計(jì)學(xué)習(xí)的方法，通過上下文相關(guān)的隨機(jī)圖語法來描述物體或基元在穿越不同熵域時(shí)發(fā)生的結(jié)構(gòu)變化。因此， (a) 我們首先要定義各種圖像基元在時(shí)空中的 “可跟蹤性 ”(trackability)及其度量。擬采用局部譜能量對(duì)數(shù)的殘余量來定義感興趣區(qū)域。 本項(xiàng)目研究將基于上述總體思路展開，分別在視覺信息處理基本機(jī)理、視覺表示與計(jì)算模型、 視頻編碼理論與方法以及系統(tǒng)驗(yàn)證等幾個(gè)層面展開。 預(yù)期在解決國家重大需求方面的研究目標(biāo) (1) 突破數(shù)字視頻編解碼核心技術(shù) ，為制定下一代自主知識(shí)產(chǎn)權(quán)的高效視頻壓縮國際 /國家標(biāo)準(zhǔn)提供理論、方法和關(guān)鍵 技術(shù)上的支持，實(shí)現(xiàn) 5 年內(nèi)視頻壓縮率再提高 1 倍的目標(biāo) (即從目前的約 1:100 提高到 1:200)。研究基于傳輸通道的冗余編碼技術(shù)，減少傳輸過程對(duì)誤碼率的影響，適應(yīng)不同帶寬。基于立體視覺機(jī)理，進(jìn)一步研究深度序列與彩色視頻的聯(lián)合高效壓縮，重構(gòu)出最優(yōu)的三維視頻。理論部分主要結(jié)合香農(nóng)傳統(tǒng)信息論和視覺信息論，根據(jù)視知覺熵的定義、測度及相關(guān)率失真理論，探求可伸縮編碼的視知覺率失真曲線，及其與傳統(tǒng)率失真曲線的關(guān)系。最后，在視頻監(jiān)控領(lǐng)域，對(duì)智能視頻監(jiān)控的需求日益強(qiáng)烈。 在本項(xiàng)目的研究中，我們將基于靜態(tài)要素圖模型，提出一個(gè)針對(duì)視覺運(yùn)動(dòng)的、統(tǒng)一的視覺表示模型 ——時(shí)空要素圖 (Spatial Temporal prImal skeTCh graph — STITCH)系統(tǒng)。 圍繞上述三個(gè)關(guān)鍵科學(xué)問題，我們提出的總體研究內(nèi)容框架如圖 2 所示，以期建立解決這些問題的模型、理論和方法，構(gòu)建相應(yīng)的驗(yàn)證平臺(tái)和原型系統(tǒng)。但我們?nèi)孕栉从昃I繆，從模型、理論、方法和技術(shù)上 為下一代 視頻編碼 國家標(biāo)準(zhǔn)和 國際標(biāo)準(zhǔn)的制定 早做準(zhǔn)備，確保在下一輪的標(biāo)準(zhǔn)競爭中立于不敗之地。其解決不僅可以有效促進(jìn)視覺編碼技術(shù)的發(fā)展，還可以從計(jì)算模擬的角度反過來推動(dòng)視覺基本機(jī)理的研究。 視知覺基本機(jī)理的研究成果為實(shí)現(xiàn)人工視覺提供了一條可行的道路，利用基本視覺機(jī)理如稀疏編碼、 群組編碼、增量成組等 ，根據(jù)人類視覺系統(tǒng)在平移、旋轉(zhuǎn)、尺度下的不變性以及對(duì)數(shù)據(jù)缺失、噪聲等問題的自適應(yīng)性，從計(jì)算仿真的角度研究相應(yīng)的視覺信息處理計(jì)算結(jié)構(gòu)，探討視知覺的計(jì)算機(jī)理，建立相應(yīng)的表示和計(jì)算模 型。將視頻分解成基元結(jié)構(gòu)后，根據(jù)視覺機(jī)理中的 “中心 環(huán)繞 ”機(jī)制，視頻中的注意區(qū)域可定義為運(yùn)動(dòng)基元的時(shí)空特征拐點(diǎn)，如飛翔的小鳥、飄落的雪花可能會(huì)因其空間特征與周圍區(qū)域有顯著差異而顯著性高，而快速行走的人突然停下來可能會(huì)引起運(yùn)動(dòng)特征與周圍 (時(shí)間軸 )有變化而被關(guān)注。在這里如何進(jìn)行局部特征的提取，以 及利用這些局部特征對(duì)視覺模型的調(diào)整與具體編碼模塊間的聯(lián)系成為整個(gè)編碼系統(tǒng)的關(guān)鍵問題，因此，找出這些特征的規(guī)律，并用其指導(dǎo)壓縮成為提高壓縮效率的關(guān)鍵，為此項(xiàng)目研究還將對(duì)基于模型的圖像 /視 6 頻局部特征提取進(jìn)行深入研究，從而可以通過學(xué)習(xí)訓(xùn)練適應(yīng)性地進(jìn)行特征提取與編碼。然后對(duì)每個(gè)子視頻源使用相應(yīng)的高效編碼方法，以期獲取好的主觀質(zhì)量。 索引層以提高海量監(jiān)控視頻的檢索和存儲(chǔ)效率為目標(biāo)，基于基本層中的感興趣區(qū)域、視 覺基元和對(duì)象層中的對(duì)象描述信息，研究監(jiān)控場景變化的檢測方法，提出評(píng)價(jià)視頻片段重要性的計(jì)量方法，獲得場景變換位置、視頻片段重要程度等描述信息，形成描述視頻結(jié)構(gòu)的索引，支持對(duì)監(jiān)控視頻的提綱攜領(lǐng)式檢索、摘要和存儲(chǔ)容量縮減。特別要采用先進(jìn)的多電極矩陣技術(shù)手段，為揭示視知覺的神經(jīng)機(jī)制提供經(jīng)驗(yàn)和第一手實(shí)驗(yàn)證據(jù)。 12 三、研究方案 總體學(xué)術(shù)思路與技術(shù)路線 如前所述，傳統(tǒng)的視頻編碼技術(shù)建立在香農(nóng)信息論基礎(chǔ)上，只能在信號(hào)層面上采用統(tǒng)計(jì)處理的手段對(duì)視頻進(jìn)行壓縮，所以，基于傳統(tǒng)信息論的方法流行多年，形成了延續(xù)至今的基于變換與預(yù)測的混合編碼框架，基于此的編碼效率已遭遇瓶頸。 在模型研究方面， 考慮圖像在不同感覺、知覺層面上的不同表示，對(duì)于視覺信息的稀疏表示、視覺皮層 V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個(gè)層次 采用前饋聯(lián)接，采用無監(jiān)督和有監(jiān)督兩種不同學(xué)習(xí)方式解決局部特征和整體特征的學(xué)習(xí)任務(wù)。本層是我們需要推理演算出的隱變量 (hidden variable)層， 是 以產(chǎn)生式要素圖模型生成底層的圖像。同時(shí)，對(duì)于不可跟蹤運(yùn)動(dòng)基元，我們將在其特征空間 (如 PCA、Fourier 空間 )研究其光度和運(yùn)動(dòng)等動(dòng)態(tài)特性。 (1) 基于視知覺熵的視覺信息論 結(jié)合視知覺機(jī)理和視覺計(jì)算模型，我們認(rèn)為 “視頻要素 ”是符合人類視覺處理機(jī)制的視頻信息的基本組成單元。這個(gè)特征類型集將是超完備并且恒定更新的，將會(huì)采用增量學(xué)習(xí)的辦法來保證編碼器和解碼器的內(nèi)容同步，并進(jìn)行模型更新， (3) 基于視覺的動(dòng)畫壓縮 我們擬結(jié)合動(dòng)畫制作的基本原理，提取有效的動(dòng)畫特征，包括邊緣，紋理，運(yùn)動(dòng)、或色彩等，建立起動(dòng)畫中對(duì)象的模型表示，搭建基于視覺的動(dòng)畫 壓縮系統(tǒng)，提高動(dòng)畫的壓縮效率。在增強(qiáng)層率失真建模時(shí)要考慮到圖像組內(nèi)的誤差漂移問題，平衡準(zhǔn)確性和復(fù)雜度，尋求快速實(shí)用且接近于理論最優(yōu)的碼流截取方法。這里包括以下幾項(xiàng)技術(shù)： 基于視間運(yùn)動(dòng)的邊信息推導(dǎo)：不同于傳統(tǒng)混合編碼的幀間預(yù)測，分布式視頻的 Wynerziv幀比特流中并沒有任何運(yùn)動(dòng)相關(guān)的描述信息。而深度圖序列的編碼在滿足 (1)的情況下繼續(xù)滿足最小化 _ ( )D v r v DJ v isu a l D R R?? ? ? ? (2) 其中 vDJ? ， _ rvisual D ， Dv RR? ， 分別代表聯(lián)合視頻深度壓縮的拉格朗日代價(jià)，繪制圖像的視知覺失真，聯(lián)合視頻深度壓縮的碼率。超分辨率算法不同于像素內(nèi)插的上采樣算法，圖像的超分辨率重建，就是希望盡可能地挽回圖像的分辨率損失，以彌補(bǔ)其“先天不足”，即在保證通頻帶內(nèi)圖像低頻信息復(fù)原的基礎(chǔ)上，對(duì)截止頻率以上的高頻信息進(jìn) 行復(fù)原，使重建圖像獲得更多的細(xì)節(jié)和信息，更加接近理想圖像。本 項(xiàng)目 還將驗(yàn)證以時(shí)空要素圖為表達(dá)的跟蹤算法和它們在不同環(huán)境的跟蹤效果。研究以分步驟的轉(zhuǎn)碼算法為主，適當(dāng)設(shè)計(jì)跨目標(biāo)的轉(zhuǎn)碼算法。 表 2：視覺基本機(jī)理與計(jì)算模型之間的相互支撐和促進(jìn)關(guān)系 視知覺機(jī)理或假說 表示或 計(jì)算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運(yùn)動(dòng) 感知 顏色知覺 時(shí)序 編碼 拓?fù)? 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計(jì)算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗(yàn)證 表示或 計(jì)算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點(diǎn)編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ 表 2 給出了本項(xiàng)目涉及的視知覺生理、心理機(jī)理和本項(xiàng)目研究的主要計(jì)算模型之間的相互關(guān)系。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動(dòng)等），分別計(jì)算各種特征的顯著性圖，融合得到最終的興趣圖。該項(xiàng)目組的主要成員來自 神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、 數(shù)學(xué)、計(jì)算機(jī)科學(xué)和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。 本項(xiàng)目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個(gè)例子則是視覺注意機(jī)制、顯著性計(jì)算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。 主要研究內(nèi)容 間的相互支撐關(guān)系 本項(xiàng)目的主要研究內(nèi)容從基本機(jī)理到計(jì)算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進(jìn)。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對(duì)應(yīng)于某一特定的目標(biāo)，例如碼率縮減，空間分辨率縮減或者時(shí)間分辨率縮減，而實(shí)際視頻轉(zhuǎn)碼過程往往涉及這幾個(gè)方面的同時(shí)實(shí)現(xiàn)。 物體是監(jiān)控的重點(diǎn)對(duì)象，幾乎所有的物體檢測、識(shí)別與跟蹤都需要得到物體的位置和類型，這里由于時(shí)空要素圖能夠在語義層面對(duì)視頻進(jìn)行表示和描述，我們還要驗(yàn)證基于此種表達(dá)的不同物體檢測方法在不同環(huán)境下的檢測效果，如判別式模 型和生成式模型，并研究如何將這些檢測方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。 更進(jìn)一步，如果編碼端從攝像頭獲取的最高分辨率圖像仍然不夠清晰，在這種情況下，單純依靠壓縮編碼技術(shù)已經(jīng)沒有辦法提高該區(qū)域的分辨率了。 彩色視頻的壓縮效率 21 是以視頻的率失真程度來衡量的 ，而通過立體視原理計(jì)算得到的深度序列并不是直接用來 觀看的，它是用來輔助繪制虛擬視點(diǎn)的，因此，按照編碼彩色視頻的方法直接編碼深度序列并不是最優(yōu)的方案，對(duì)深度序列單獨(dú)采用率失真（ RD）最優(yōu)的壓縮方法并不合適。 為了降低復(fù)雜度，可以借助視點(diǎn)間的幾何位置和采集參數(shù)來加速視差參數(shù)的估計(jì)。對(duì)此需要研究相應(yīng)的量化編碼策略，以達(dá)到高效的可伸縮編碼 。之后通過學(xué)習(xí)大量的自然圖片，獲得基本特征的變體，同時(shí)對(duì)基本集進(jìn)行擴(kuò)充。兩者效率上的差距正是基于視覺的視頻壓縮技術(shù)發(fā)展的空間。 (b) 我們將通過基于采樣的學(xué)習(xí) (learning by sampling)方法，以及可跟蹤性與不可跟蹤性基元對(duì)視頻的競爭解釋機(jī)制，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像序列的全面分析，得到不同粒度上的基元、運(yùn)動(dòng)層次 (layer)或物體，以及它們在時(shí)空中的對(duì)應(yīng)關(guān)系，并可以對(duì)運(yùn)動(dòng)基元進(jìn)行自動(dòng)分類 (可跟蹤與不可跟蹤 )。 (ii)系統(tǒng)的中層為要素圖層。 視覺注意的生理心理基礎(chǔ)及在視覺認(rèn)知組織中的作用則將主要采用 ERP 和fMRI 技術(shù)，對(duì)被測試人的腦電活動(dòng)進(jìn)行測量，研究 知覺組織和 視覺信息處理過程中，基本成組和增量成組過程在時(shí)序和腦區(qū)上的差異，以及注意 等認(rèn)知過程對(duì)其 之間的相互影響的差異以 加工 及相應(yīng)的腦機(jī)制 。 (2) 在相關(guān)領(lǐng)域形成一支思維活躍、創(chuàng)新能力強(qiáng)的國際知名研究團(tuán)隊(duì)，培養(yǎng)高水平學(xué)術(shù)人才，造就一批在國內(nèi)外相關(guān)領(lǐng)域有相當(dāng)影響力的學(xué)術(shù)帶頭人。其次，本項(xiàng)目面向智能監(jiān)控的編碼方法等研究成果預(yù)期可以改變 傳統(tǒng)視頻監(jiān) 控的應(yīng)用模式 ，從而服務(wù)于國家公共安全、重大事件應(yīng)急管理等國家重大需求；通用編碼方法則還可以為下一代寬帶移動(dòng)多媒體應(yīng)用技術(shù)提供理論與核心技術(shù)基礎(chǔ)，并為航天遙現(xiàn)遙控等國家重大工程提供技術(shù)儲(chǔ)備。針對(duì)重要場合監(jiān)控中可獲得多攝像源的特點(diǎn)，通過多源視頻融合 獲得廣視角、高清晰的監(jiān)控效果 。根據(jù)立體視覺成像的原理 , 利用多個(gè)視點(diǎn)圖像的空間幾何關(guān)系以及圖示線索知識(shí)獲取深度信息是立體視點(diǎn)視頻處理的重點(diǎn)研究內(nèi)容 ；同時(shí) ，需要研究利用多視點(diǎn)視頻編碼對(duì)大量的視頻原始數(shù)據(jù)和輔助信息進(jìn)行壓縮并且通過網(wǎng)絡(luò)進(jìn)行有效傳輸；通過自由視點(diǎn)切換保 證用戶的交互功能，使用戶可以根據(jù)自己的興趣選擇不同的視角 具體的研究內(nèi)容包括： (1) 基于視覺特性的視頻源分割 在視覺模型的指導(dǎo)下，研究基于視覺特性與統(tǒng)計(jì)特性的信源分割準(zhǔn)則。 在算法及系統(tǒng)方面，以視覺信息論為指導(dǎo)，研究基于視知覺的視頻壓縮算法及系統(tǒng)，設(shè)計(jì)理論上最優(yōu)的壓縮系統(tǒng)，尋找基于視知覺率失真理論的系統(tǒng)優(yōu)化方法。 4 本項(xiàng)目將通過提出上述針對(duì)視頻信息的 “時(shí)空要素圖 ”表示模型和計(jì)算方法，研究將視頻分解為層次化 基元 結(jié)構(gòu)的可行性，探討視頻表示及編碼的基本數(shù)學(xué)模型問題，進(jìn)而 探索 視頻的內(nèi)在基本結(jié)構(gòu)，為后續(xù)的 “視知覺熵 ”、 “視覺信息論 ”、基于視覺特性的高效視頻壓縮、多維度可伸縮編碼、分布式多視點(diǎn)編碼和面向智能監(jiān)控的視頻編碼等研究內(nèi)容提供基礎(chǔ)性的視覺表示和計(jì)算模型。 視覺信息處理基本機(jī)理研究 在視知覺機(jī)理方面，將主要從生理、心理角度，通過神經(jīng)電生理學(xué)、視覺行為學(xué)、藥物學(xué)等研究手段，在靈長類動(dòng)物上