【導(dǎo)讀】(通信網(wǎng))等數(shù)字媒體產(chǎn)業(yè)的共性關(guān)鍵技術(shù)。特別是近年來，我國的數(shù)字媒體產(chǎn)業(yè)。迅猛發(fā)展，年均產(chǎn)值已近萬億元，使得音視頻編解碼標(biāo)準(zhǔn)技術(shù)的地位越來越重要。經(jīng)過多年努力，20xx年中國終于有了自己的視頻編碼國家標(biāo)準(zhǔn)AVS。準(zhǔn)的制定早做準(zhǔn)備，確保在下一輪的標(biāo)準(zhǔn)競爭中立于不敗之地。前提下最大限度地降低碼率，達(dá)到壓縮的目的。眾所周知，人類視覺系統(tǒng)的信息。確的重建，其本質(zhì)是視覺信息的基本結(jié)構(gòu)和有效表示問題。但遺憾的是，其基本神經(jīng)機(jī)制、知覺和認(rèn)知機(jī)理目前尚不完全清晰。和認(rèn)知機(jī)理，研究相應(yīng)的理論和模型，對其進(jìn)行實(shí)驗(yàn)驗(yàn)證與計算仿真，以期能夠用以指導(dǎo)建立更加有效的視覺計算模型。提出了很多假說和模型。信息處理數(shù)學(xué)模型就成為一個重要的基礎(chǔ)科學(xué)問題。其解決不僅可以有?？紤]編碼的符號(事件)集，因而對視頻中高階相關(guān)缺乏有效的描述手段。算視覺感知的后驗(yàn)概率建立的。處理相關(guān)的統(tǒng)計模型和計算方法。

　　

【正文】 響，利用視覺心理冗余對監(jiān)控視頻中的背景進(jìn)行高效編碼。監(jiān)控場景分析對于異常行為與事件的實(shí)時監(jiān)測起著至關(guān)重要的作用。在本 項(xiàng)目 中，我們將研究基于時空要素圖的統(tǒng)一表達(dá)，對監(jiān)控環(huán)境中的不同場景建立并學(xué)習(xí)相應(yīng)的統(tǒng)計模型，并驗(yàn)證其效果，例如對室內(nèi) /室外、不同天氣 (陰天、晴天、下雨或下雪等 )下光照的不 同變化情況建模、對動態(tài)噪音 (如樹、草、水、陰影、反光等 )的瞬時動態(tài)干擾建模、以及對物體運(yùn)動的路徑軌跡等進(jìn)行自動統(tǒng)計，從而總結(jié)歸納出其運(yùn)動的規(guī)律，建立統(tǒng)計性的描述。當(dāng)違反規(guī)律的事件發(fā)生時，即認(rèn)為是異常事件，同時對異常事件中涉及的對象進(jìn)行其特征提取并記錄在對象層碼流中，為今后實(shí)現(xiàn)視頻的高效檢索打下基礎(chǔ)。 物體是監(jiān)控的重點(diǎn)對象，幾乎所有的物體檢測、識別與跟蹤都需要得到物體的位置和類型，這里由于時空要素圖能夠在語義層面對視頻進(jìn)行表示和描述，我們還要驗(yàn)證基于此種表達(dá)的不同物體檢測方法在不同環(huán)境下的檢測效果，如判別式模 型和生成式模型，并研究如何將這些檢測方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。本 項(xiàng)目 基于時空要素圖系統(tǒng)，可以從視頻中學(xué)習(xí)出不同熵域的運(yùn)動圖像內(nèi)容的視覺詞匯集以及不同基元的流形，并籍此對視頻中的物體進(jìn)行高效編碼。本 項(xiàng)目 還將驗(yàn)證以時空要素圖為表達(dá)的跟蹤算法和它們在不同環(huán)境的跟蹤效果。 人臉是監(jiān)控中對人物進(jìn)行監(jiān)測和跟蹤的最重要依據(jù)之一，本項(xiàng)目將采用統(tǒng)計學(xué)習(xí)方法通過對大量人臉數(shù)據(jù)的學(xué)習(xí)，建立人臉的統(tǒng)計模型，以檢測出復(fù)雜背景中的多姿態(tài)人臉。在人臉識別方面，根據(jù)監(jiān)控視頻中在一個時段內(nèi)連續(xù)出現(xiàn)的特點(diǎn)，我們將從基于序列的人 臉檢測和識別方法入手展開工作，研究時序信息的有效利用、低質(zhì)量人臉的預(yù)處理、基于局部視覺模型的識別方法、超分辨率分析等內(nèi)容，以實(shí)現(xiàn)人物這一重要監(jiān)控對象的提取和編碼。 視頻索引將充分利用視覺計算模型中的視覺注意選擇策略，同時融合對比度、位置和多運(yùn)動等信息，并根據(jù)監(jiān)控場景切換、突變或結(jié)構(gòu)變化情況的分析結(jié)果，建立時間和空間上自適應(yīng)的多尺度摘要生成算法，使其更加符合人類認(rèn)知，同時滿足可計算性；并進(jìn)一步根據(jù)視頻的時序關(guān)注曲線，研究并提出評價視頻片 24 段重要性的計量方法。視頻索引面向視頻特征和語義描述信息，主要采用通用技術(shù)與 特定算法相結(jié)合的方法獲得，通用技術(shù)主要是研究視頻基元的統(tǒng)計特性，以得到視頻的特征描述，并采用統(tǒng)計學(xué)習(xí)或規(guī)則學(xué)習(xí)的方法得到中層特征的模型，以得到視頻基本結(jié)構(gòu)和基本對象的描述。特定算法是指對各種不同類型視頻片段和關(guān)鍵對象的檢測技術(shù)。對于視頻中的具體索引算法，將采用基于視覺關(guān)鍵詞的倒排索引方法；對于高維和時間序列數(shù)據(jù)，將采用改進(jìn)樹結(jié)構(gòu)、時序擴(kuò)展等方法來進(jìn)行高效索引。將視頻索引產(chǎn)生的描述信息置入壓縮碼流中，從而快速獲取所需的視頻監(jiān)控信息。 寬帶移動多媒體應(yīng)用原型研究與驗(yàn)證平臺 在基于視覺特性的高效視頻編碼 理論和算法基礎(chǔ)上，本項(xiàng)目將面向遠(yuǎn)程醫(yī)療、 IPTV 等應(yīng)用搭建寬帶移動多媒體系統(tǒng)驗(yàn)證平臺，提供基于寬帶和無線 移動網(wǎng)絡(luò) /具備 高動態(tài)范圍視頻顯示等 功能的多媒體服務(wù)。 具體的研究思路介紹如下： (1)高動態(tài)視頻采集 在高動態(tài)范圍視頻的獲取上，本項(xiàng)目利用遠(yuǎn)程醫(yī)療場景下已經(jīng)配置有多個攝像頭的特點(diǎn)，通過設(shè)定每個攝像頭不同的快門速度，獲取不同動態(tài)范圍，在經(jīng)過重建后就可以得到統(tǒng)一的高動態(tài)范圍場景。高動態(tài)范圍視頻的編碼需要考慮高動態(tài)范圍視頻的特點(diǎn)，根據(jù)人眼視覺特點(diǎn)進(jìn)行高效的編碼。高動態(tài)范圍視頻不能直接在普通設(shè)備中顯示，必須要通過 色調(diào)映射轉(zhuǎn)化為普通動態(tài)范圍視頻。本項(xiàng)目研究新穎的色調(diào)映射方法，應(yīng)用于遠(yuǎn)程醫(yī)療中。 (2) 視頻轉(zhuǎn)碼技術(shù) 主要研究各種視頻源到媒體流生成轉(zhuǎn)換的工作，將視頻采集和其他來源的多媒體數(shù)據(jù)進(jìn)行流化封裝，用于網(wǎng)絡(luò)傳輸準(zhǔn)備。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對應(yīng)于某一特定的目標(biāo)，例如碼率縮減，空間分辨率縮減或者時間分辨率縮減，而實(shí)際視頻轉(zhuǎn)碼過程往往涉及這幾個方面的同時實(shí)現(xiàn)。 為了綜合實(shí)現(xiàn)這幾個方面的目標(biāo)，同時簡化轉(zhuǎn)碼算法的設(shè)計，本 項(xiàng)目 采取了分步驟實(shí)現(xiàn)各個轉(zhuǎn)碼目標(biāo)的方法，為每一個轉(zhuǎn)碼目標(biāo)設(shè)置假想的目標(biāo)視頻層，每一次轉(zhuǎn)碼都把源編碼的 信息轉(zhuǎn)到這個假想的目標(biāo)視頻層上。研究以分步驟的轉(zhuǎn)碼算法為主，適當(dāng)設(shè)計跨目標(biāo)的轉(zhuǎn)碼算法。 對于視頻轉(zhuǎn)碼的分析， 項(xiàng)目 將最基本的概率統(tǒng)計，信息論和量化理論入手，通過點(diǎn)漂移誤差分析來建立視頻轉(zhuǎn)碼幀的漂移誤差模型，進(jìn)而確定視頻轉(zhuǎn)碼調(diào)度包的優(yōu)先級。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實(shí)現(xiàn)多流編碼的重要技術(shù)之一。但作為分層編碼特點(diǎn)，接收端在缺乏基本層數(shù)據(jù)條件下，無法進(jìn)行解碼。利用多描述編碼在時間軸的冗余特性，對視頻數(shù)據(jù)進(jìn)行分流操作。然后再采用可伸縮編碼，對每個子流分層處理。利用不同流數(shù)據(jù)之間的相關(guān)性，建 立相關(guān)性函數(shù)并進(jìn)行流化封包，從而達(dá)到各流之間相關(guān)性最小。 針對無線信道誤碼率高的特點(diǎn)，基于 FCC(前向糾錯 )編碼的信道保護(hù)對無線媒體傳輸非常重要。根據(jù)無線信道拓?fù)?、信號質(zhì)量、和數(shù)據(jù)重要性，建立冗余量模型。對不同流、不同傳輸路徑采用不同的冗余參數(shù)，利用最小的冗余數(shù)據(jù)提高正確率。 (4) 面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù) 驗(yàn)證 跟蹤遠(yuǎn)程醫(yī)療系統(tǒng)的演進(jìn)情況，分析遠(yuǎn)程醫(yī)療應(yīng)用中針對視頻編碼的業(yè)務(wù)需求，設(shè)計面向遠(yuǎn)程醫(yī)療的視頻編碼技術(shù)應(yīng)用場景，包括： 感興趣區(qū)域編碼的遠(yuǎn)程醫(yī)療會診技術(shù)應(yīng)用研究：利用基于視覺特性的多維度可伸縮編 碼方法 ,實(shí)現(xiàn)手術(shù)監(jiān)測圖像中不同重要性區(qū)域的編碼質(zhì)量分級 , 提高圖像整體的壓縮比例。 高動態(tài)范圍視頻手術(shù)監(jiān)測技術(shù)應(yīng)用研究：利用高動態(tài)范圍視頻的高寬容度 ,實(shí)現(xiàn)遠(yuǎn)程手術(shù)高保真?zhèn)魉汀? 面向遠(yuǎn)程醫(yī)療的寬帶移動多媒體應(yīng)用原型系統(tǒng)研究：結(jié)合視頻編碼的最新成果和業(yè)務(wù)應(yīng)用場景，提出面向遠(yuǎn)程醫(yī)療的寬帶移動多媒體原型系統(tǒng)的設(shè)計方案。結(jié)合基于視覺特性的高效編碼技術(shù)、圖像處理技術(shù)和寬帶移動多媒體技術(shù)，保證視頻在單播以及組播場景下的連貫性和穩(wěn)定性，研究寬帶移動多媒體傳輸支撐關(guān)鍵技術(shù)，搭建寬帶移動多媒體傳輸驗(yàn)證平臺。 主要研究內(nèi)容 間的相互支撐關(guān)系 本項(xiàng)目的主要研究內(nèi)容從基本機(jī)理到計算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進(jìn)。這集中體現(xiàn)在視覺信息處理基本機(jī)理和視覺信息處理計算模型之間、計算模型與編碼理論和方法之間的強(qiáng)相關(guān)性上，這種相關(guān)性大體上可總結(jié)為表 2 和表 3。 表 2：視覺基本機(jī)理與計算模型之間的相互支撐和促進(jìn)關(guān)系 視知覺機(jī)理或假說 表示或 計算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運(yùn)動 感知 顏色知覺 時序 編碼 拓?fù)? 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ ★ 顯著性計算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗(yàn)證 表示或 計算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點(diǎn)編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計算 ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ 表 2 給出了本項(xiàng)目涉及的視知覺生理、心理機(jī)理和本項(xiàng)目研究的主要計算模型之間的相互關(guān)系。有 “?”的位置表示該行所代表的計算模型與該列中的生理、心理機(jī)理或假說具有強(qiáng)相關(guān)性。在底層的視覺信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動感知和視覺注意等方面的機(jī)理與假說，這對本項(xiàng)目重點(diǎn)涉及的視覺基元模型、時空要素圖、視覺顯著性計算模型等視頻表示和計算模型提供 了重要的機(jī)理基礎(chǔ)和設(shè)計指南。反過來，這些計算模型的研究也可以反過來促進(jìn)視知覺機(jī)理研究領(lǐng)域的發(fā)展，包括提出新的假說或深化現(xiàn)有機(jī)理假說。表 3 則給出了這些計算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。類似的，其中的 “?”也表示了橫縱位置的計算模型和編碼方法之間有強(qiáng)相關(guān)性。 通過表 2 和表 3 不難看出，本項(xiàng)目的各個研究內(nèi)容之間具有很強(qiáng)的關(guān)聯(lián)性，在項(xiàng)目執(zhí)行過程中有非常強(qiáng)的交叉性研究特點(diǎn)，有利于創(chuàng)新思路的誕生。 特別是在局部視覺要素圖模型（如基元）計算模型方面，該模型有很強(qiáng)的視覺機(jī)理支持，即稀疏編碼理論。自然圖像 和視頻的統(tǒng)計分析表明，自然圖像的高階統(tǒng)計特性滿足非高斯分布，也就是說，大部分神經(jīng)元對外界信號的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對外界信號有較強(qiáng)的響應(yīng)，這種性質(zhì)稱為稀疏編碼。稀疏編碼理論意味著圖像可以通過多個基函數(shù)的線性組合來表示。 27 再比如，本項(xiàng)目視覺信息處理基本機(jī)理方面將會重點(diǎn)研究的群組編碼也可以對后續(xù)的視頻處理提供有效支持。群組編碼研究表明，視覺處理的過程并非簡單的從初級視覺皮層到更高級的視覺皮層，而是有反饋機(jī)制，即既有自底向上的推理過程，也有自頂向下的反饋過程。因此，在視覺計算模型的設(shè)計上， 也就必須要采用自底向上和自頂向下二者的有機(jī)結(jié)合。通過對此展開研究，有利于在面向監(jiān)控的智能視頻編碼中提供準(zhǔn)確的對象信息，從而有利于實(shí)現(xiàn)分層索引編碼以及為后續(xù)的智能監(jiān)控和視頻檢索服務(wù)。 本項(xiàng)目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個例子則是視覺注意機(jī)制、顯著性計算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。視覺注意目前主要有兩種模型，即：數(shù)據(jù)驅(qū)動的注意模型和任務(wù)驅(qū)動的注意模型。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動等），分別計算各種特征的顯著性圖，融合得到最終的興趣圖。而任務(wù)驅(qū)動 的注意模型則強(qiáng)調(diào)自頂向下的注意，涉及記憶和先驗(yàn)等各種因素。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時針對不同的顯著性進(jìn)行有選擇性的比特分配，從而實(shí)現(xiàn)在視覺注意層面上的可伸縮。 注意機(jī)制和模型還可以用于面向智能監(jiān)控視頻的編碼中，通過對重點(diǎn)關(guān)注對象或區(qū)域的有效編碼、索引和處理，可以實(shí)現(xiàn)基于注意機(jī)制的索引構(gòu)建、對象檢索和分析，從而實(shí)現(xiàn)更加智能的視頻監(jiān)控和檢索。 可行性分析 (1)研究目標(biāo)明確，研究方案具體，并進(jìn)行了長時期的論證。 本項(xiàng)目組 長期 以來對該 項(xiàng)目涉及的 研究 內(nèi)容 進(jìn)行了充分的調(diào) 研，并取得了一定的 前期成果。在此基礎(chǔ)上， 對項(xiàng)目的立項(xiàng)依據(jù)、研究目標(biāo)、研究內(nèi)容及具體研究方案進(jìn)行了反復(fù)討論， 使得 設(shè)計的研究方案既具有較好的前瞻性和原創(chuàng)性，同時又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。 (2)研究隊(duì)伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗(yàn)。 項(xiàng)目組的主要成員長期以來從事相關(guān)的研究工作，取得了 顯著 成果，為保證完成該項(xiàng)目的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。其中包括下述具有國際先進(jìn)水平的研究工作： 在視知覺基本機(jī)理方面 ， 從結(jié)構(gòu)和功能的角度在視網(wǎng)膜水平對人和哺乳動物進(jìn)行了詳細(xì)的研究，并對不同種屬動物的視皮層神經(jīng)元 反應(yīng)特性和感受野進(jìn)行了深入研究，系統(tǒng)地分析了年齡對視皮層神經(jīng)元的感受野特性和視皮層視覺信息處理能力的影響，詳細(xì)闡述了老年猴視覺通路神經(jīng)元的結(jié)構(gòu)和功能特征，提出抑制性神經(jīng)遞質(zhì)可改善老年猴 V1 神經(jīng)元的功能；在視覺計算模型方面，我們在尺度 28 空間理論、運(yùn)動圖像模型與分析、局部視覺模型和特征提取方面積累了良好的基礎(chǔ) ； 在視覺手勢分析、人臉模式分析與識別方面，分別榮獲了國家科技進(jìn)步二等獎。在視頻編碼壓縮方面 ， 提出一系列高效智能的圖像視頻編碼算法，被 AVS、MPEG 視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與 高清的視頻編碼標(biāo)準(zhǔn) AVS 的 制定。 項(xiàng)目組先后在國際知名期刊和國際會議上發(fā)表了 400 多篇論文，其中有超過 80 篇文章在本領(lǐng)域頂級國際期刊 Science、 Nature Neuroscience、 Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、 IEEE Trans. on Circuits and Systems for Video Technology、 IEEE Trans. on Multimedia、 IEEE Trans. on Image Processing、 IEEE Trans. on Neural Network、 IEEE Trans. on Knowledge and Data Engineering、 Pattern Recognition、 International Journal of Computer Vision、 Neural Computation等上發(fā)表。 (3) 項(xiàng)目 承擔(dān)與合作單位各有所長，研究隊(duì)伍精干，專業(yè)分布合適。 本項(xiàng)目的一個最大特點(diǎn)是研究內(nèi)容涉及到多個學(xué)科，具有很強(qiáng)的學(xué)科交叉性。該項(xiàng)目組的主要成員來自 神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、 數(shù)學(xué)、計算機(jī)科學(xué)和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。同時，項(xiàng)目組由 研究隊(duì)伍由來自六個參與單位的科技人員組