【正文】 地聯(lián)系起來，即在前端編碼階段就盡量多地考慮后端的智能分析需求。 顯著性可以用特征與中心 /環(huán)繞類別標記之間的互信息來描述，特征與類別標記關(guān)聯(lián)越緊密，該特征越能將中心和環(huán)繞區(qū)域分離開，即中心與環(huán)繞區(qū)域之間的特征分布差異越大，則顯著性越高 這種定義在運動基 元上的顯著性與現(xiàn)有的基于低級特征 (如顏色、亮度、方向和光流 )的顯著性相比更加符合人類的視覺特性，可以為后續(xù)基于注意的視頻編碼和內(nèi)容監(jiān)控提供更多信息。這些要素圖比以往從靜態(tài)圖像中所獲得的要素圖顯示出更強的語義信息。 我們將在這一框架下研究包括視覺信息的稀疏表示、初級視覺皮層 (V1 區(qū) )、V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個層次、不同復(fù)雜度下特征形成的計算模型和實現(xiàn)算法。下面 我們分別從這三個層面對本項目的主要研究內(nèi)容進行闡述。 （ 3） 與人類視覺系統(tǒng)特性相吻合的 視頻表示及編碼的 理論 是什么？ 香農(nóng)信息論雖然從理論上給出了編碼效率的上界和失真的關(guān)系，但并未考慮編碼的符號 (事件 )集，因而對視頻中高階相關(guān)缺乏有效的描述手段。眾所周知，人類視覺系統(tǒng)的信息處理能力遠遠超過目前的視頻處理系統(tǒng)，因此，從方法論上借鑒人類視覺系統(tǒng)的視覺信息處理基本神經(jīng)機制和心理機理，構(gòu)建統(tǒng)一的圖像 /視頻基本結(jié)構(gòu)與表示模型及其相應(yīng)的視覺計算方法， 發(fā)展將香農(nóng)信息論與人類視覺系統(tǒng)信息處理原理相結(jié)合的 高效視覺信息編碼理論與方法，就成為了本項目的基本出發(fā)點和立項依據(jù)。經(jīng)過多年努力， 20xx 年 中國終于有了自己的視頻編碼國家標準 AVS。 （ 2） 視頻編碼可以利用的 符合視覺信息處理機理的計算模型是什么？ 盡管人類視覺系統(tǒng)的信息處理機理尚不完全明了，但隨著技術(shù)手段的提高，腦科學、神經(jīng)科學和認知心理學專家已經(jīng)掌握了越來越多的規(guī)律并提出了很多假說和模型。其中，視覺基本機理既是基本出發(fā)點也是落腳點，計算模型是橋梁和紐帶，視覺信息論則是設(shè)計和實現(xiàn)下一代視 頻編碼方法和技術(shù)的理論基礎(chǔ)。 視覺信息處理基本機理研究 在視知覺機理方面，將主要從生理、心理角度，通過神經(jīng)電生理學、視覺行為學、藥物學等研究手段，在靈長類動物上采用包括 微電極矩陣記錄方法 、 高時間分辨率的事件 相關(guān)電位 (ERP)、功能核磁共振 (fMRI)等 技術(shù)手段 從初級視覺皮層 V1 神經(jīng)元群體反應(yīng)特性入手，研究 V1 神經(jīng)元經(jīng)典和非經(jīng)典感受野與上級視覺皮層區(qū)域神經(jīng)元正向和反向聯(lián)系、 V1 神經(jīng)元之間的橫向聯(lián)系，以及視覺學習過程中神經(jīng)元群視覺編碼模式的變化特性，探索 初級和 高級皮層中的神經(jīng)元群在視覺處理中對簡單和復(fù)雜視覺刺激的編碼模式以及動態(tài)反應(yīng)模式，各級皮層神經(jīng)元群對不同視覺模式識別的貢獻，考察視覺注意和知覺組織之間相互影響和交互作用，以驗證或改進現(xiàn)有假說或理論模型 (如稀疏編碼、群組編碼、視覺注意、 3 增量成組假說等 )，乃至提出 有關(guān)視覺 模式識別的神經(jīng)機制 及編碼機理的新假說、新模型，為后續(xù)的計算模型的研究提供神經(jīng)機制和心理機理方面的基礎(chǔ)。特別要重點研究稀疏編碼、增量成組和視覺注意機制所遵循的基本規(guī)律及其可能的計算模型，進而建立與視覺信息處理相關(guān)的統(tǒng)計模型和計算方法 。 4 本項目將通過提出上述針對視頻信息的 “時空要素圖 ”表示模型和計算方法，研究將視頻分解為層次化 基元 結(jié)構(gòu)的可行性，探討視頻表示及編碼的基本數(shù)學模型問題，進而 探索 視頻的內(nèi)在基本結(jié)構(gòu)，為后續(xù)的 “視知覺熵 ”、 “視覺信息論 ”、基于視覺特性的高效視頻壓縮、多維度可伸縮編碼、分布式多視點編碼和面向智能監(jiān)控的視頻編碼等研究內(nèi)容提供基礎(chǔ)性的視覺表示和計算模型。其次，分布式系統(tǒng)、立體視系統(tǒng) (尤其是三維電視 )等應(yīng)用需求越來越強烈，因此也特別有必要針對這類多視頻源編碼問題進行探討，即所謂分布式多視點編碼。 在算法及系統(tǒng)方面，以視覺信息論為指導，研究基于視知覺的視頻壓縮算法及系統(tǒng)，設(shè)計理論上最優(yōu)的壓縮系統(tǒng)，尋找基于視知覺率失真理論的系統(tǒng)優(yōu)化方法。 多維度可伸縮編碼方法 對此問題將 從理論層和算法層分別展開。根據(jù)立體視覺成像的原理 , 利用多個視點圖像的空間幾何關(guān)系以及圖示線索知識獲取深度信息是立體視點視頻處理的重點研究內(nèi)容 ；同時 ，需要研究利用多視點視頻編碼對大量的視頻原始數(shù)據(jù)和輔助信息進行壓縮并且通過網(wǎng)絡(luò)進行有效傳輸；通過自由視點切換保 證用戶的交互功能，使用戶可以根據(jù)自己的興趣選擇不同的視角 具體的研究內(nèi)容包括： (1) 基于視覺特性的視頻源分割 在視覺模型的指導下，研究基于視覺特性與統(tǒng)計特性的信源分割準則。 (5) 基于立體視覺機理的多視編碼 研究 利用多個視點圖像的空間幾何關(guān)系以及圖示線索知識生成深度序列，用以精確表達真實世界的立體視覺信息。針對重要場合監(jiān)控中可獲得多攝像源的特點，通過多源視頻融合 獲得廣視角、高清晰的監(jiān)控效果 。 (3) 多流封裝技術(shù)： 針對網(wǎng)絡(luò)傳輸介質(zhì)誤碼率高、帶寬差異等問題，本 項目基于可伸縮編碼方法研究多流封裝技術(shù)，將一個視頻源分拆為多個獨立的視頻流單獨傳輸，從而 確保傳輸?shù)慕研?。其次，本項目面向智能監(jiān)控的編碼方法等研究成果預(yù)期可以改變 傳統(tǒng)視頻監(jiān) 控的應(yīng)用模式 ，從而服務(wù)于國家公共安全、重大事件應(yīng)急管理等國家重大需求；通用編碼方法則還可以為下一代寬帶移動多媒體應(yīng)用技術(shù)提供理論與核心技術(shù)基礎(chǔ)，并為航天遙現(xiàn)遙控等國家重大工程提供技術(shù)儲備。 (4) 在 視頻編碼方法層面 ， 構(gòu)建包括基于視覺模型的新型編碼方法、多維度可伸縮編碼方法、分布式多視點編碼方法和面向智能監(jiān)控的視頻編碼方法等在內(nèi)的 下一代高效視頻編碼理論與方法體系 。 (2) 在相關(guān)領(lǐng)域形成一支思維活躍、創(chuàng)新能力強的國際知名研究團隊，培養(yǎng)高水平學術(shù)人才，造就一批在國內(nèi)外相關(guān)領(lǐng)域有相當影響力的學術(shù)帶頭人。從而以視知覺熵和視知覺率失真理論為基礎(chǔ)，建立視覺信息論，為基于視覺模型的新型高效視頻編碼技術(shù)奠定堅實的理論基礎(chǔ)。 視覺注意的生理心理基礎(chǔ)及在視覺認知組織中的作用則將主要采用 ERP 和fMRI 技術(shù)，對被測試人的腦電活動進行測量，研究 知覺組織和 視覺信息處理過程中，基本成組和增量成組過程在時序和腦區(qū)上的差異，以及注意 等認知過程對其 之間的相互影響的差異以 加工 及相應(yīng)的腦機制 。 在最高的識別層，考慮到不可預(yù)測的信息包含更多信息量的情況，試圖對給定的圖像計算其不可預(yù)測信息。 (ii)系統(tǒng)的中層為要素圖層。這些不同熵域中的靜態(tài)基元在時空中的動態(tài)特性很不一樣。 (b) 我們將通過基于采樣的學習 (learning by sampling)方法，以及可跟蹤性與不可跟蹤性基元對視頻的競爭解釋機制，實現(xiàn)對運動圖像序列的全面分析，得到不同粒度上的基元、運動層次 (layer)或物體，以及它們在時空中的對應(yīng)關(guān)系，并可以對運動基元進行自動分類 (可跟蹤與不可跟蹤 )。所以，對于這種感知轉(zhuǎn)換機制 (perceptual transition mechanism)的研究將在理論上指導我們?nèi)绾吾槍Σ煌闆r采用適合的視覺 “詞匯集 ”來表示運動的 物體并通過解釋其中的變化來實現(xiàn)對復(fù)雜運動的魯棒分析。兩者效率上的差距正是基于視覺的視頻壓縮技術(shù)發(fā)展的空間。 主觀視覺評價是上述方法中的關(guān)鍵步驟，因此對魯棒的主觀視覺評價方法也需要進行深入研究。之后通過學習大量的自然圖片，獲得基本特征的變體，同時對基本集進行擴充。主要從如下四方面展開： (1) 基于注意模型的感興趣區(qū)域提取、表達及編碼 根據(jù)視知覺的敏感特性和視頻 中各視覺要素的統(tǒng)計特性，對視頻內(nèi)容進行區(qū)域劃分，建立對各注意區(qū)域的模型表示，并根據(jù)注意程度對感興趣的級別進行編碼表示。對此需要研究相應(yīng)的量化編碼策略，以達到高效的可伸縮編碼 。在分布式編解碼環(huán)中，考慮視覺特性與統(tǒng)計特性的差異，分別對各子視頻源采用與其視覺特性與統(tǒng)計特性相適應(yīng)的編解碼方法。 為了降低復(fù)雜度，可以借助視點間的幾何位置和采集參數(shù)來加速視差參數(shù)的估計。我們將多個邊信息組織成多維的信號。 彩色視頻的壓縮效率 21 是以視頻的率失真程度來衡量的 ，而通過立體視原理計算得到的深度序列并不是直接用來 觀看的，它是用來輔助繪制虛擬視點的，因此，按照編碼彩色視頻的方法直接編碼深度序列并不是最優(yōu)的方案，對深度序列單獨采用率失真（ RD）最優(yōu)的壓縮方法并不合適。 (6) 三維顯示研究 為支持用戶能按照深度感知能力選擇合適的欣賞視點，需要研究虛擬視點視頻合成與虛擬視點深度序列生成技術(shù)，從而能合成該虛擬視點的二維視頻以及對應(yīng)的深度序列。 更進一步，如果編碼端從攝像頭獲取的最高分辨率圖像仍然不夠清晰，在這種情況下，單純依靠壓縮編碼技術(shù)已經(jīng)沒有辦法提高該區(qū)域的分辨率了。我們將針對選定的重點監(jiān)控場所，構(gòu)建一個多源視頻融合監(jiān)控試驗中心，采用分布式編碼等新一代視頻編碼方法，獲得廣視角、高清晰的監(jiān)控視頻。 物體是監(jiān)控的重點對象，幾乎所有的物體檢測、識別與跟蹤都需要得到物體的位置和類型，這里由于時空要素圖能夠在語義層面對視頻進行表示和描述，我們還要驗證基于此種表達的不同物體檢測方法在不同環(huán)境下的檢測效果，如判別式模 型和生成式模型，并研究如何將這些檢測方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。對于視頻中的具體索引算法，將采用基于視覺關(guān)鍵詞的倒排索引方法；對于高維和時間序列數(shù)據(jù)，將采用改進樹結(jié)構(gòu)、時序擴展等方法來進行高效索引。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對應(yīng)于某一特定的目標，例如碼率縮減，空間分辨率縮減或者時間分辨率縮減，而實際視頻轉(zhuǎn)碼過程往往涉及這幾個方面的同時實現(xiàn)。利用不同流數(shù)據(jù)之間的相關(guān)性，建 立相關(guān)性函數(shù)并進行流化封包，從而達到各流之間相關(guān)性最小。 主要研究內(nèi)容 間的相互支撐關(guān)系 本項目的主要研究內(nèi)容從基本機理到計算模型、再到編碼理論和方法、最后到原型驗證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進。 通過表 2 和表 3 不難看出，本項目的各個研究內(nèi)容之間具有很強的關(guān)聯(lián)性，在項目執(zhí)行過程中有非常強的交叉性研究特點，有利于創(chuàng)新思路的誕生。 本項目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個例子則是視覺注意機制、顯著性計算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。在此基礎(chǔ)上， 對項目的立項依據(jù)、研究目標、研究內(nèi)容及具體研究方案進行了反復(fù)討論， 使得 設(shè)計的研究方案既具有較好的前瞻性和原創(chuàng)性，同時又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。該項目組的主要成員來自 神經(jīng)科學、生理學、心理學、 數(shù)學、計算機科學和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。 項目組的主要成員長期以來從事相關(guān)的研究工作，取得了 顯著 成果，為保證完成該項目的研究奠定了堅實的基礎(chǔ)。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運動等），分別計算各種特征的顯著性圖，融合得到最終的興趣圖。自然圖像 和視頻的統(tǒng)計分析表明，自然圖像的高階統(tǒng)計特性滿足非高斯分布，也就是說，大部分神經(jīng)元對外界信號的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對外界信號有較強的響應(yīng)，這種性質(zhì)稱為稀疏編碼。 表 2：視覺基本機理與計算模型之間的相互支撐和促進關(guān)系 視知覺機理或假說 表示或 計算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運動 感知 顏色知覺 時序 編碼 拓撲 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ ★ 顯著性計算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學習 ★ ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗證 表示或 計算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計算 ★ ★ ★ 局部特征學習 ★ ★ ★ 整體特征形成與識別模型 ★ ★ ★ 表 2 給出了本項目涉及的視知覺生理、心理機理和本項目研究的主要計算模型之間的相互關(guān)系。根據(jù)無線信道拓撲、信號質(zhì)量、和數(shù)據(jù)重要性，建立冗余量模型。研究以分步驟的轉(zhuǎn)碼算法為主，適當設(shè)計跨目標的轉(zhuǎn)碼算法。 寬帶移動多媒體應(yīng)用原型研究與驗證平臺 在基于視覺特性的高效視頻編碼 理論和算法基礎(chǔ)上，本項目將面向遠程醫(yī)療、 IPTV 等應(yīng)用搭建寬帶移動多媒體系統(tǒng)驗證平臺，提供基于寬帶和無線 移動網(wǎng)絡(luò) /具備 高動態(tài)范圍視頻顯示等 功能的多媒體服務(wù)。本 項目 還將驗證以時空要素圖為表達的跟蹤算法和它們在不同環(huán)境的跟蹤效果。對于攝像頭固定的場景，背景建 模是常用的、簡單且有效的用來提取前景的方法。超分辨率算法不同于像素內(nèi)插的上采樣算法，圖像的超分辨率重建，就是希望盡可能地挽回圖像的分辨率損失，以彌補其“先天不足”，即在保證通頻帶內(nèi)圖像低頻信息復(fù)原的基礎(chǔ)上，對截止頻率以上的高頻信息進 行復(fù)原，使重建圖像獲得更多的細節(jié)和信息，更加接近理想圖像。 22 面向