【正文】 采用包括 微電極矩陣記錄方法 、 高時(shí)間分辨率的事件 相關(guān)電位 (ERP)、功能核磁共振 (fMRI)等 技術(shù)手段 從初級視覺皮層 V1 神經(jīng)元群體反應(yīng)特性入手，研究 V1 神經(jīng)元經(jīng)典和非經(jīng)典感受野與上級視覺皮層區(qū)域神經(jīng)元正向和反向聯(lián)系、 V1 神經(jīng)元之間的橫向聯(lián)系，以及視覺學(xué)習(xí)過程中神經(jīng)元群視覺編碼模式的變化特性，探索 初級和 高級皮層中的神經(jīng)元群在視覺處理中對簡單和復(fù)雜視覺刺激的編碼模式以及動態(tài)反應(yīng)模式，各級皮層神經(jīng)元群對不同視覺模式識別的貢獻(xiàn)，考察視覺注意和知覺組織之間相互影響和交互作用，以驗(yàn)證或改進(jìn)現(xiàn)有假說或理論模型 (如稀疏編碼、群組編碼、視覺注意、 3 增量成組假說等 )，乃至提出 有關(guān)視覺 模式識別的神經(jīng)機(jī)制 及編碼機(jī)理的新假說、新模型，為后續(xù)的計(jì)算模型的研究提供神經(jīng)機(jī)制和心理機(jī)理方面的基礎(chǔ)。 （ 2） 視頻編碼可以利用的 符合視覺信息處理機(jī)理的計(jì)算模型是什么？ 盡管人類視覺系統(tǒng)的信息處理機(jī)理尚不完全明了，但隨著技術(shù)手段的提高，腦科學(xué)、神經(jīng)科學(xué)和認(rèn)知心理學(xué)專家已經(jīng)掌握了越來越多的規(guī)律并提出了很多假說和模型。眾所周知，人類視覺系統(tǒng)的信息處理能力遠(yuǎn)遠(yuǎn)超過目前的視頻處理系統(tǒng)，因此，從方法論上借鑒人類視覺系統(tǒng)的視覺信息處理基本神經(jīng)機(jī)制和心理機(jī)理，構(gòu)建統(tǒng)一的圖像 /視頻基本結(jié)構(gòu)與表示模型及其相應(yīng)的視覺計(jì)算方法， 發(fā)展將香農(nóng)信息論與人類視覺系統(tǒng)信息處理原理相結(jié)合的 高效視覺信息編碼理論與方法，就成為了本項(xiàng)目的基本出發(fā)點(diǎn)和立項(xiàng)依據(jù)。下面 我們分別從這三個(gè)層面對本項(xiàng)目的主要研究內(nèi)容進(jìn)行闡述。這些要素圖比以往從靜態(tài)圖像中所獲得的要素圖顯示出更強(qiáng)的語義信息。為此本項(xiàng)目提出一種新的解決思路，試圖將二者更加緊密地聯(lián)系起來，即在前端編碼階段就盡量多地考慮后端的智能分析需求。通過在傳統(tǒng)三維 SVC 框架上引入注意度，進(jìn)一步提高 SVC 編碼的性能；引入針 對高動態(tài)范圍視頻輸入的動態(tài)范圍這一自由度，支持高動態(tài)范圍圖像的編碼顯示。 (6) 三維顯示技術(shù) 研究高效虛擬視合成技術(shù)，可使用戶按照深度感知能力選擇合適的欣賞視點(diǎn)；研究多視點(diǎn)的三維顯示器，使觀察者具有更加廣闊的視域。 (5) 高清 IPTV 和固定移動融合（ FMC）視頻應(yīng)用驗(yàn)證平臺實(shí)現(xiàn)技術(shù) ： 研究面向遠(yuǎn)程醫(yī)療的高清 IPTV 網(wǎng)絡(luò)流媒體系統(tǒng)架構(gòu)，固定移動融合（ FMC）環(huán)境下的網(wǎng)絡(luò)流媒體系統(tǒng)架構(gòu)，搭建相 應(yīng)的寬帶移動多媒體傳輸驗(yàn)證平臺，對新一代基于視覺特性的視頻編碼理論和方法進(jìn)行驗(yàn)證。同 時(shí) ，至少申請 10 項(xiàng)以上 具有我國自主知識產(chǎn)權(quán) 的國際專利 ， 扭轉(zhuǎn)中國視頻產(chǎn)業(yè)核心技術(shù)長期受制 于人的被動局面，推動我國 數(shù)字視音頻產(chǎn)業(yè)的戰(zhàn)略轉(zhuǎn)型。這些機(jī)理可以指導(dǎo)我們研究新的視頻內(nèi)容表示與計(jì)算模型，具體的，我們擬沿著對視覺信息進(jìn)行統(tǒng)計(jì)學(xué)習(xí)的思路，學(xué)習(xí)圖像 /視頻的基本要素，建立時(shí)空要素圖模型，并在此基礎(chǔ)上對視覺注意進(jìn)行建模分析。通過大量的計(jì)算機(jī)實(shí)驗(yàn)，利用該殘差定義的感興趣區(qū)域與人類視知覺的注意區(qū)域相吻合。它 體現(xiàn)了狀態(tài)估計(jì)或跟蹤過程中的狀態(tài)的不確定性。基于此，本 項(xiàng)目 研究基于視知覺的視頻壓縮。主要是從兩個(gè)方面進(jìn)行研究 ： 首先，在混合編碼框架內(nèi)結(jié)合所提取的視覺特征，提高傳統(tǒng)編碼框架下的編碼效率，對此我們將研究基于局部特征的動態(tài)量化，即針對人的對比敏感度函數(shù)、紋理掩蔽效應(yīng) 、頻率掩蔽效應(yīng)、速度掩蔽效應(yīng)等動態(tài)視覺特性，研究在視覺失真的最大容忍程度下的優(yōu)化量化編碼方法； 其次，視頻信息可由一組 “視頻要素 ”來進(jìn)行符合視知覺機(jī)理的高效表示，則壓縮算法需要以視頻要素為處理對象。為提高視覺效果，在感興趣區(qū)域與非感興趣區(qū)域之間設(shè)置梯度過渡區(qū)域，組織合理的碼流結(jié)構(gòu)表示感興趣區(qū)域參數(shù)以及內(nèi)容，并同時(shí)考慮感興趣區(qū)域的重疊等情況，最大程度地減少比特開支，提高碼流組織方法的魯棒性。 (2) 多視頻源相關(guān)模型的分布式視頻編碼 多視頻信源不僅每個(gè)視頻信源本身具有高度的時(shí)空相關(guān)性，而且不同視頻信源之間也具有很強(qiáng)的視間相關(guān)性。一般情況下，收到的校驗(yàn)位只是用來驗(yàn)證在只有一個(gè)邊信息的情況下每個(gè)可能路徑的正確性。 在適合監(jiān)控特點(diǎn)的可伸縮視頻編碼研究方面，將建立規(guī)模化的監(jiān)控視頻測試序列庫，覆蓋典型監(jiān)控場景，針對監(jiān)控視頻全天候采集的特點(diǎn)和關(guān)注重要目標(biāo)細(xì)節(jié)的需求，以多維度可伸縮編碼方法為基礎(chǔ)，在分辨率可伸縮、幀率可伸縮、區(qū)域或?qū)ο罂缮炜s以及編碼質(zhì)量可伸縮等方面開展研究，提出滿足上述各類情況的可伸縮編碼算法和針對監(jiān)控視頻的基元、碼表，設(shè)計(jì)適合監(jiān)控需要的視頻編碼方案并進(jìn)行標(biāo)準(zhǔn)化。我們將在時(shí)空要素圖表示框架下，通過運(yùn)動分析與跟蹤算法，學(xué)習(xí)、建立針對監(jiān)控背景的統(tǒng)計(jì)模型。 具體的研究思路介紹如下： (1)高動態(tài)視頻采集 在高動態(tài)范圍視頻的獲取上，本項(xiàng)目利用遠(yuǎn)程醫(yī)療場景下已經(jīng)配置有多個(gè)攝像頭的特點(diǎn)，通過設(shè)定每個(gè)攝像頭不同的快門速度，獲取不同動態(tài)范圍，在經(jīng)過重建后就可以得到統(tǒng)一的高動態(tài)范圍場景。對不同流、不同傳輸路徑采用不同的冗余參數(shù)，利用最小的冗余數(shù)據(jù)提高正確率。稀疏編碼理論意味著圖像可以通過多個(gè)基函數(shù)的線性組合來表示。其中包括下述具有國際先進(jìn)水平的研究工作： 在視知覺基本機(jī)理方面 ， 從結(jié)構(gòu)和功能的角度在視網(wǎng)膜水平對人和哺乳動物進(jìn)行了詳細(xì)的研究，并對不同種屬動物的視皮層神經(jīng)元 反應(yīng)特性和感受野進(jìn)行了深入研究，系統(tǒng)地分析了年齡對視皮層神經(jīng)元的感受野特性和視皮層視覺信息處理能力的影響，詳細(xì)闡述了老年猴視覺通路神經(jīng)元的結(jié)構(gòu)和功能特征，提出抑制性神經(jīng)遞質(zhì)可改善老年猴 V1 神經(jīng)元的功能；在視覺計(jì)算模型方面，我們在尺度 28 空間理論、運(yùn)動圖像模型與分析、局部視覺模型和特征提取方面積累了良好的基礎(chǔ) ； 在視覺手勢分析、人臉模式分析與識別方面，分別榮獲了國家科技進(jìn)步二等獎。 本項(xiàng)目組 長期 以來對該 項(xiàng)目涉及的 研究 內(nèi)容 進(jìn)行了充分的調(diào) 研，并取得了一定的 前期成果。類似的，其中的 “?”也表示了橫縱位置的計(jì)算模型和編碼方法之間有強(qiáng)相關(guān)性。然后再采用可伸縮編碼，對每個(gè)子流分層處理。特定算法是指對各種不同類型視頻片段和關(guān)鍵對象的檢測技術(shù)。通過將同一區(qū)域從不同角度、方位拍攝的多個(gè)視頻進(jìn)行融合，獲得針對這一區(qū)域的清晰度更高的視頻。 ? 利用分布式編碼：利用來自于不同視點(diǎn)的邊信息，進(jìn)行視覺率失真最優(yōu)的傳輸調(diào)度，既降低了視點(diǎn)切換延遲，又保證了較高的壓縮效率，從而可以提供高效的交互式多視點(diǎn)視頻服務(wù)。為了使解碼器更充分地利用多個(gè)邊信息。在視覺特性與統(tǒng)計(jì)特性的關(guān)聯(lián)模型的指導(dǎo)下，結(jié)合邊緣檢測、感興趣區(qū)域檢測等技術(shù)將視頻源劃分為若干個(gè)視覺特性，統(tǒng)計(jì)特性相異的子視頻源區(qū)域?；谝陨犀F(xiàn)狀，本項(xiàng)目 主要研究如何在 SVC 技術(shù)中引入新的維度：注意度和動態(tài)范圍，從而利用人眼視知覺的特性進(jìn)一步提高壓縮視頻的主觀質(zhì)量。 視知覺率失真理論可在視知覺熵?cái)?shù)量化的基礎(chǔ)上，通過視覺要素有損表示下組合視頻與原始視頻的主觀視覺差異性測試，來確定 率失真關(guān)系，從而完成視知覺率失真理論。在此過程中，如果僅僅用一個(gè) blob 將不足以表示汽車不斷涌現(xiàn)的細(xì)節(jié)，這時(shí)我們要不斷選擇合適的視覺 “詞匯集 ”(visual vocabulary)來描述它在不同熵域中的表觀。 15 由于運(yùn)動的物體處于不同的熵域中，所以對不同類型的靜態(tài)圖像基元有不同的表示，如表示低熵結(jié)構(gòu) “可勾畫 ”部分 (sketchable)的簡約圖模型和表示高熵 “不可勾畫 ”部分 (nonsketchable) 的紋理模型。我 14 們將針對某些特定的典型任務(wù)設(shè)計(jì)相 應(yīng)的整體特征形成與學(xué)習(xí)方法，研究如何將任務(wù)的先驗(yàn)知識或領(lǐng)域知識融入到整體特征的表示與學(xué)習(xí)中。為此，我們就需要探討符合視覺感知的視覺基元與視覺信息論中基本信源符號的關(guān)系，尋找基本信源符號的合理定義，進(jìn)而提出并形式化視覺信息量、視知覺熵等概念，研究其測度和數(shù)量化方法，尋找并借助客觀、魯棒、易行的視覺質(zhì)量評價(jià)方法，探索基于視知覺熵的率失真關(guān)系，進(jìn)而形成新的率失真理論。 建立視覺信息量、視知覺熵等概念 的形式化描述 ，從而 構(gòu)建 符合視覺特性的視頻編碼理論。同時(shí)在轉(zhuǎn)碼過程中研究編碼的率失真屬性，為視頻的有效調(diào)度打下基礎(chǔ)。這樣既可以達(dá)到更優(yōu)的碼率與視覺質(zhì)量平衡，還可以控制解碼器的計(jì)算復(fù)雜度。 隨著硬件技術(shù)的快速發(fā)展，高分辨率的逐行顯示設(shè)備越來越普及，但在許多應(yīng)用場合由于歷史的原因隔 行視頻還將長期存在一段時(shí)間，對此我們擬研究基于超分辨率技術(shù)的去隔行效應(yīng)研究，實(shí)現(xiàn)低分辨率、低幀率的隔行視頻到高分辨率、高幀率的視頻轉(zhuǎn)換，取得更好的主觀效果。 傳統(tǒng)的可伸縮編碼重點(diǎn)在時(shí)間、空間和質(zhì)量上進(jìn)行伸縮，我們則提出了更多的維度，包括注意可伸縮、動態(tài)范圍可伸縮等。 面向視頻編碼的視覺計(jì)算模型研究 在上述視知覺機(jī)理研究基礎(chǔ)上，我們將從功能模擬的角度，采用統(tǒng)計(jì)學(xué)習(xí)方法，研究 從圖像和視頻中學(xué)習(xí)與視覺感知相對應(yīng)的視覺信息表示基本粒子結(jié)構(gòu)，建立形式化數(shù)學(xué)描述的有關(guān)理論和方法。 上述三個(gè)關(guān)鍵科學(xué)問題緊緊圍繞視覺信息處理系統(tǒng)中最核心的表示與編碼問題，分別從生理 /心理基本機(jī)理、視覺信息處理計(jì)算模型、視頻編碼基礎(chǔ)理論三個(gè)層面展開。特別是近年來，我國的數(shù)字媒體產(chǎn)業(yè)迅猛發(fā)展，年均產(chǎn)值已近萬億元，使得音視頻編解碼標(biāo)準(zhǔn) 技術(shù) 的 地位越來越重要 。視覺信息論試圖借鑒神經(jīng)生理學(xué)在不同感知階段對感知對象的抽象，建 2 立對應(yīng)的符號 (事件 )集，使之能夠方便地描述高階相關(guān)性，體現(xiàn)語義結(jié)構(gòu)，從而豐富信息論理論。具體研究內(nèi)容包括：在視皮層網(wǎng)絡(luò)結(jié)構(gòu)第一層上研究視覺信息稀疏表示的機(jī)器學(xué)習(xí)算法、超完備表示對實(shí)現(xiàn)魯棒圖像編碼的作用以及基于超完備表示的特征提取方法等。 視頻編碼理論與方法層 上述視覺基本機(jī)理與模型層研究的核心內(nèi)容是視覺信息的有效表示問題，而視頻編碼的根本目標(biāo)則是要使用盡可能少的比特來編碼表達(dá)原始視頻中包含的視覺信息，因此，上述基本機(jī)理和數(shù)學(xué)模型恰可以利用以進(jìn)行高效的視頻編碼，而且這為突破現(xiàn)有技術(shù)框架提出了新思路，即基于視覺特性的高效視頻編碼理論。動畫本身的產(chǎn)生機(jī)制非常有利于采用基于視覺的編碼方法，和自然視頻相比，動畫一般有著較明顯的邊緣特征、紋理特征、或色彩一致的區(qū)域，運(yùn)動模型也相對較容易建立，因此我們擬 結(jié)合動畫制作的基本原理，對基于視覺特征的動畫編碼進(jìn)行研究，搭建基于視覺的動畫壓縮系統(tǒng) ,提高動畫的壓縮效率，為推動基于視覺的視頻壓縮應(yīng)用邁出關(guān)鍵的一步。 (3) 研究多視頻源時(shí)間、視間聯(lián)合相關(guān)性，實(shí)現(xiàn)高效解碼 分布式編碼理論要求獨(dú)立編碼的信源碼流必須在解碼端聯(lián)合解碼，通過充分挖掘信源間的相關(guān)性來高質(zhì)量地重建源數(shù)據(jù)。我們重點(diǎn)考慮在寬帶移動多媒體應(yīng)用中進(jìn)行原型研究和系統(tǒng)驗(yàn)證，構(gòu)建相應(yīng)的驗(yàn)證平臺。 (2) 在視覺計(jì)算模型層面 ， 建立統(tǒng)一的統(tǒng)計(jì)視覺表示與計(jì)算模型 。 因此，本項(xiàng)目的總體研究思路就是 (如圖 12 中間虛線右側(cè)部分 )：借鑒人類視覺系統(tǒng)的信息處理過程，將編碼的理論基礎(chǔ)向視覺通路的后端延伸，即延伸至視覺皮層的 V1 區(qū)， V2 區(qū)， V3 區(qū)， V4 區(qū)，乃至 IT/MT 區(qū)。其中， 第一層對應(yīng)稀疏表示，目標(biāo)是建立視覺信息的 超完備表示，模擬視覺初始皮層的功能，該層的學(xué)習(xí)算法采用自適應(yīng)的視覺信息稀疏表示算法，在神經(jīng)信息內(nèi)部編碼方面，研究基于神經(jīng)元信號獨(dú)立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計(jì)模型，使得該層的神經(jīng)元具有超完備稀疏響應(yīng)特征。 我們將在 貝葉斯 理論框架下通過最大似然估計(jì)的方法學(xué)習(xí)時(shí)空要素圖系統(tǒng)中的最優(yōu)參數(shù) (包括以上提到的各方面內(nèi)容 )，從而實(shí)現(xiàn)對要素圖的整合、分割、與組合，并實(shí)現(xiàn)對運(yùn)動基元 (或子圖 )的提取、跟蹤，以及對圖語法規(guī)則的學(xué)習(xí)。在分別研究了不同類型運(yùn)動基元的動態(tài)特性后，我們將通過回歸式數(shù)學(xué)模型來描述物體以及基元之間在運(yùn)動軌跡方面的相互影響；通過學(xué)習(xí)上下文相關(guān)的隨機(jī)圖語法來描述在運(yùn)動過程中物體或基元之間在拓?fù)浣Y(jié)構(gòu)上產(chǎn)生的相互影響與作用關(guān)系。 視知覺熵的定義及其數(shù)量化測度，特別是視知覺熵的動態(tài)測度，是視覺信息論可應(yīng)用的關(guān)鍵。我們擬對圖像中的高頻信息和低頻信息分別考慮，對高頻信息進(jìn)行建模表示，研究基于多參考幀的超分辨率插值技術(shù)，提高超分辨率視頻的重構(gòu)質(zhì)量。 分布式多視點(diǎn)視頻編碼方法 針對分布式視頻編碼，以 WynerZiv理論為指導(dǎo)，研究基于視知覺質(zhì)量評價(jià)準(zhǔn)則的信源分割方法以及相應(yīng)的信源相關(guān)模型，同時(shí)在分布式多視頻解碼過程中，為了有效利用多視頻信源之間的冗余信息，需要研究如何建立高效的時(shí)間視間聯(lián)合相關(guān)模型以及面向視覺的自適應(yīng)解碼。相鄰視點(diǎn)同一個(gè)物體往往具有相似的運(yùn)動趨勢，某一傳感器中的視頻序列 Wynerziv 幀中物體的運(yùn)動趨勢可以由另外一個(gè)傳感器中相對應(yīng)物體的運(yùn)動趨勢來估計(jì)。高效靈活的低延遲視點(diǎn)切換是多視點(diǎn)視頻系統(tǒng)的需求。 根據(jù)重要場合視頻監(jiān)控?cái)z像頭眾多、監(jiān)控中心集中的特點(diǎn)，研究多源視頻融合技術(shù)，實(shí)現(xiàn)廣視角、高清晰的監(jiān)控視頻增強(qiáng)方法。在人臉識別方面，根據(jù)監(jiān)控視頻中在一個(gè)時(shí)段內(nèi)連續(xù)出現(xiàn)的特點(diǎn)，我們將從基于序列的人 臉檢測和識別方法入手展開工作，研究時(shí)序信息的有效利用、低質(zhì)量人臉的預(yù)處理、基于局部視覺模型的識別方法、超分辨率分析等內(nèi)容，以實(shí)現(xiàn)人物這一重要監(jiān)控對象的提取和編碼。 25 (3) 面向可伸縮編碼的 多流封裝流化 可伸縮編碼是實(shí)現(xiàn)多流編碼的重要技術(shù)之一。在底層的視覺信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動感知和視覺注意等方面的機(jī)理與假說，這對本項(xiàng)目重點(diǎn)涉及的視覺基元模型、時(shí)空要素圖、視覺顯著性計(jì)算模型等視頻表示和計(jì)算模型提供 了重要的機(jī)理基礎(chǔ)和設(shè)計(jì)指南。上述注意模型可以提供有效的