【正文】 ，建立對各注意區(qū)域的模型表示，并根據(jù)注意程度對感興趣的級別進(jìn)行編碼表示。 多維度可伸縮編碼 現(xiàn)有的 SVC 編碼標(biāo)準(zhǔn)主要從空間、時間、質(zhì)量三個維度上實現(xiàn)可伸縮性，對 HVS 的考慮還非常少，因此在性能上仍有很大提升空間。我們擬對圖像中的高頻信息和低頻信息分別考慮，對高頻信息進(jìn)行建模表示，研究基于多參考幀的超分辨率插值技術(shù)，提高超分辨率視頻的重構(gòu)質(zhì)量。這個特征類型集將是超完備并且恒定更新的，將會采用增量學(xué)習(xí)的辦法來保證編碼器和解碼器的內(nèi)容同步，并進(jìn)行模型更新， (3) 基于視覺的動畫壓縮 我們擬結(jié)合動畫制作的基本原理，提取有效的動畫特征，包括邊緣，紋理，運動、或色彩等，建立起動畫中對象的模型表示，搭建基于視覺的動畫 壓縮系統(tǒng)，提高動畫的壓縮效率。之后通過學(xué)習(xí)大量的自然圖片，獲得基本特征的變體，同時對基本集進(jìn)行擴(kuò)充。為了保證所提出的基于視覺的編碼系統(tǒng)具有很好的適應(yīng)性，在各類型的視頻序列上都能取得較高的編碼效率，我們將首先將自然圖像中的局部結(jié)構(gòu)分為幾個最基本的特征參數(shù)來描述，如：輪廓形狀 、方向，空間周期性，時間周期性等。這些視頻要素可以具體地由邊緣、紋理、運動等圖像 /視頻的局部特征來表示。 17 (2) 基于視知覺的視頻壓縮算法及框架 基于視知覺的視頻壓縮算法及其系統(tǒng)要求具有高效、功能完備、可實現(xiàn)的特點。 主觀視覺評價是上述方法中的關(guān)鍵步驟，因此對魯棒的主觀視覺評價方法也需要進(jìn)行深入研究。測試方法、視知覺熵的數(shù)量化方法以及高階視覺熵的定義需要深入研究。 視知覺熵的定義及其數(shù)量化測度，特別是視知覺熵的動態(tài)測度，是視覺信息論可應(yīng)用的關(guān)鍵。 (1) 基于視知覺熵的視覺信息論 結(jié)合視知覺機(jī)理和視覺計算模型，我們認(rèn)為 “視頻要素 ”是符合人類視覺處理機(jī)制的視頻信息的基本組成單元。兩者效率上的差距正是基于視覺的視頻壓縮技術(shù)發(fā)展的空間。因此，人類視覺系統(tǒng)對有意義信息的提取，也即對視頻數(shù)據(jù)知覺冗余的壓縮，是相當(dāng)高效的。人類視覺系統(tǒng)提取外界信息是一個從底層像素到高層物體邊緣、結(jié)構(gòu)、顏色、紋理、運動的一個層級、漸進(jìn)抽象的過程。 基于視覺模型的高效視頻編碼理論 以往視頻壓縮技術(shù)的主要理論基礎(chǔ)是香農(nóng)信息論，但目前遇到了效率瓶頸，這表現(xiàn)在壓縮效率進(jìn)一步提升將以不可承受的復(fù)雜度增加為代價。所以，對于這種感知轉(zhuǎn)換機(jī)制 (perceptual transition mechanism)的研究將在理論上指導(dǎo)我們?nèi)绾吾槍Σ煌闆r采用適合的視覺 “詞匯集 ”來表示運動的 物體并通過解釋其中的變化來實現(xiàn)對復(fù)雜運動的魯棒分析。例如，一輛汽車 由遠(yuǎn)及近地駛來：它在很遠(yuǎn)的地方由于相機(jī)分辨率有限，成像后可以簡單地用一個尺度很 16 小的點 (blob)來表示，這時它處在高熵紋理區(qū)；隨著汽車的駛近，它會經(jīng)過中熵以及低熵圖像表示區(qū)。在分別研究了不同類型運動基元的動態(tài)特性后，我們將通過回歸式數(shù)學(xué)模型來描述物體以及基元之間在運動軌跡方面的相互影響；通過學(xué)習(xí)上下文相關(guān)的隨機(jī)圖語法來描述在運動過程中物體或基元之間在拓?fù)浣Y(jié)構(gòu)上產(chǎn)生的相互影響與作用關(guān)系。同時，對于不可跟蹤運動基元，我們將在其特征空間 (如 PCA、Fourier 空間 )研究其光度和運動等動態(tài)特性。 (b) 我們將通過基于采樣的學(xué)習(xí) (learning by sampling)方法，以及可跟蹤性與不可跟蹤性基元對視頻的競爭解釋機(jī)制，實現(xiàn)對運動圖像序列的全面分析，得到不同粒度上的基元、運動層次 (layer)或物體，以及它們在時空中的對應(yīng)關(guān)系，并可以對運動基元進(jìn)行自動分類 (可跟蹤與不可跟蹤 )。我們稱之為基元對視頻的 “競爭解釋機(jī)制 ”。由此我們可以導(dǎo)出可跟蹤性度量。 我們將借鑒對一般跟蹤系統(tǒng)的分析方法，在貝葉斯推理理論框架下用信息論的方法 (information theoretic approach)，將物體狀態(tài)的 “不 可跟蹤性 ”度量定義為其后驗 條件熵 。這些不同熵域中的靜態(tài)基元在時空中的動態(tài)特性很不一樣。運動基元也可以按粒度近一步的分解，如一個行走的人作為某一層上的運動基元可被進(jìn)一步分解成為頭、軀干、四肢等具有不同運動特性卻又相互關(guān)聯(lián)的不同運動基元。 我們將在 貝葉斯 理論框架下通過最大似然估計的方法學(xué)習(xí)時空要素圖系統(tǒng)中的最優(yōu)參數(shù) (包括以上提到的各方面內(nèi)容 )，從而實現(xiàn)對要素圖的整合、分割、與組合，并實現(xiàn)對運動基元 (或子圖 )的提取、跟蹤，以及對圖語法規(guī)則的學(xué)習(xí)。本層是我們需要推理演算出的隱變量 (hidden variable)層， 是 以產(chǎn)生式要素圖模型生成底層的圖像。 (ii)系統(tǒng)的中層為要素圖層。 具體地我們擬定以下研究方案： 首先，我們提出 “時空要素圖系統(tǒng) ”來統(tǒng)一地表示視頻中復(fù)雜的運動內(nèi)容。在定義感興趣區(qū)域的基礎(chǔ)上，我們將利用 Itti 的貝葉斯模型，定義視覺注意區(qū)域，并且給出計算算法。殘差值越大，該區(qū)域的可預(yù)測性越差，因此我們把局部圖像譜能量對數(shù)值殘差超過一定閥值的區(qū)域定義為感興趣的區(qū)域。 在最高的識別層，考慮到不可預(yù)測的信息包含更多信息量的情況，試圖對給定的圖像計算其不可預(yù)測信息。 第三層的功能是視覺整體特征的形成，該層依賴于具體的視覺處理任務(wù)。其中， 第一層對應(yīng)稀疏表示，目標(biāo)是建立視覺信息的 超完備表示，模擬視覺初始皮層的功能，該層的學(xué)習(xí)算法采用自適應(yīng)的視覺信息稀疏表示算法，在神經(jīng)信息內(nèi)部編碼方面，研究基于神經(jīng)元信號獨立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計模型，使得該層的神經(jīng)元具有超完備稀疏響應(yīng)特征。 在模型研究方面， 考慮圖像在不同感覺、知覺層面上的不同表示，對于視覺信息的稀疏表示、視覺皮層 V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個層次 采用前饋聯(lián)接，采用無監(jiān)督和有監(jiān)督兩種不同學(xué)習(xí)方式解決局部特征和整體特征的學(xué)習(xí)任務(wù)。 視覺注意的生理心理基礎(chǔ)及在視覺認(rèn)知組織中的作用則將主要采用 ERP 和fMRI 技術(shù)，對被測試人的腦電活動進(jìn)行測量，研究 知覺組織和 視覺信息處理過程中，基本成組和增量成組過程在時序和腦區(qū)上的差異，以及注意 等認(rèn)知過程對其 之間的相互影響的差異以 加工 及相應(yīng)的腦機(jī)制 。 各主要研究內(nèi)容的研究方案 基于上述總體學(xué)術(shù)思路和技術(shù)路線，本項目各個主要研究內(nèi)容的研究方案概述如下： 視覺信息處理基本機(jī)理方面 這部分的研究將采用包括清醒動物神經(jīng)電生理學(xué)、視覺行為學(xué)和藥物學(xué)方法以及 ERP、 fMRI 等技術(shù)手段研究生物視覺系統(tǒng)知覺組織主要環(huán)節(jié)的神經(jīng)機(jī)制和心理機(jī)理。最后則可以基于這些計算模型研究基于局部視覺模型的高效視頻編碼、包含注意機(jī)制的多維度可伸縮編碼、分布式多視編碼和面向智能監(jiān)控的視頻編碼等理 論與方法。 具體的，在視覺基本機(jī)理方面，我們將采用多電極矩陣植入猴腦和計算仿真兩種方法，重點探討稀疏編碼、群組編碼、增量成組、運動感知、視覺注意等主要內(nèi)容。從而以視知覺熵和視知覺率失真理論為基礎(chǔ)，建立視覺信息論，為基于視覺模型的新型高效視頻編碼技術(shù)奠定堅實的理論基礎(chǔ)。這種信息表示機(jī)制變化的意義在于：通過將編碼符號集合定義在具有視覺意義的基元上，傳統(tǒng)的信息論就可以被擴(kuò)展，我們稱之 為 “視覺信息論 ”，以區(qū)分一般意義上的信息論。 因此，本項目的總體研究思路就是 (如圖 12 中間虛線右側(cè)部分 )：借鑒人類視覺系統(tǒng)的信息處理過程，將編碼的理論基礎(chǔ)向視覺通路的后端延伸，即延伸至視覺皮層的 V1 區(qū)， V2 區(qū)， V3 區(qū)， V4 區(qū)，乃至 IT/MT 區(qū)。 12 三、研究方案 總體學(xué)術(shù)思路與技術(shù)路線 如前所述，傳統(tǒng)的視頻編碼技術(shù)建立在香農(nóng)信息論基礎(chǔ)上，只能在信號層面上采用統(tǒng)計處理的手段對視頻進(jìn)行壓縮，所以，基于傳統(tǒng)信息論的方法流行多年，形成了延續(xù)至今的基于變換與預(yù)測的混合編碼框架，基于此的編碼效率已遭遇瓶頸。 (2) 在相關(guān)領(lǐng)域形成一支思維活躍、創(chuàng)新能力強的國際知名研究團(tuán)隊，培養(yǎng)高水平學(xué)術(shù)人才，造就一批在國內(nèi)外相關(guān)領(lǐng)域有相當(dāng)影響力的學(xué)術(shù)帶頭人。 在科研產(chǎn)出、優(yōu)秀人才培養(yǎng)等方面的預(yù)期目標(biāo) (1) 預(yù)期在視頻編碼領(lǐng)域的部分研究成果達(dá)到國際領(lǐng)先水平，促進(jìn)相關(guān)學(xué)科的發(fā)展。 (2) 突破面向智能監(jiān)控的視頻編碼關(guān)鍵技術(shù) ，通過在編碼過程中引入局部視覺模型和視覺注意等新要素，從而 有效支持自動異常發(fā)現(xiàn)和報警、目標(biāo)檢索等功能， 從而改變智能視頻監(jiān)控的應(yīng)用模式， 滿足國家在公共安全和重大應(yīng)急事件 管理中，對智能視頻監(jiān)控系統(tǒng)的重大需求。預(yù)期能夠為下一代視頻編碼國家標(biāo)準(zhǔn) (AVS 階段 2)做出不可替代的貢獻(xiàn) (預(yù)期本項目組成員貢獻(xiàn)率不低于 40%)。 (4) 在 視頻編碼方法層面 ， 構(gòu)建包括基于視覺模型的新型編碼方法、多維度可伸縮編碼方法、分布式多視點編碼方法和面向智能監(jiān)控的視頻編碼方法等在內(nèi)的 下一代高效視頻編碼理論與方法體系 。 (3) 在 視頻編碼理論層面 ， 提出 與視覺感知一致的視頻編碼與傳輸理論。 (2) 在視覺計算模型層面 ， 建立統(tǒng)一的統(tǒng)計視覺表示與計算模型 。特別要采用先進(jìn)的多電極矩陣技術(shù)手段，為揭示視知覺的神經(jīng)機(jī)制提供經(jīng)驗和第一手實驗證據(jù)。其次，本項目面向智能監(jiān)控的編碼方法等研究成果預(yù)期可以改變 傳統(tǒng)視頻監(jiān) 控的應(yīng)用模式 ，從而服務(wù)于國家公共安全、重大事件應(yīng)急管理等國家重大需求；通用編碼方法則還可以為下一代寬帶移動多媒體應(yīng)用技術(shù)提供理論與核心技術(shù)基礎(chǔ)，并為航天遙現(xiàn)遙控等國家重大工程提供技術(shù)儲備。 本項目在解決國家重大需求和產(chǎn)業(yè)創(chuàng)新方面的總體目標(biāo)包括兩方面。 10 二、預(yù)期目標(biāo) 總體目標(biāo) 本項目 針對高效 視頻編碼所涉及的視覺信息處理基礎(chǔ)科學(xué)問題開展多學(xué)科交叉的共同研究， 借鑒神經(jīng)科學(xué)的最新研究成果， 以探索視覺信息表示和編碼的基本神經(jīng)機(jī)制和心理機(jī)理為出發(fā)點，構(gòu)建視頻內(nèi)容表示的時空要素圖模型及其統(tǒng)一的計算模型。 (4) 面向遠(yuǎn)程醫(yī)療的視頻編碼應(yīng)用技術(shù)研究： 根據(jù)基于視覺特性的視頻編碼理論和遠(yuǎn)程醫(yī)療業(yè)務(wù)應(yīng)用需求， 針對遠(yuǎn)程醫(yī)療的視頻編碼技術(shù)應(yīng)用場景進(jìn)行分析和研究，主要包括：感興趣區(qū)域編碼的遠(yuǎn)程醫(yī)療會診技術(shù)應(yīng)用研究 ,高動態(tài)范圍視頻手術(shù)監(jiān)測技術(shù)應(yīng)用研究等。 (3) 多流封裝技術(shù)： 針對網(wǎng)絡(luò)傳輸介質(zhì)誤碼率高、帶寬差異等問題，本 項目基于可伸縮編碼方法研究多流封裝技術(shù)，將一個視頻源分拆為多個獨立的視頻流單獨傳輸，從而 確保傳輸?shù)慕研浴? (2) 視頻轉(zhuǎn)碼技術(shù)研究： 主要解決流媒體系統(tǒng)平移過程中的轉(zhuǎn)碼關(guān)鍵問題，特別是多種 其它編碼 格式到 AVS 等視頻 格式 的轉(zhuǎn)碼技術(shù)，在此基礎(chǔ)上突破解決 9 轉(zhuǎn)碼的一些共性的關(guān)鍵技術(shù)，例如新的轉(zhuǎn)碼結(jié)構(gòu)的設(shè)計、視頻圖像的濾波預(yù)處理、轉(zhuǎn)碼運動矢量的預(yù)測等。我們重點考慮在寬帶移動多媒體應(yīng)用中進(jìn)行原型研究和系統(tǒng)驗證，構(gòu)建相應(yīng)的驗證平臺。 索引層以提高海量監(jiān)控視頻的檢索和存儲效率為目標(biāo)，基于基本層中的感興趣區(qū)域、視 覺基元和對象層中的對象描述信息，研究監(jiān)控場景變化的檢測方法，提出評價視頻片段重要性的計量方法，獲得場景變換位置、視頻片段重要程度等描述信息，形成描述視頻結(jié)構(gòu)的索引，支持對監(jiān)控視頻的提綱攜領(lǐng)式檢索、摘要和存儲容量縮減。針對重要場合監(jiān)控中可獲得多攝像源的特點，通過多源視頻融合 獲得廣視角、高清晰的監(jiān)控效果 。 針對視頻監(jiān)控的特點與需求，研究三層碼流結(jié)構(gòu) (基本層、對象層和索引層 )的新一代監(jiān)控視頻編碼方法與標(biāo)準(zhǔn)，擬利用本項目研究的視頻編碼方法進(jìn)行基本層編碼，通過在視頻碼流中增加對象層和索引層，將滿足視頻監(jiān)控智能化和高效率的需要。 8 面向智能監(jiān)控的視頻編碼方法 雖然視頻監(jiān)控部署規(guī)模已經(jīng)比較龐大，而且發(fā)揮著重要作 用，但是目前系統(tǒng)的應(yīng)用模式比較落后，主要靠人工監(jiān)視多路視頻和事發(fā)后的人工搜檢，其中實時現(xiàn)場人工監(jiān)視耗費大量人力，而且監(jiān)視人員易疲勞、漏檢風(fēng)險大，亟待半自動乃至全自動預(yù)警的支持。為了支持多視點切換，研究高效靈活的低延遲視點切換，同時使壓縮效率和視點切換代價之間達(dá)到最優(yōu)的平衡。 (5) 基于立體視覺機(jī)理的多視編碼 研究 利用多個視點圖像的空間幾何關(guān)系以及圖示線索知識生成深度序列，用以精確表達(dá)真實世界的立體視覺信息。 (4) 面向視覺質(zhì)量的自適應(yīng)解碼 將主觀視覺質(zhì)量評價模型嵌入 到 分布式解碼器中，當(dāng)目標(biāo)視頻區(qū)域解碼質(zhì)量達(dá)到主觀質(zhì)量要求時，即終止解碼過程。 (3) 研究多視頻源時間、視間聯(lián)合相關(guān)性，實現(xiàn)高效解碼 分布式編碼理論要求獨立編碼的信源碼流必須在解碼端聯(lián)合解碼，通過充分挖掘信源間的相關(guān)性來高質(zhì)量地重建源數(shù)據(jù)。然后對每個子視頻源使用相應(yīng)的高效編碼方法，以期獲取好的主觀質(zhì)量。根據(jù)立體視覺成像的原理 , 利用多個視點圖像的空間幾何關(guān)系以及圖示線索知識獲取深度信息是立體視點視頻處理的重點研究內(nèi)容 ；同時 ，需要研究利用多視點視頻編碼對大量的視頻原始數(shù)據(jù)和輔助信息進(jìn)行壓縮并且通過網(wǎng)絡(luò)進(jìn)行有效傳輸；通過自由視點切換保 證用戶的交互功能，使用戶可以根據(jù)自己的興趣選擇不同的視角 具體的研究內(nèi)容包括： (1) 基于視覺特性的視頻源分割 在視覺模型的指導(dǎo)下，研究基于視覺特性與統(tǒng)計特性的信源分割準(zhǔn)則。同時，必須充分利用分布式信源之間的相關(guān)性，去除分布式信源的視間冗余，達(dá)到分布式視頻信息高效解碼。 對于這一問題 重點研究注意模型的建立及基于注意模型的感興趣區(qū)域的提取、表達(dá)和編碼，力圖尋求具有最高率失真性能的可伸縮編碼；研究具有強容錯能力并且能夠適應(yīng)各種動態(tài)變化網(wǎng)絡(luò)和不同的用戶終端設(shè)備的可伸縮視頻編碼方法，主要基于視頻內(nèi)容的視知覺熵，為視頻要素提供不同級別的糾錯保護(hù)，盡可能提