【正文】 地聯(lián)系起來，即在前端編碼階段就盡量多地考慮后端的智能分析需求。 顯著性可以用特征與中心 /環(huán)繞類別標(biāo)記之間的互信息來描述，特征與類別標(biāo)記關(guān)聯(lián)越緊密，該特征越能將中心和環(huán)繞區(qū)域分離開，即中心與環(huán)繞區(qū)域之間的特征分布差異越大，則顯著性越高 這種定義在運(yùn)動(dòng)基 元上的顯著性與現(xiàn)有的基于低級(jí)特征 (如顏色、亮度、方向和光流 )的顯著性相比更加符合人類的視覺特性，可以為后續(xù)基于注意的視頻編碼和內(nèi)容監(jiān)控提供更多信息。這些要素圖比以往從靜態(tài)圖像中所獲得的要素圖顯示出更強(qiáng)的語義信息。 我們將在這一框架下研究包括視覺信息的稀疏表示、初級(jí)視覺皮層 (V1 區(qū) )、V2 區(qū)、 V4 區(qū)和 IT 區(qū)的各個(gè)層次、不同復(fù)雜度下特征形成的計(jì)算模型和實(shí)現(xiàn)算法。下面 我們分別從這三個(gè)層面對(duì)本項(xiàng)目的主要研究內(nèi)容進(jìn)行闡述。 （ 3） 與人類視覺系統(tǒng)特性相吻合的 視頻表示及編碼的 理論 是什么？ 香農(nóng)信息論雖然從理論上給出了編碼效率的上界和失真的關(guān)系，但并未考慮編碼的符號(hào) (事件 )集，因而對(duì)視頻中高階相關(guān)缺乏有效的描述手段。眾所周知，人類視覺系統(tǒng)的信息處理能力遠(yuǎn)遠(yuǎn)超過目前的視頻處理系統(tǒng)，因此，從方法論上借鑒人類視覺系統(tǒng)的視覺信息處理基本神經(jīng)機(jī)制和心理機(jī)理，構(gòu)建統(tǒng)一的圖像 /視頻基本結(jié)構(gòu)與表示模型及其相應(yīng)的視覺計(jì)算方法， 發(fā)展將香農(nóng)信息論與人類視覺系統(tǒng)信息處理原理相結(jié)合的 高效視覺信息編碼理論與方法，就成為了本項(xiàng)目的基本出發(fā)點(diǎn)和立項(xiàng)依據(jù)。經(jīng)過多年努力， 20xx 年 中國終于有了自己的視頻編碼國家標(biāo)準(zhǔn) AVS。 （ 2） 視頻編碼可以利用的 符合視覺信息處理機(jī)理的計(jì)算模型是什么？ 盡管人類視覺系統(tǒng)的信息處理機(jī)理尚不完全明了，但隨著技術(shù)手段的提高，腦科學(xué)、神經(jīng)科學(xué)和認(rèn)知心理學(xué)專家已經(jīng)掌握了越來越多的規(guī)律并提出了很多假說和模型。其中，視覺基本機(jī)理既是基本出發(fā)點(diǎn)也是落腳點(diǎn)，計(jì)算模型是橋梁和紐帶，視覺信息論則是設(shè)計(jì)和實(shí)現(xiàn)下一代視 頻編碼方法和技術(shù)的理論基礎(chǔ)。 視覺信息處理基本機(jī)理研究 在視知覺機(jī)理方面，將主要從生理、心理角度，通過神經(jīng)電生理學(xué)、視覺行為學(xué)、藥物學(xué)等研究手段，在靈長類動(dòng)物上采用包括 微電極矩陣記錄方法 、 高時(shí)間分辨率的事件 相關(guān)電位 (ERP)、功能核磁共振 (fMRI)等 技術(shù)手段 從初級(jí)視覺皮層 V1 神經(jīng)元群體反應(yīng)特性入手，研究 V1 神經(jīng)元經(jīng)典和非經(jīng)典感受野與上級(jí)視覺皮層區(qū)域神經(jīng)元正向和反向聯(lián)系、 V1 神經(jīng)元之間的橫向聯(lián)系，以及視覺學(xué)習(xí)過程中神經(jīng)元群視覺編碼模式的變化特性，探索 初級(jí)和 高級(jí)皮層中的神經(jīng)元群在視覺處理中對(duì)簡單和復(fù)雜視覺刺激的編碼模式以及動(dòng)態(tài)反應(yīng)模式，各級(jí)皮層神經(jīng)元群對(duì)不同視覺模式識(shí)別的貢獻(xiàn)，考察視覺注意和知覺組織之間相互影響和交互作用，以驗(yàn)證或改進(jìn)現(xiàn)有假說或理論模型 (如稀疏編碼、群組編碼、視覺注意、 3 增量成組假說等 )，乃至提出 有關(guān)視覺 模式識(shí)別的神經(jīng)機(jī)制 及編碼機(jī)理的新假說、新模型，為后續(xù)的計(jì)算模型的研究提供神經(jīng)機(jī)制和心理機(jī)理方面的基礎(chǔ)。特別要重點(diǎn)研究稀疏編碼、增量成組和視覺注意機(jī)制所遵循的基本規(guī)律及其可能的計(jì)算模型，進(jìn)而建立與視覺信息處理相關(guān)的統(tǒng)計(jì)模型和計(jì)算方法 。 4 本項(xiàng)目將通過提出上述針對(duì)視頻信息的 “時(shí)空要素圖 ”表示模型和計(jì)算方法，研究將視頻分解為層次化 基元 結(jié)構(gòu)的可行性，探討視頻表示及編碼的基本數(shù)學(xué)模型問題，進(jìn)而 探索 視頻的內(nèi)在基本結(jié)構(gòu)，為后續(xù)的 “視知覺熵 ”、 “視覺信息論 ”、基于視覺特性的高效視頻壓縮、多維度可伸縮編碼、分布式多視點(diǎn)編碼和面向智能監(jiān)控的視頻編碼等研究內(nèi)容提供基礎(chǔ)性的視覺表示和計(jì)算模型。其次，分布式系統(tǒng)、立體視系統(tǒng) (尤其是三維電視 )等應(yīng)用需求越來越強(qiáng)烈，因此也特別有必要針對(duì)這類多視頻源編碼問題進(jìn)行探討，即所謂分布式多視點(diǎn)編碼。 在算法及系統(tǒng)方面，以視覺信息論為指導(dǎo)，研究基于視知覺的視頻壓縮算法及系統(tǒng)，設(shè)計(jì)理論上最優(yōu)的壓縮系統(tǒng)，尋找基于視知覺率失真理論的系統(tǒng)優(yōu)化方法。 多維度可伸縮編碼方法 對(duì)此問題將 從理論層和算法層分別展開。根據(jù)立體視覺成像的原理 , 利用多個(gè)視點(diǎn)圖像的空間幾何關(guān)系以及圖示線索知識(shí)獲取深度信息是立體視點(diǎn)視頻處理的重點(diǎn)研究內(nèi)容 ；同時(shí) ，需要研究利用多視點(diǎn)視頻編碼對(duì)大量的視頻原始數(shù)據(jù)和輔助信息進(jìn)行壓縮并且通過網(wǎng)絡(luò)進(jìn)行有效傳輸；通過自由視點(diǎn)切換保 證用戶的交互功能，使用戶可以根據(jù)自己的興趣選擇不同的視角 具體的研究內(nèi)容包括： (1) 基于視覺特性的視頻源分割 在視覺模型的指導(dǎo)下，研究基于視覺特性與統(tǒng)計(jì)特性的信源分割準(zhǔn)則。 (5) 基于立體視覺機(jī)理的多視編碼 研究 利用多個(gè)視點(diǎn)圖像的空間幾何關(guān)系以及圖示線索知識(shí)生成深度序列，用以精確表達(dá)真實(shí)世界的立體視覺信息。針對(duì)重要場(chǎng)合監(jiān)控中可獲得多攝像源的特點(diǎn)，通過多源視頻融合 獲得廣視角、高清晰的監(jiān)控效果 。 (3) 多流封裝技術(shù)： 針對(duì)網(wǎng)絡(luò)傳輸介質(zhì)誤碼率高、帶寬差異等問題，本 項(xiàng)目基于可伸縮編碼方法研究多流封裝技術(shù)，將一個(gè)視頻源分拆為多個(gè)獨(dú)立的視頻流單獨(dú)傳輸，從而 確保傳輸?shù)慕研?。其次，本?xiàng)目面向智能監(jiān)控的編碼方法等研究成果預(yù)期可以改變 傳統(tǒng)視頻監(jiān) 控的應(yīng)用模式 ，從而服務(wù)于國家公共安全、重大事件應(yīng)急管理等國家重大需求；通用編碼方法則還可以為下一代寬帶移動(dòng)多媒體應(yīng)用技術(shù)提供理論與核心技術(shù)基礎(chǔ)，并為航天遙現(xiàn)遙控等國家重大工程提供技術(shù)儲(chǔ)備。 (4) 在 視頻編碼方法層面 ， 構(gòu)建包括基于視覺模型的新型編碼方法、多維度可伸縮編碼方法、分布式多視點(diǎn)編碼方法和面向智能監(jiān)控的視頻編碼方法等在內(nèi)的 下一代高效視頻編碼理論與方法體系 。 (2) 在相關(guān)領(lǐng)域形成一支思維活躍、創(chuàng)新能力強(qiáng)的國際知名研究團(tuán)隊(duì)，培養(yǎng)高水平學(xué)術(shù)人才，造就一批在國內(nèi)外相關(guān)領(lǐng)域有相當(dāng)影響力的學(xué)術(shù)帶頭人。從而以視知覺熵和視知覺率失真理論為基礎(chǔ)，建立視覺信息論，為基于視覺模型的新型高效視頻編碼技術(shù)奠定堅(jiān)實(shí)的理論基礎(chǔ)。 視覺注意的生理心理基礎(chǔ)及在視覺認(rèn)知組織中的作用則將主要采用 ERP 和fMRI 技術(shù)，對(duì)被測(cè)試人的腦電活動(dòng)進(jìn)行測(cè)量，研究 知覺組織和 視覺信息處理過程中，基本成組和增量成組過程在時(shí)序和腦區(qū)上的差異，以及注意 等認(rèn)知過程對(duì)其 之間的相互影響的差異以 加工 及相應(yīng)的腦機(jī)制 。 在最高的識(shí)別層，考慮到不可預(yù)測(cè)的信息包含更多信息量的情況，試圖對(duì)給定的圖像計(jì)算其不可預(yù)測(cè)信息。 (ii)系統(tǒng)的中層為要素圖層。這些不同熵域中的靜態(tài)基元在時(shí)空中的動(dòng)態(tài)特性很不一樣。 (b) 我們將通過基于采樣的學(xué)習(xí) (learning by sampling)方法，以及可跟蹤性與不可跟蹤性基元對(duì)視頻的競(jìng)爭(zhēng)解釋機(jī)制，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)圖像序列的全面分析，得到不同粒度上的基元、運(yùn)動(dòng)層次 (layer)或物體，以及它們?cè)跁r(shí)空中的對(duì)應(yīng)關(guān)系，并可以對(duì)運(yùn)動(dòng)基元進(jìn)行自動(dòng)分類 (可跟蹤與不可跟蹤 )。所以，對(duì)于這種感知轉(zhuǎn)換機(jī)制 (perceptual transition mechanism)的研究將在理論上指導(dǎo)我們?nèi)绾吾槍?duì)不同情況采用適合的視覺 “詞匯集 ”來表示運(yùn)動(dòng)的 物體并通過解釋其中的變化來實(shí)現(xiàn)對(duì)復(fù)雜運(yùn)動(dòng)的魯棒分析。兩者效率上的差距正是基于視覺的視頻壓縮技術(shù)發(fā)展的空間。 主觀視覺評(píng)價(jià)是上述方法中的關(guān)鍵步驟，因此對(duì)魯棒的主觀視覺評(píng)價(jià)方法也需要進(jìn)行深入研究。之后通過學(xué)習(xí)大量的自然圖片，獲得基本特征的變體，同時(shí)對(duì)基本集進(jìn)行擴(kuò)充。主要從如下四方面展開： (1) 基于注意模型的感興趣區(qū)域提取、表達(dá)及編碼 根據(jù)視知覺的敏感特性和視頻 中各視覺要素的統(tǒng)計(jì)特性，對(duì)視頻內(nèi)容進(jìn)行區(qū)域劃分，建立對(duì)各注意區(qū)域的模型表示，并根據(jù)注意程度對(duì)感興趣的級(jí)別進(jìn)行編碼表示。對(duì)此需要研究相應(yīng)的量化編碼策略，以達(dá)到高效的可伸縮編碼 。在分布式編解碼環(huán)中，考慮視覺特性與統(tǒng)計(jì)特性的差異，分別對(duì)各子視頻源采用與其視覺特性與統(tǒng)計(jì)特性相適應(yīng)的編解碼方法。 為了降低復(fù)雜度，可以借助視點(diǎn)間的幾何位置和采集參數(shù)來加速視差參數(shù)的估計(jì)。我們將多個(gè)邊信息組織成多維的信號(hào)。 彩色視頻的壓縮效率 21 是以視頻的率失真程度來衡量的 ，而通過立體視原理計(jì)算得到的深度序列并不是直接用來 觀看的，它是用來輔助繪制虛擬視點(diǎn)的，因此，按照編碼彩色視頻的方法直接編碼深度序列并不是最優(yōu)的方案，對(duì)深度序列單獨(dú)采用率失真（ RD）最優(yōu)的壓縮方法并不合適。 (6) 三維顯示研究 為支持用戶能按照深度感知能力選擇合適的欣賞視點(diǎn)，需要研究虛擬視點(diǎn)視頻合成與虛擬視點(diǎn)深度序列生成技術(shù)，從而能合成該虛擬視點(diǎn)的二維視頻以及對(duì)應(yīng)的深度序列。 更進(jìn)一步，如果編碼端從攝像頭獲取的最高分辨率圖像仍然不夠清晰，在這種情況下，單純依靠壓縮編碼技術(shù)已經(jīng)沒有辦法提高該區(qū)域的分辨率了。我們將針對(duì)選定的重點(diǎn)監(jiān)控場(chǎng)所，構(gòu)建一個(gè)多源視頻融合監(jiān)控試驗(yàn)中心，采用分布式編碼等新一代視頻編碼方法，獲得廣視角、高清晰的監(jiān)控視頻。 物體是監(jiān)控的重點(diǎn)對(duì)象，幾乎所有的物體檢測(cè)、識(shí)別與跟蹤都需要得到物體的位置和類型，這里由于時(shí)空要素圖能夠在語義層面對(duì)視頻進(jìn)行表示和描述，我們還要驗(yàn)證基于此種表達(dá)的不同物體檢測(cè)方法在不同環(huán)境下的檢測(cè)效果，如判別式模 型和生成式模型，并研究如何將這些檢測(cè)方法有效地結(jié)合在一起以適應(yīng)不同環(huán)境的需求。對(duì)于視頻中的具體索引算法，將采用基于視覺關(guān)鍵詞的倒排索引方法；對(duì)于高維和時(shí)間序列數(shù)據(jù)，將采用改進(jìn)樹結(jié)構(gòu)、時(shí)序擴(kuò)展等方法來進(jìn)行高效索引。 傳統(tǒng)的視頻轉(zhuǎn)碼結(jié)構(gòu)通常對(duì)應(yīng)于某一特定的目標(biāo)，例如碼率縮減，空間分辨率縮減或者時(shí)間分辨率縮減，而實(shí)際視頻轉(zhuǎn)碼過程往往涉及這幾個(gè)方面的同時(shí)實(shí)現(xiàn)。利用不同流數(shù)據(jù)之間的相關(guān)性，建 立相關(guān)性函數(shù)并進(jìn)行流化封包，從而達(dá)到各流之間相關(guān)性最小。 主要研究內(nèi)容 間的相互支撐關(guān)系 本項(xiàng)目的主要研究內(nèi)容從基本機(jī)理到計(jì)算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進(jìn)。 通過表 2 和表 3 不難看出，本項(xiàng)目的各個(gè)研究內(nèi)容之間具有很強(qiáng)的關(guān)聯(lián)性，在項(xiàng)目執(zhí)行過程中有非常強(qiáng)的交叉性研究特點(diǎn)，有利于創(chuàng)新思路的誕生。 本項(xiàng)目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個(gè)例子則是視覺注意機(jī)制、顯著性計(jì)算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。在此基礎(chǔ)上， 對(duì)項(xiàng)目的立項(xiàng)依據(jù)、研究目標(biāo)、研究內(nèi)容及具體研究方案進(jìn)行了反復(fù)討論， 使得 設(shè)計(jì)的研究方案既具有較好的前瞻性和原創(chuàng)性，同時(shí)又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。該項(xiàng)目組的主要成員來自 神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、 數(shù)學(xué)、計(jì)算機(jī)科學(xué)和電子 等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。 項(xiàng)目組的主要成員長期以來從事相關(guān)的研究工作，取得了 顯著 成果，為保證完成該項(xiàng)目的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動(dòng)等），分別計(jì)算各種特征的顯著性圖，融合得到最終的興趣圖。自然圖像 和視頻的統(tǒng)計(jì)分析表明，自然圖像的高階統(tǒng)計(jì)特性滿足非高斯分布，也就是說，大部分神經(jīng)元對(duì)外界信號(hào)的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對(duì)外界信號(hào)有較強(qiáng)的響應(yīng)，這種性質(zhì)稱為稀疏編碼。 表 2：視覺基本機(jī)理與計(jì)算模型之間的相互支撐和促進(jìn)關(guān)系 視知覺機(jī)理或假說 表示或 計(jì)算模型 感受野 整合野 稀疏 編碼 群組 編碼 增量 成組 視覺 注意 運(yùn)動(dòng) 感知 顏色知覺 時(shí)序 編碼 拓?fù)? 知覺 26 視覺基元模型 ★ ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ ★ ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ ★ ★ ★ ★ 表 3 計(jì)算模型與編碼理論及方法之間的關(guān)系 編碼理論與方法及驗(yàn)證 表示或 計(jì)算模型 視知覺熵及視覺信息論 基于視覺模型的編碼方法 視覺注意可伸縮編碼 分布式多視點(diǎn)編碼 面向智能監(jiān)控的視頻編碼方法 視覺基元模型 ★ ★ ★ ★ ★ 時(shí)空要素圖 ★ ★ ★ ★ 貝葉斯推理 ★ ★ ★ 顯著性計(jì)算 ★ ★ ★ 局部特征學(xué)習(xí) ★ ★ ★ 整體特征形成與識(shí)別模型 ★ ★ ★ 表 2 給出了本項(xiàng)目涉及的視知覺生理、心理機(jī)理和本項(xiàng)目研究的主要計(jì)算模型之間的相互關(guān)系。根據(jù)無線信道拓?fù)?、信?hào)質(zhì)量、和數(shù)據(jù)重要性，建立冗余量模型。研究以分步驟的轉(zhuǎn)碼算法為主，適當(dāng)設(shè)計(jì)跨目標(biāo)的轉(zhuǎn)碼算法。 寬帶移動(dòng)多媒體應(yīng)用原型研究與驗(yàn)證平臺(tái) 在基于視覺特性的高效視頻編碼 理論和算法基礎(chǔ)上，本項(xiàng)目將面向遠(yuǎn)程醫(yī)療、 IPTV 等應(yīng)用搭建寬帶移動(dòng)多媒體系統(tǒng)驗(yàn)證平臺(tái)，提供基于寬帶和無線 移動(dòng)網(wǎng)絡(luò) /具備 高動(dòng)態(tài)范圍視頻顯示等 功能的多媒體服務(wù)。本 項(xiàng)目 還將驗(yàn)證以時(shí)空要素圖為表達(dá)的跟蹤算法和它們?cè)诓煌h(huán)境的跟蹤效果。對(duì)于攝像頭固定的場(chǎng)景，背景建 模是常用的、簡單且有效的用來提取前景的方法。超分辨率算法不同于像素內(nèi)插的上采樣算法，圖像的超分辨率重建，就是希望盡可能地挽回圖像的分辨率損失，以彌補(bǔ)其“先天不足”，即在保證通頻帶內(nèi)圖像低頻信息復(fù)原的基礎(chǔ)上，對(duì)截止頻率以上的高頻信息進(jìn) 行復(fù)原，使重建圖像獲得更多的細(xì)節(jié)和信息，更加接近理想圖像。 22 面向