【正文】 傳輸支撐關(guān)鍵技術(shù)，搭建寬帶移動多媒體傳輸驗證平臺。本項目的主要研究內(nèi)容從基本機理到計算模型、再到編碼理論和方法、最后到原型驗證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進。這集中體現(xiàn)在視覺信息處理基本機理和視覺信息處理計算模型之間、計算模型與編碼理論和方法之間的強相關(guān)性上，這種相關(guān)性大體上可總結(jié)為表2和表3。表2：視覺基本機理與計算模型之間的相互支撐和促進關(guān)系視知覺機理或假說表示或計算模型感受野整合野稀疏編碼群組編碼增量成組視覺注意運動感知顏色知覺時序編碼拓?fù)渲X視覺基元模型★★★★★★時空要素圖★★★★★顯著性計算★★★★★★★★貝葉斯推理★★★★局部特征學(xué)習(xí)★★★★整體特征形成與識別模型★★★★★★★表3 計算模型與編碼理論及方法之間的關(guān)系編碼理論與方法及驗證表示或計算模型視知覺熵及視覺信息論基于視覺模型的編碼方法視覺注意可伸縮編碼分布式多視點編碼面向智能監(jiān)控的視頻編碼方法視覺基元模型★★★★★時空要素圖★★★★貝葉斯推理★★★顯著性計算★★★局部特征學(xué)習(xí)★★★整體特征形成與識別模型★★★表2給出了本項目涉及的視知覺生理、心理機理和本項目研究的主要計算模型之間的相互關(guān)系。有“234。”的位置表示該行所代表的計算模型與該列中的生理、心理機理或假說具有強相關(guān)性。在底層的視覺信息處理機理方面，我們重點研究和驗證稀疏編碼、群組編碼、增量成組、運動感知和視覺注意等方面的機理與假說，這對本項目重點涉及的視覺基元模型、時空要素圖、視覺顯著性計算模型等視頻表示和計算模型提供了重要的機理基礎(chǔ)和設(shè)計指南。反過來，這些計算模型的研究也可以反過來促進視知覺機理研究領(lǐng)域的發(fā)展，包括提出新的假說或深化現(xiàn)有機理假說。表3則給出了這些計算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。類似的，其中的“234?！币脖硎玖藱M縱位置的計算模型和編碼方法之間有強相關(guān)性。通過表2和表3不難看出，本項目的各個研究內(nèi)容之間具有很強的關(guān)聯(lián)性，在項目執(zhí)行過程中有非常強的交叉性研究特點，有利于創(chuàng)新思路的誕生。特別是在局部視覺要素圖模型（如基元）計算模型方面，該模型有很強的視覺機理支持，即稀疏編碼理論。自然圖像和視頻的統(tǒng)計分析表明，自然圖像的高階統(tǒng)計特性滿足非高斯分布，也就是說，大部分神經(jīng)元對外界信號的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對外界信號有較強的響應(yīng)，這種性質(zhì)稱為稀疏編碼。稀疏編碼理論意味著圖像可以通過多個基函數(shù)的線性組合來表示。再比如，本項目視覺信息處理基本機理方面將會重點研究的群組編碼也可以對后續(xù)的視頻處理提供有效支持。群組編碼研究表明，視覺處理的過程并非簡單的從初級視覺皮層到更高級的視覺皮層，而是有反饋機制，即既有自底向上的推理過程，也有自頂向下的反饋過程。因此，在視覺計算模型的設(shè)計上，也就必須要采用自底向上和自頂向下二者的有機結(jié)合。通過對此展開研究，有利于在面向監(jiān)控的智能視頻編碼中提供準(zhǔn)確的對象信息，從而有利于實現(xiàn)分層索引編碼以及為后續(xù)的智能監(jiān)控和視頻檢索服務(wù)。本項目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個例子則是視覺注意機制、顯著性計算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。視覺注意目前主要有兩種模型，即：數(shù)據(jù)驅(qū)動的注意模型和任務(wù)驅(qū)動的注意模型。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運動等），分別計算各種特征的顯著性圖，融合得到最終的興趣圖。而任務(wù)驅(qū)動的注意模型則強調(diào)自頂向下的注意，涉及記憶和先驗等各種因素。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時針對不同的顯著性進行有選擇性的比特分配，從而實現(xiàn)在視覺注意層面上的可伸縮。注意機制和模型還可以用于面向智能監(jiān)控視頻的編碼中，通過對重點關(guān)注對象或區(qū)域的有效編碼、索引和處理，可以實現(xiàn)基于注意機制的索引構(gòu)建、對象檢索和分析，從而實現(xiàn)更加智能的視頻監(jiān)控和檢索。(1)研究目標(biāo)明確，研究方案具體，并進行了長時期的論證。本項目組長期以來對該項目涉及的研究內(nèi)容進行了充分的調(diào)研，并取得了一定的前期成果。在此基礎(chǔ)上，對項目的立項依據(jù)、研究目標(biāo)、研究內(nèi)容及具體研究方案進行了反復(fù)討論，使得設(shè)計的研究方案既具有較好的前瞻性和原創(chuàng)性，同時又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。(2)研究隊伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗。項目組的主要成員長期以來從事相關(guān)的研究工作，取得了顯著成果，為保證完成該項目的研究奠定了堅實的基礎(chǔ)。其中包括下述具有國際先進水平的研究工作：在視知覺基本機理方面，從結(jié)構(gòu)和功能的角度在視網(wǎng)膜水平對人和哺乳動物進行了詳細(xì)的研究，并對不同種屬動物的視皮層神經(jīng)元反應(yīng)特性和感受野進行了深入研究，系統(tǒng)地分析了年齡對視皮層神經(jīng)元的感受野特性和視皮層視覺信息處理能力的影響，詳細(xì)闡述了老年猴視覺通路神經(jīng)元的結(jié)構(gòu)和功能特征，提出抑制性神經(jīng)遞質(zhì)可改善老年猴V1神經(jīng)元的功能；在視覺計算模型方面，我們在尺度空間理論、運動圖像模型與分析、局部視覺模型和特征提取方面積累了良好的基礎(chǔ)；在視覺手勢分析、人臉模式分析與識別方面，分別榮獲了國家科技進步二等獎。在視頻編碼壓縮方面，提出一系列高效智能的圖像視頻編碼算法，被AVS、MPEG視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與高清的視頻編碼標(biāo)準(zhǔn)AVS的制定。項目組先后在國際知名期刊和國際會議上發(fā)表了400多篇論文，其中有超過80篇文章在本領(lǐng)域頂級國際期刊Science、Nature Neuroscience、Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、IEEE Trans. on Circuits and Systems for Video Technology、IEEE Trans. on Multimedia、IEEE Trans. on Image Processing、IEEE Trans. on Neural Network、IEEE Trans. on Knowledge and Data Engineering、Pattern Recognition、International Journal of Computer Vision、Neural Computation等上發(fā)表。(3) 項目承擔(dān)與合作單位各有所長，研究隊伍精干，專業(yè)分布合適。本項目的一個最大特點是研究內(nèi)容涉及到多個學(xué)科，具有很強的學(xué)科交叉性。該項目組的主要成員來自神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、數(shù)學(xué)、計算機科學(xué)和電子等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。同時，項目組由研究隊伍由來自六個參與單位的科技人員組成，共有29名教授/研究員，31名副教授/副研究員/高級工程師，19名講師/助研/工程師，以及100余名博士和碩士研究生。，主要技術(shù)骨干平均年齡40歲以下，其中包括3位中國科學(xué)院“百人計劃”入選者、2位北京大學(xué)“百人計劃”入選者。項目的主要技術(shù)骨干年富力強，并長期處于科研第一線，為開展項目研究奠定了良好的基礎(chǔ)。 創(chuàng)新點在理論模型方面：(1) 在靈長類動物各級視覺皮層采用多電極矩陣研究動物視覺感覺和識別的生理、心理機制，提出基于層級型模塊化皮層網(wǎng)絡(luò)的視頻表示與動態(tài)識別模型。(2) 基于稀疏編碼、增量成組、運動感知、視覺注意等視知覺基本機理，提出融入隨機上下文相關(guān)圖像語法的時空要素圖模型作為視頻的表達(dá)及其相應(yīng)計算方法。(3) 基于視覺計算模型，提出與視覺感知一致的視頻編碼與傳輸理論。建立視覺信息量、視知覺熵等概念的形式化描述，從而構(gòu)建符合視覺特性的視頻編碼理論。(4) 基于視覺計算模型及視覺感知度量，提出基于視覺特性的下一代視頻編碼理論體系、技術(shù)框架及算法集合。在核心算法方面：(1) 提出基于動態(tài)局部視覺模型的新型高效視頻編碼方法，該方法從人類視覺特性出發(fā)，對視頻局部屬性進行分析、分類，自適應(yīng)地采用不同的編碼策略。(2) 提出基于注意機制的可伸縮編碼及其相應(yīng)的碼流優(yōu)化截取方法，從而建立融合空域、時域、質(zhì)量、注意、動態(tài)范圍等多維度的可伸縮編碼框架。(3) 依據(jù)WynerZiv理論與視知覺理論，提出視頻信源分割和相關(guān)模型估計方法，并實現(xiàn)分布式信源視頻自適應(yīng)聯(lián)合解碼。(4) 提出面向三維電視應(yīng)用的深度圖像與彩色圖像聯(lián)合編碼方法。(5) 面向智能視頻監(jiān)控的需求，提出三層碼流結(jié)構(gòu)（基本層、對象層和索引層）的監(jiān)控視頻編碼方法。項目共設(shè)置七個課題，分別為：視覺信息處理基本機理研究；面向視頻編碼的視覺計算模型與方法研究；基于視覺模型的高效視頻編碼理論；多維度可伸縮視頻編碼方法；分布式多視點視頻編碼方法；面向智能監(jiān)控的視頻編碼方法；寬帶移動多媒體應(yīng)用原型研究與驗證平臺。各個課題的主要研究內(nèi)容和目標(biāo)、承擔(dān)單位、課題負(fù)責(zé)人和經(jīng)費比例分述如下：課題視覺信息處理基本機理研究主要研究內(nèi)容：該課題主要從視覺生理學(xué)和心理物理學(xué)角度出發(fā)，在靈長類動物上采用視覺神經(jīng)電生理、視覺心理物理以及視覺認(rèn)知神經(jīng)等研究手段，研究視知覺組織、注意機制和圖像識別的神經(jīng)機制和心理機理，探索初級視皮層神經(jīng)元在基本的視知覺組織和圖形識別過程中的神經(jīng)編碼模式，驗證、完善、改進稀疏編碼/群組編碼、基本成組/增量成組、視覺注意等視知覺模型/假說，乃至提出新的模型或假說。在視覺基本機理研究的基礎(chǔ)上，根據(jù)人類視覺系統(tǒng)在平移、旋轉(zhuǎn)、尺度不變性以及對數(shù)據(jù)缺失、噪聲等問題的自適應(yīng)性，建立相應(yīng)的表示和仿真模型，包括視覺信息的稀疏表示、視覺皮層各個層次不同復(fù)雜度特征形成的計算模型和實現(xiàn)算法，為視覺表示和編碼提供理論基礎(chǔ)。具體研究內(nèi)容包括：(1) 視皮層神經(jīng)元群對視覺刺激的反應(yīng)特性探索視皮層神經(jīng)元(特別是V1)對圖形背景和自然景物圖像刺激的發(fā)放模式；研究神經(jīng)元經(jīng)典感受野基本性質(zhì)，如感受野位置、大小和基本反應(yīng)特性等；研究非經(jīng)典感受野對經(jīng)典感受野特性的影響；研究神經(jīng)元群反應(yīng)的時間特性與視覺識別和學(xué)習(xí)內(nèi)在關(guān)系。通過這些研究，期望建立視皮層神經(jīng)元群反應(yīng)特性與視覺刺激之間的關(guān)系模型。(2) 研究神經(jīng)元之間的相互作用及其對視覺信息編碼的影響采用藥物學(xué)方法或物理方法調(diào)控視皮層區(qū)域不同神經(jīng)元對其他皮層區(qū)(如V1)神經(jīng)元的輸出，觀測其對動物視覺功能形成的影響，驗證增量成組假說中的循環(huán)反饋過程；研究增量成組假說是否適用于神經(jīng)元群；探索視知覺組織過程中的增量成組過程和稀疏/群組編碼假說的內(nèi)在聯(lián)系。 在計算仿真方面，研究基于神經(jīng)元信號獨立分解機理的內(nèi)部稀疏表示的統(tǒng)計模型，提出模型參數(shù)辨識的學(xué)習(xí)理論，并分析相應(yīng)的算法理論問題。研究神經(jīng)信息稀疏表示與冗余消除之間的關(guān)聯(lián)與內(nèi)在聯(lián)系。(3) 研究視皮層神經(jīng)元群反應(yīng)特性與整體特征形成機理，探索基于整體特征的事件和行為的動態(tài)識別的神經(jīng)機制研究視皮層神經(jīng)元群反應(yīng)特性與視覺行為學(xué)之間的對應(yīng)關(guān)系；探討V1經(jīng)典和非經(jīng)典感受野神經(jīng)在視覺學(xué)習(xí)過程中作用規(guī)律；研究改變不同皮層區(qū)域間聯(lián)系對上述動物視覺行為學(xué)反應(yīng)的影響。重點放在各級皮層輸入對動物視覺識別的貢獻，以及在視覺學(xué)習(xí)過程中神經(jīng)元群的稀疏編碼和群組編碼之間的動態(tài)變化范圍及內(nèi)在聯(lián)系。研究物體識別不變性特征的形成和學(xué)習(xí)方法。神經(jīng)生物學(xué)實驗表明，在IT腦區(qū)存在相應(yīng)的各類物體的子區(qū)域。根據(jù)該特性，我們擬針對某一類物體進行皮層型神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使得該層的神經(jīng)元響應(yīng)盡可能稀疏，從而使相應(yīng)神經(jīng)元成為該刺激信號的表征。我們還將開發(fā)識別視頻圖像中的事件及行為的動態(tài)識別模型。(4) 研究視覺注意在視知覺組織編碼過程中的作用和調(diào)節(jié)機理采用高時間分辨率的事件相關(guān)電位(ERP)技術(shù)和高空間分辨率的腦功能磁共振成像(fMRI)技術(shù)，研究人類在進行視覺信息編碼過程中，視覺特征和信息編碼的對應(yīng)關(guān)系；視覺系統(tǒng)信息處理過程中基本成組和增量成組的時序、腦區(qū)定位等問題；以及視覺注意等其它認(rèn)知活動對視知覺組織的相互作用。此研究有助于我們更好地理解圖像識別、選擇性注意等認(rèn)知功能。研究目標(biāo)：探索初級視皮層神經(jīng)元在基本的視知覺組織和圖像識別過程中的神經(jīng)編碼模式，驗證、完善、改進稀疏編碼/群組編碼、基本成組/增量成組、視覺注意等視知覺模型/假說，乃至提出新的機理模型或假說，以增進對視覺信息處理過程神經(jīng)機制和心理機理的理解。為稀疏表示、整體特征整合、時空要素圖、數(shù)據(jù)驅(qū)動和概念驅(qū)動混合推理、物體識別等計算模型的建立提供生理和心理依據(jù)。承擔(dān)單位：北京大學(xué)上海交通大學(xué)課題負(fù)責(zé)人：李量，北京大學(xué)，教授，博士生導(dǎo)師經(jīng)費比例：%課題面向視頻編碼的視覺計算模型與方法研究主要研究內(nèi)容：(1) 研究對視覺運動的統(tǒng)一表示：時空要素圖系統(tǒng)在靜態(tài)要素圖模型前期工作的基礎(chǔ)上，提出一個針對視覺運動的、統(tǒng)一的表示模型：時空要素圖系統(tǒng)。由于物體的整體規(guī)則運動伴隨著豐富的隨機過程，這個動態(tài)系統(tǒng)在數(shù)學(xué)上可以用概率模型來表示。換言之，我們將探索這套系統(tǒng)中的不同運動基元以及伴隨這些運動基元以時間、空間為上下文的各種隨機事件的概率分布模型，使其逼近真實觀測。 (2) 研究運動基元在不同子空間中的動態(tài)特性運動基元是描述運動的基本“詞匯”。它們是對視頻信號進行抽象、化簡、提取語義信息的重要基礎(chǔ)，也對獲得更加準(zhǔn)確魯棒的運動序列表示、提高計算機的運動分析和識別能力、以及實現(xiàn)高效的視頻編碼起著至關(guān)重要的作用。視頻中物體的運動伴隨著大量的隨機過程，如：物體在運動過程中由于光照與視角不同其光度也隨之變化，在非剛體的運動過程中會伴隨不同程度的幾何變形以及拓?fù)浣Y(jié)構(gòu)的變化等。所以，復(fù)雜動態(tài)系統(tǒng)中的運動基元不是一成不變的。但這些運動物體及其部件在運動過程中又存在一定的約束，研究運動基元在光度、幾何、動力及拓?fù)涞炔煌S度上的動態(tài)特性是本子課題的核心內(nèi)容之一。(3) 研究