【正文】 傳輸支撐關(guān)鍵技術(shù)，搭建寬帶移動多媒體傳輸驗(yàn)證平臺。本項(xiàng)目的主要研究內(nèi)容從基本機(jī)理到計(jì)算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開，互相緊密聯(lián)系，相互促進(jìn)。這集中體現(xiàn)在視覺信息處理基本機(jī)理和視覺信息處理計(jì)算模型之間、計(jì)算模型與編碼理論和方法之間的強(qiáng)相關(guān)性上，這種相關(guān)性大體上可總結(jié)為表2和表3。表2：視覺基本機(jī)理與計(jì)算模型之間的相互支撐和促進(jìn)關(guān)系視知覺機(jī)理或假說表示或計(jì)算模型感受野整合野稀疏編碼群組編碼增量成組視覺注意運(yùn)動感知顏色知覺時(shí)序編碼拓?fù)渲X視覺基元模型★★★★★★時(shí)空要素圖★★★★★顯著性計(jì)算★★★★★★★★貝葉斯推理★★★★局部特征學(xué)習(xí)★★★★整體特征形成與識別模型★★★★★★★表3 計(jì)算模型與編碼理論及方法之間的關(guān)系編碼理論與方法及驗(yàn)證表示或計(jì)算模型視知覺熵及視覺信息論基于視覺模型的編碼方法視覺注意可伸縮編碼分布式多視點(diǎn)編碼面向智能監(jiān)控的視頻編碼方法視覺基元模型★★★★★時(shí)空要素圖★★★★貝葉斯推理★★★顯著性計(jì)算★★★局部特征學(xué)習(xí)★★★整體特征形成與識別模型★★★表2給出了本項(xiàng)目涉及的視知覺生理、心理機(jī)理和本項(xiàng)目研究的主要計(jì)算模型之間的相互關(guān)系。有“234?！钡奈恢帽硎驹撔兴淼挠?jì)算模型與該列中的生理、心理機(jī)理或假說具有強(qiáng)相關(guān)性。在底層的視覺信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動感知和視覺注意等方面的機(jī)理與假說，這對本項(xiàng)目重點(diǎn)涉及的視覺基元模型、時(shí)空要素圖、視覺顯著性計(jì)算模型等視頻表示和計(jì)算模型提供了重要的機(jī)理基礎(chǔ)和設(shè)計(jì)指南。反過來，這些計(jì)算模型的研究也可以反過來促進(jìn)視知覺機(jī)理研究領(lǐng)域的發(fā)展，包括提出新的假說或深化現(xiàn)有機(jī)理假說。表3則給出了這些計(jì)算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。類似的，其中的“234?！币脖硎玖藱M縱位置的計(jì)算模型和編碼方法之間有強(qiáng)相關(guān)性。通過表2和表3不難看出，本項(xiàng)目的各個(gè)研究內(nèi)容之間具有很強(qiáng)的關(guān)聯(lián)性，在項(xiàng)目執(zhí)行過程中有非常強(qiáng)的交叉性研究特點(diǎn)，有利于創(chuàng)新思路的誕生。特別是在局部視覺要素圖模型（如基元）計(jì)算模型方面，該模型有很強(qiáng)的視覺機(jī)理支持，即稀疏編碼理論。自然圖像和視頻的統(tǒng)計(jì)分析表明，自然圖像的高階統(tǒng)計(jì)特性滿足非高斯分布，也就是說，大部分神經(jīng)元對外界信號的響應(yīng)很弱，甚至沒有響應(yīng)，只有非常少量的神經(jīng)元對外界信號有較強(qiáng)的響應(yīng)，這種性質(zhì)稱為稀疏編碼。稀疏編碼理論意味著圖像可以通過多個(gè)基函數(shù)的線性組合來表示。再比如，本項(xiàng)目視覺信息處理基本機(jī)理方面將會重點(diǎn)研究的群組編碼也可以對后續(xù)的視頻處理提供有效支持。群組編碼研究表明，視覺處理的過程并非簡單的從初級視覺皮層到更高級的視覺皮層，而是有反饋機(jī)制，即既有自底向上的推理過程，也有自頂向下的反饋過程。因此，在視覺計(jì)算模型的設(shè)計(jì)上，也就必須要采用自底向上和自頂向下二者的有機(jī)結(jié)合。通過對此展開研究，有利于在面向監(jiān)控的智能視頻編碼中提供準(zhǔn)確的對象信息，從而有利于實(shí)現(xiàn)分層索引編碼以及為后續(xù)的智能監(jiān)控和視頻檢索服務(wù)。本項(xiàng)目主要研究內(nèi)容之間緊密耦合、相互支撐的另外一個(gè)例子則是視覺注意機(jī)制、顯著性計(jì)算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。視覺注意目前主要有兩種模型，即：數(shù)據(jù)驅(qū)動的注意模型和任務(wù)驅(qū)動的注意模型。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動等），分別計(jì)算各種特征的顯著性圖，融合得到最終的興趣圖。而任務(wù)驅(qū)動的注意模型則強(qiáng)調(diào)自頂向下的注意，涉及記憶和先驗(yàn)等各種因素。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時(shí)針對不同的顯著性進(jìn)行有選擇性的比特分配，從而實(shí)現(xiàn)在視覺注意層面上的可伸縮。注意機(jī)制和模型還可以用于面向智能監(jiān)控視頻的編碼中，通過對重點(diǎn)關(guān)注對象或區(qū)域的有效編碼、索引和處理，可以實(shí)現(xiàn)基于注意機(jī)制的索引構(gòu)建、對象檢索和分析，從而實(shí)現(xiàn)更加智能的視頻監(jiān)控和檢索。(1)研究目標(biāo)明確，研究方案具體，并進(jìn)行了長時(shí)期的論證。本項(xiàng)目組長期以來對該項(xiàng)目涉及的研究內(nèi)容進(jìn)行了充分的調(diào)研，并取得了一定的前期成果。在此基礎(chǔ)上，對項(xiàng)目的立項(xiàng)依據(jù)、研究目標(biāo)、研究內(nèi)容及具體研究方案進(jìn)行了反復(fù)討論，使得設(shè)計(jì)的研究方案既具有較好的前瞻性和原創(chuàng)性，同時(shí)又充分考慮了許多理論與技術(shù)問題的難度，形成了比較成熟的思路。(2)研究隊(duì)伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗(yàn)。項(xiàng)目組的主要成員長期以來從事相關(guān)的研究工作，取得了顯著成果，為保證完成該項(xiàng)目的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。其中包括下述具有國際先進(jìn)水平的研究工作：在視知覺基本機(jī)理方面，從結(jié)構(gòu)和功能的角度在視網(wǎng)膜水平對人和哺乳動物進(jìn)行了詳細(xì)的研究，并對不同種屬動物的視皮層神經(jīng)元反應(yīng)特性和感受野進(jìn)行了深入研究，系統(tǒng)地分析了年齡對視皮層神經(jīng)元的感受野特性和視皮層視覺信息處理能力的影響，詳細(xì)闡述了老年猴視覺通路神經(jīng)元的結(jié)構(gòu)和功能特征，提出抑制性神經(jīng)遞質(zhì)可改善老年猴V1神經(jīng)元的功能；在視覺計(jì)算模型方面，我們在尺度空間理論、運(yùn)動圖像模型與分析、局部視覺模型和特征提取方面積累了良好的基礎(chǔ)；在視覺手勢分析、人臉模式分析與識別方面，分別榮獲了國家科技進(jìn)步二等獎。在視頻編碼壓縮方面，提出一系列高效智能的圖像視頻編碼算法，被AVS、MPEG視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與高清的視頻編碼標(biāo)準(zhǔn)AVS的制定。項(xiàng)目組先后在國際知名期刊和國際會議上發(fā)表了400多篇論文，其中有超過80篇文章在本領(lǐng)域頂級國際期刊Science、Nature Neuroscience、Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、IEEE Trans. on Circuits and Systems for Video Technology、IEEE Trans. on Multimedia、IEEE Trans. on Image Processing、IEEE Trans. on Neural Network、IEEE Trans. on Knowledge and Data Engineering、Pattern Recognition、International Journal of Computer Vision、Neural Computation等上發(fā)表。(3) 項(xiàng)目承擔(dān)與合作單位各有所長，研究隊(duì)伍精干，專業(yè)分布合適。本項(xiàng)目的一個(gè)最大特點(diǎn)是研究內(nèi)容涉及到多個(gè)學(xué)科，具有很強(qiáng)的學(xué)科交叉性。該項(xiàng)目組的主要成員來自神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)和電子等專業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。同時(shí)，項(xiàng)目組由研究隊(duì)伍由來自六個(gè)參與單位的科技人員組成，共有29名教授/研究員，31名副教授/副研究員/高級工程師，19名講師/助研/工程師，以及100余名博士和碩士研究生。，主要技術(shù)骨干平均年齡40歲以下，其中包括3位中國科學(xué)院“百人計(jì)劃”入選者、2位北京大學(xué)“百人計(jì)劃”入選者。項(xiàng)目的主要技術(shù)骨干年富力強(qiáng)，并長期處于科研第一線，為開展項(xiàng)目研究奠定了良好的基礎(chǔ)。 創(chuàng)新點(diǎn)在理論模型方面：(1) 在靈長類動物各級視覺皮層采用多電極矩陣研究動物視覺感覺和識別的生理、心理機(jī)制，提出基于層級型模塊化皮層網(wǎng)絡(luò)的視頻表示與動態(tài)識別模型。(2) 基于稀疏編碼、增量成組、運(yùn)動感知、視覺注意等視知覺基本機(jī)理，提出融入隨機(jī)上下文相關(guān)圖像語法的時(shí)空要素圖模型作為視頻的表達(dá)及其相應(yīng)計(jì)算方法。(3) 基于視覺計(jì)算模型，提出與視覺感知一致的視頻編碼與傳輸理論。建立視覺信息量、視知覺熵等概念的形式化描述，從而構(gòu)建符合視覺特性的視頻編碼理論。(4) 基于視覺計(jì)算模型及視覺感知度量，提出基于視覺特性的下一代視頻編碼理論體系、技術(shù)框架及算法集合。在核心算法方面：(1) 提出基于動態(tài)局部視覺模型的新型高效視頻編碼方法，該方法從人類視覺特性出發(fā)，對視頻局部屬性進(jìn)行分析、分類，自適應(yīng)地采用不同的編碼策略。(2) 提出基于注意機(jī)制的可伸縮編碼及其相應(yīng)的碼流優(yōu)化截取方法，從而建立融合空域、時(shí)域、質(zhì)量、注意、動態(tài)范圍等多維度的可伸縮編碼框架。(3) 依據(jù)WynerZiv理論與視知覺理論，提出視頻信源分割和相關(guān)模型估計(jì)方法，并實(shí)現(xiàn)分布式信源視頻自適應(yīng)聯(lián)合解碼。(4) 提出面向三維電視應(yīng)用的深度圖像與彩色圖像聯(lián)合編碼方法。(5) 面向智能視頻監(jiān)控的需求，提出三層碼流結(jié)構(gòu)（基本層、對象層和索引層）的監(jiān)控視頻編碼方法。項(xiàng)目共設(shè)置七個(gè)課題，分別為：視覺信息處理基本機(jī)理研究；面向視頻編碼的視覺計(jì)算模型與方法研究；基于視覺模型的高效視頻編碼理論；多維度可伸縮視頻編碼方法；分布式多視點(diǎn)視頻編碼方法；面向智能監(jiān)控的視頻編碼方法；寬帶移動多媒體應(yīng)用原型研究與驗(yàn)證平臺。各個(gè)課題的主要研究內(nèi)容和目標(biāo)、承擔(dān)單位、課題負(fù)責(zé)人和經(jīng)費(fèi)比例分述如下：課題視覺信息處理基本機(jī)理研究主要研究內(nèi)容：該課題主要從視覺生理學(xué)和心理物理學(xué)角度出發(fā)，在靈長類動物上采用視覺神經(jīng)電生理、視覺心理物理以及視覺認(rèn)知神經(jīng)等研究手段，研究視知覺組織、注意機(jī)制和圖像識別的神經(jīng)機(jī)制和心理機(jī)理，探索初級視皮層神經(jīng)元在基本的視知覺組織和圖形識別過程中的神經(jīng)編碼模式，驗(yàn)證、完善、改進(jìn)稀疏編碼/群組編碼、基本成組/增量成組、視覺注意等視知覺模型/假說，乃至提出新的模型或假說。在視覺基本機(jī)理研究的基礎(chǔ)上，根據(jù)人類視覺系統(tǒng)在平移、旋轉(zhuǎn)、尺度不變性以及對數(shù)據(jù)缺失、噪聲等問題的自適應(yīng)性，建立相應(yīng)的表示和仿真模型，包括視覺信息的稀疏表示、視覺皮層各個(gè)層次不同復(fù)雜度特征形成的計(jì)算模型和實(shí)現(xiàn)算法，為視覺表示和編碼提供理論基礎(chǔ)。具體研究內(nèi)容包括：(1) 視皮層神經(jīng)元群對視覺刺激的反應(yīng)特性探索視皮層神經(jīng)元(特別是V1)對圖形背景和自然景物圖像刺激的發(fā)放模式；研究神經(jīng)元經(jīng)典感受野基本性質(zhì)，如感受野位置、大小和基本反應(yīng)特性等；研究非經(jīng)典感受野對經(jīng)典感受野特性的影響；研究神經(jīng)元群反應(yīng)的時(shí)間特性與視覺識別和學(xué)習(xí)內(nèi)在關(guān)系。通過這些研究，期望建立視皮層神經(jīng)元群反應(yīng)特性與視覺刺激之間的關(guān)系模型。(2) 研究神經(jīng)元之間的相互作用及其對視覺信息編碼的影響采用藥物學(xué)方法或物理方法調(diào)控視皮層區(qū)域不同神經(jīng)元對其他皮層區(qū)(如V1)神經(jīng)元的輸出，觀測其對動物視覺功能形成的影響，驗(yàn)證增量成組假說中的循環(huán)反饋過程；研究增量成組假說是否適用于神經(jīng)元群；探索視知覺組織過程中的增量成組過程和稀疏/群組編碼假說的內(nèi)在聯(lián)系。 在計(jì)算仿真方面，研究基于神經(jīng)元信號獨(dú)立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計(jì)模型，提出模型參數(shù)辨識的學(xué)習(xí)理論，并分析相應(yīng)的算法理論問題。研究神經(jīng)信息稀疏表示與冗余消除之間的關(guān)聯(lián)與內(nèi)在聯(lián)系。(3) 研究視皮層神經(jīng)元群反應(yīng)特性與整體特征形成機(jī)理，探索基于整體特征的事件和行為的動態(tài)識別的神經(jīng)機(jī)制研究視皮層神經(jīng)元群反應(yīng)特性與視覺行為學(xué)之間的對應(yīng)關(guān)系；探討V1經(jīng)典和非經(jīng)典感受野神經(jīng)在視覺學(xué)習(xí)過程中作用規(guī)律；研究改變不同皮層區(qū)域間聯(lián)系對上述動物視覺行為學(xué)反應(yīng)的影響。重點(diǎn)放在各級皮層輸入對動物視覺識別的貢獻(xiàn)，以及在視覺學(xué)習(xí)過程中神經(jīng)元群的稀疏編碼和群組編碼之間的動態(tài)變化范圍及內(nèi)在聯(lián)系。研究物體識別不變性特征的形成和學(xué)習(xí)方法。神經(jīng)生物學(xué)實(shí)驗(yàn)表明，在IT腦區(qū)存在相應(yīng)的各類物體的子區(qū)域。根據(jù)該特性，我們擬針對某一類物體進(jìn)行皮層型神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使得該層的神經(jīng)元響應(yīng)盡可能稀疏，從而使相應(yīng)神經(jīng)元成為該刺激信號的表征。我們還將開發(fā)識別視頻圖像中的事件及行為的動態(tài)識別模型。(4) 研究視覺注意在視知覺組織編碼過程中的作用和調(diào)節(jié)機(jī)理采用高時(shí)間分辨率的事件相關(guān)電位(ERP)技術(shù)和高空間分辨率的腦功能磁共振成像(fMRI)技術(shù)，研究人類在進(jìn)行視覺信息編碼過程中，視覺特征和信息編碼的對應(yīng)關(guān)系；視覺系統(tǒng)信息處理過程中基本成組和增量成組的時(shí)序、腦區(qū)定位等問題；以及視覺注意等其它認(rèn)知活動對視知覺組織的相互作用。此研究有助于我們更好地理解圖像識別、選擇性注意等認(rèn)知功能。研究目標(biāo)：探索初級視皮層神經(jīng)元在基本的視知覺組織和圖像識別過程中的神經(jīng)編碼模式，驗(yàn)證、完善、改進(jìn)稀疏編碼/群組編碼、基本成組/增量成組、視覺注意等視知覺模型/假說，乃至提出新的機(jī)理模型或假說，以增進(jìn)對視覺信息處理過程神經(jīng)機(jī)制和心理機(jī)理的理解。為稀疏表示、整體特征整合、時(shí)空要素圖、數(shù)據(jù)驅(qū)動和概念驅(qū)動混合推理、物體識別等計(jì)算模型的建立提供生理和心理依據(jù)。承擔(dān)單位：北京大學(xué)上海交通大學(xué)課題負(fù)責(zé)人：李量，北京大學(xué)，教授，博士生導(dǎo)師經(jīng)費(fèi)比例：%課題面向視頻編碼的視覺計(jì)算模型與方法研究主要研究內(nèi)容：(1) 研究對視覺運(yùn)動的統(tǒng)一表示：時(shí)空要素圖系統(tǒng)在靜態(tài)要素圖模型前期工作的基礎(chǔ)上，提出一個(gè)針對視覺運(yùn)動的、統(tǒng)一的表示模型：時(shí)空要素圖系統(tǒng)。由于物體的整體規(guī)則運(yùn)動伴隨著豐富的隨機(jī)過程，這個(gè)動態(tài)系統(tǒng)在數(shù)學(xué)上可以用概率模型來表示。換言之，我們將探索這套系統(tǒng)中的不同運(yùn)動基元以及伴隨這些運(yùn)動基元以時(shí)間、空間為上下文的各種隨機(jī)事件的概率分布模型，使其逼近真實(shí)觀測。 (2) 研究運(yùn)動基元在不同子空間中的動態(tài)特性運(yùn)動基元是描述運(yùn)動的基本“詞匯”。它們是對視頻信號進(jìn)行抽象、化簡、提取語義信息的重要基礎(chǔ)，也對獲得更加準(zhǔn)確魯棒的運(yùn)動序列表示、提高計(jì)算機(jī)的運(yùn)動分析和識別能力、以及實(shí)現(xiàn)高效的視頻編碼起著至關(guān)重要的作用。視頻中物體的運(yùn)動伴隨著大量的隨機(jī)過程，如：物體在運(yùn)動過程中由于光照與視角不同其光度也隨之變化，在非剛體的運(yùn)動過程中會伴隨不同程度的幾何變形以及拓?fù)浣Y(jié)構(gòu)的變化等。所以，復(fù)雜動態(tài)系統(tǒng)中的運(yùn)動基元不是一成不變的。但這些運(yùn)動物體及其部件在運(yùn)動過程中又存在一定的約束，研究運(yùn)動基元在光度、幾何、動力及拓?fù)涞炔煌S度上的動態(tài)特性是本子課題的核心內(nèi)容之一。(3) 研究