【正文】 傳輸支撐關(guān)鍵技術(shù)，搭建寬帶移動(dòng)多媒體傳輸驗(yàn)證平臺(tái)。本項(xiàng)目的主要研究?jī)?nèi)容從基本機(jī)理到計(jì)算模型、再到編碼理論和方法、最后到原型驗(yàn)證，內(nèi)容階次展開(kāi)，互相緊密聯(lián)系，相互促進(jìn)。這集中體現(xiàn)在視覺(jué)信息處理基本機(jī)理和視覺(jué)信息處理計(jì)算模型之間、計(jì)算模型與編碼理論和方法之間的強(qiáng)相關(guān)性上，這種相關(guān)性大體上可總結(jié)為表2和表3。表2：視覺(jué)基本機(jī)理與計(jì)算模型之間的相互支撐和促進(jìn)關(guān)系視知覺(jué)機(jī)理或假說(shuō)表示或計(jì)算模型感受野整合野稀疏編碼群組編碼增量成組視覺(jué)注意運(yùn)動(dòng)感知顏色知覺(jué)時(shí)序編碼拓?fù)渲X(jué)視覺(jué)基元模型★★★★★★時(shí)空要素圖★★★★★顯著性計(jì)算★★★★★★★★貝葉斯推理★★★★局部特征學(xué)習(xí)★★★★整體特征形成與識(shí)別模型★★★★★★★表3 計(jì)算模型與編碼理論及方法之間的關(guān)系編碼理論與方法及驗(yàn)證表示或計(jì)算模型視知覺(jué)熵及視覺(jué)信息論基于視覺(jué)模型的編碼方法視覺(jué)注意可伸縮編碼分布式多視點(diǎn)編碼面向智能監(jiān)控的視頻編碼方法視覺(jué)基元模型★★★★★時(shí)空要素圖★★★★貝葉斯推理★★★顯著性計(jì)算★★★局部特征學(xué)習(xí)★★★整體特征形成與識(shí)別模型★★★表2給出了本項(xiàng)目涉及的視知覺(jué)生理、心理機(jī)理和本項(xiàng)目研究的主要計(jì)算模型之間的相互關(guān)系。有“234?！钡奈恢帽硎驹撔兴淼挠?jì)算模型與該列中的生理、心理機(jī)理或假說(shuō)具有強(qiáng)相關(guān)性。在底層的視覺(jué)信息處理機(jī)理方面，我們重點(diǎn)研究和驗(yàn)證稀疏編碼、群組編碼、增量成組、運(yùn)動(dòng)感知和視覺(jué)注意等方面的機(jī)理與假說(shuō)，這對(duì)本項(xiàng)目重點(diǎn)涉及的視覺(jué)基元模型、時(shí)空要素圖、視覺(jué)顯著性計(jì)算模型等視頻表示和計(jì)算模型提供了重要的機(jī)理基礎(chǔ)和設(shè)計(jì)指南。反過(guò)來(lái)，這些計(jì)算模型的研究也可以反過(guò)來(lái)促進(jìn)視知覺(jué)機(jī)理研究領(lǐng)域的發(fā)展，包括提出新的假說(shuō)或深化現(xiàn)有機(jī)理假說(shuō)。表3則給出了這些計(jì)算模型如何可以被應(yīng)用于后面的四方面的視頻編碼理論和方法。類(lèi)似的，其中的“234?！币脖硎玖藱M縱位置的計(jì)算模型和編碼方法之間有強(qiáng)相關(guān)性。通過(guò)表2和表3不難看出，本項(xiàng)目的各個(gè)研究?jī)?nèi)容之間具有很強(qiáng)的關(guān)聯(lián)性，在項(xiàng)目執(zhí)行過(guò)程中有非常強(qiáng)的交叉性研究特點(diǎn)，有利于創(chuàng)新思路的誕生。特別是在局部視覺(jué)要素圖模型（如基元）計(jì)算模型方面，該模型有很強(qiáng)的視覺(jué)機(jī)理支持，即稀疏編碼理論。自然圖像和視頻的統(tǒng)計(jì)分析表明，自然圖像的高階統(tǒng)計(jì)特性滿足非高斯分布，也就是說(shuō)，大部分神經(jīng)元對(duì)外界信號(hào)的響應(yīng)很弱，甚至沒(méi)有響應(yīng)，只有非常少量的神經(jīng)元對(duì)外界信號(hào)有較強(qiáng)的響應(yīng)，這種性質(zhì)稱(chēng)為稀疏編碼。稀疏編碼理論意味著圖像可以通過(guò)多個(gè)基函數(shù)的線性組合來(lái)表示。再比如，本項(xiàng)目視覺(jué)信息處理基本機(jī)理方面將會(huì)重點(diǎn)研究的群組編碼也可以對(duì)后續(xù)的視頻處理提供有效支持。群組編碼研究表明，視覺(jué)處理的過(guò)程并非簡(jiǎn)單的從初級(jí)視覺(jué)皮層到更高級(jí)的視覺(jué)皮層，而是有反饋機(jī)制，即既有自底向上的推理過(guò)程，也有自頂向下的反饋過(guò)程。因此，在視覺(jué)計(jì)算模型的設(shè)計(jì)上，也就必須要采用自底向上和自頂向下二者的有機(jī)結(jié)合。通過(guò)對(duì)此展開(kāi)研究，有利于在面向監(jiān)控的智能視頻編碼中提供準(zhǔn)確的對(duì)象信息，從而有利于實(shí)現(xiàn)分層索引編碼以及為后續(xù)的智能監(jiān)控和視頻檢索服務(wù)。本項(xiàng)目主要研究?jī)?nèi)容之間緊密耦合、相互支撐的另外一個(gè)例子則是視覺(jué)注意機(jī)制、顯著性計(jì)算模型及其多維度可伸縮編碼方法之間的緊密聯(lián)系。視覺(jué)注意目前主要有兩種模型，即：數(shù)據(jù)驅(qū)動(dòng)的注意模型和任務(wù)驅(qū)動(dòng)的注意模型。前者是自底向上的，主要思路是從圖像中提取各種特征（顏色、朝向、運(yùn)動(dòng)等），分別計(jì)算各種特征的顯著性圖，融合得到最終的興趣圖。而任務(wù)驅(qū)動(dòng)的注意模型則強(qiáng)調(diào)自頂向下的注意，涉及記憶和先驗(yàn)等各種因素。上述注意模型可以提供有效的顯著圖，以便在視頻編碼時(shí)針對(duì)不同的顯著性進(jìn)行有選擇性的比特分配，從而實(shí)現(xiàn)在視覺(jué)注意層面上的可伸縮。注意機(jī)制和模型還可以用于面向智能監(jiān)控視頻的編碼中，通過(guò)對(duì)重點(diǎn)關(guān)注對(duì)象或區(qū)域的有效編碼、索引和處理，可以實(shí)現(xiàn)基于注意機(jī)制的索引構(gòu)建、對(duì)象檢索和分析，從而實(shí)現(xiàn)更加智能的視頻監(jiān)控和檢索。(1)研究目標(biāo)明確，研究方案具體，并進(jìn)行了長(zhǎng)時(shí)期的論證。本項(xiàng)目組長(zhǎng)期以來(lái)對(duì)該項(xiàng)目涉及的研究?jī)?nèi)容進(jìn)行了充分的調(diào)研，并取得了一定的前期成果。在此基礎(chǔ)上，對(duì)項(xiàng)目的立項(xiàng)依據(jù)、研究目標(biāo)、研究?jī)?nèi)容及具體研究方案進(jìn)行了反復(fù)討論，使得設(shè)計(jì)的研究方案既具有較好的前瞻性和原創(chuàng)性，同時(shí)又充分考慮了許多理論與技術(shù)問(wèn)題的難度，形成了比較成熟的思路。(2)研究隊(duì)伍在相關(guān)課題的研究工作中已積累了豐富的經(jīng)驗(yàn)。項(xiàng)目組的主要成員長(zhǎng)期以來(lái)從事相關(guān)的研究工作，取得了顯著成果，為保證完成該項(xiàng)目的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。其中包括下述具有國(guó)際先進(jìn)水平的研究工作：在視知覺(jué)基本機(jī)理方面，從結(jié)構(gòu)和功能的角度在視網(wǎng)膜水平對(duì)人和哺乳動(dòng)物進(jìn)行了詳細(xì)的研究，并對(duì)不同種屬動(dòng)物的視皮層神經(jīng)元反應(yīng)特性和感受野進(jìn)行了深入研究，系統(tǒng)地分析了年齡對(duì)視皮層神經(jīng)元的感受野特性和視皮層視覺(jué)信息處理能力的影響，詳細(xì)闡述了老年猴視覺(jué)通路神經(jīng)元的結(jié)構(gòu)和功能特征，提出抑制性神經(jīng)遞質(zhì)可改善老年猴V1神經(jīng)元的功能；在視覺(jué)計(jì)算模型方面，我們?cè)诔叨瓤臻g理論、運(yùn)動(dòng)圖像模型與分析、局部視覺(jué)模型和特征提取方面積累了良好的基礎(chǔ)；在視覺(jué)手勢(shì)分析、人臉模式分析與識(shí)別方面，分別榮獲了國(guó)家科技進(jìn)步二等獎(jiǎng)。在視頻編碼壓縮方面，提出一系列高效智能的圖像視頻編碼算法，被AVS、MPEG視頻編碼標(biāo)準(zhǔn)接受，主導(dǎo)了面向標(biāo)清與高清的視頻編碼標(biāo)準(zhǔn)AVS的制定。項(xiàng)目組先后在國(guó)際知名期刊和國(guó)際會(huì)議上發(fā)表了400多篇論文，其中有超過(guò)80篇文章在本領(lǐng)域頂級(jí)國(guó)際期刊Science、Nature Neuroscience、Neuron、IEEE Trans. on Pattern Analysis and Machine Intelligence、IEEE Trans. on Circuits and Systems for Video Technology、IEEE Trans. on Multimedia、IEEE Trans. on Image Processing、IEEE Trans. on Neural Network、IEEE Trans. on Knowledge and Data Engineering、Pattern Recognition、International Journal of Computer Vision、Neural Computation等上發(fā)表。(3) 項(xiàng)目承擔(dān)與合作單位各有所長(zhǎng)，研究隊(duì)伍精干，專(zhuān)業(yè)分布合適。本項(xiàng)目的一個(gè)最大特點(diǎn)是研究?jī)?nèi)容涉及到多個(gè)學(xué)科，具有很強(qiáng)的學(xué)科交叉性。該項(xiàng)目組的主要成員來(lái)自神經(jīng)科學(xué)、生理學(xué)、心理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)和電子等專(zhuān)業(yè)，能夠較好地適應(yīng)研究任務(wù)的要求。同時(shí)，項(xiàng)目組由研究隊(duì)伍由來(lái)自六個(gè)參與單位的科技人員組成，共有29名教授/研究員，31名副教授/副研究員/高級(jí)工程師，19名講師/助研/工程師，以及100余名博士和碩士研究生。，主要技術(shù)骨干平均年齡40歲以下，其中包括3位中國(guó)科學(xué)院“百人計(jì)劃”入選者、2位北京大學(xué)“百人計(jì)劃”入選者。項(xiàng)目的主要技術(shù)骨干年富力強(qiáng)，并長(zhǎng)期處于科研第一線，為開(kāi)展項(xiàng)目研究奠定了良好的基礎(chǔ)。 創(chuàng)新點(diǎn)在理論模型方面：(1) 在靈長(zhǎng)類(lèi)動(dòng)物各級(jí)視覺(jué)皮層采用多電極矩陣研究動(dòng)物視覺(jué)感覺(jué)和識(shí)別的生理、心理機(jī)制，提出基于層級(jí)型模塊化皮層網(wǎng)絡(luò)的視頻表示與動(dòng)態(tài)識(shí)別模型。(2) 基于稀疏編碼、增量成組、運(yùn)動(dòng)感知、視覺(jué)注意等視知覺(jué)基本機(jī)理，提出融入隨機(jī)上下文相關(guān)圖像語(yǔ)法的時(shí)空要素圖模型作為視頻的表達(dá)及其相應(yīng)計(jì)算方法。(3) 基于視覺(jué)計(jì)算模型，提出與視覺(jué)感知一致的視頻編碼與傳輸理論。建立視覺(jué)信息量、視知覺(jué)熵等概念的形式化描述，從而構(gòu)建符合視覺(jué)特性的視頻編碼理論。(4) 基于視覺(jué)計(jì)算模型及視覺(jué)感知度量，提出基于視覺(jué)特性的下一代視頻編碼理論體系、技術(shù)框架及算法集合。在核心算法方面：(1) 提出基于動(dòng)態(tài)局部視覺(jué)模型的新型高效視頻編碼方法，該方法從人類(lèi)視覺(jué)特性出發(fā)，對(duì)視頻局部屬性進(jìn)行分析、分類(lèi)，自適應(yīng)地采用不同的編碼策略。(2) 提出基于注意機(jī)制的可伸縮編碼及其相應(yīng)的碼流優(yōu)化截取方法，從而建立融合空域、時(shí)域、質(zhì)量、注意、動(dòng)態(tài)范圍等多維度的可伸縮編碼框架。(3) 依據(jù)WynerZiv理論與視知覺(jué)理論，提出視頻信源分割和相關(guān)模型估計(jì)方法，并實(shí)現(xiàn)分布式信源視頻自適應(yīng)聯(lián)合解碼。(4) 提出面向三維電視應(yīng)用的深度圖像與彩色圖像聯(lián)合編碼方法。(5) 面向智能視頻監(jiān)控的需求，提出三層碼流結(jié)構(gòu)（基本層、對(duì)象層和索引層）的監(jiān)控視頻編碼方法。項(xiàng)目共設(shè)置七個(gè)課題，分別為：視覺(jué)信息處理基本機(jī)理研究；面向視頻編碼的視覺(jué)計(jì)算模型與方法研究；基于視覺(jué)模型的高效視頻編碼理論；多維度可伸縮視頻編碼方法；分布式多視點(diǎn)視頻編碼方法；面向智能監(jiān)控的視頻編碼方法；寬帶移動(dòng)多媒體應(yīng)用原型研究與驗(yàn)證平臺(tái)。各個(gè)課題的主要研究?jī)?nèi)容和目標(biāo)、承擔(dān)單位、課題負(fù)責(zé)人和經(jīng)費(fèi)比例分述如下：課題視覺(jué)信息處理基本機(jī)理研究主要研究?jī)?nèi)容：該課題主要從視覺(jué)生理學(xué)和心理物理學(xué)角度出發(fā)，在靈長(zhǎng)類(lèi)動(dòng)物上采用視覺(jué)神經(jīng)電生理、視覺(jué)心理物理以及視覺(jué)認(rèn)知神經(jīng)等研究手段，研究視知覺(jué)組織、注意機(jī)制和圖像識(shí)別的神經(jīng)機(jī)制和心理機(jī)理，探索初級(jí)視皮層神經(jīng)元在基本的視知覺(jué)組織和圖形識(shí)別過(guò)程中的神經(jīng)編碼模式，驗(yàn)證、完善、改進(jìn)稀疏編碼/群組編碼、基本成組/增量成組、視覺(jué)注意等視知覺(jué)模型/假說(shuō)，乃至提出新的模型或假說(shuō)。在視覺(jué)基本機(jī)理研究的基礎(chǔ)上，根據(jù)人類(lèi)視覺(jué)系統(tǒng)在平移、旋轉(zhuǎn)、尺度不變性以及對(duì)數(shù)據(jù)缺失、噪聲等問(wèn)題的自適應(yīng)性，建立相應(yīng)的表示和仿真模型，包括視覺(jué)信息的稀疏表示、視覺(jué)皮層各個(gè)層次不同復(fù)雜度特征形成的計(jì)算模型和實(shí)現(xiàn)算法，為視覺(jué)表示和編碼提供理論基礎(chǔ)。具體研究?jī)?nèi)容包括：(1) 視皮層神經(jīng)元群對(duì)視覺(jué)刺激的反應(yīng)特性探索視皮層神經(jīng)元(特別是V1)對(duì)圖形背景和自然景物圖像刺激的發(fā)放模式；研究神經(jīng)元經(jīng)典感受野基本性質(zhì)，如感受野位置、大小和基本反應(yīng)特性等；研究非經(jīng)典感受野對(duì)經(jīng)典感受野特性的影響；研究神經(jīng)元群反應(yīng)的時(shí)間特性與視覺(jué)識(shí)別和學(xué)習(xí)內(nèi)在關(guān)系。通過(guò)這些研究，期望建立視皮層神經(jīng)元群反應(yīng)特性與視覺(jué)刺激之間的關(guān)系模型。(2) 研究神經(jīng)元之間的相互作用及其對(duì)視覺(jué)信息編碼的影響采用藥物學(xué)方法或物理方法調(diào)控視皮層區(qū)域不同神經(jīng)元對(duì)其他皮層區(qū)(如V1)神經(jīng)元的輸出，觀測(cè)其對(duì)動(dòng)物視覺(jué)功能形成的影響，驗(yàn)證增量成組假說(shuō)中的循環(huán)反饋過(guò)程；研究增量成組假說(shuō)是否適用于神經(jīng)元群；探索視知覺(jué)組織過(guò)程中的增量成組過(guò)程和稀疏/群組編碼假說(shuō)的內(nèi)在聯(lián)系。 在計(jì)算仿真方面，研究基于神經(jīng)元信號(hào)獨(dú)立分解機(jī)理的內(nèi)部稀疏表示的統(tǒng)計(jì)模型，提出模型參數(shù)辨識(shí)的學(xué)習(xí)理論，并分析相應(yīng)的算法理論問(wèn)題。研究神經(jīng)信息稀疏表示與冗余消除之間的關(guān)聯(lián)與內(nèi)在聯(lián)系。(3) 研究視皮層神經(jīng)元群反應(yīng)特性與整體特征形成機(jī)理，探索基于整體特征的事件和行為的動(dòng)態(tài)識(shí)別的神經(jīng)機(jī)制研究視皮層神經(jīng)元群反應(yīng)特性與視覺(jué)行為學(xué)之間的對(duì)應(yīng)關(guān)系；探討V1經(jīng)典和非經(jīng)典感受野神經(jīng)在視覺(jué)學(xué)習(xí)過(guò)程中作用規(guī)律；研究改變不同皮層區(qū)域間聯(lián)系對(duì)上述動(dòng)物視覺(jué)行為學(xué)反應(yīng)的影響。重點(diǎn)放在各級(jí)皮層輸入對(duì)動(dòng)物視覺(jué)識(shí)別的貢獻(xiàn)，以及在視覺(jué)學(xué)習(xí)過(guò)程中神經(jīng)元群的稀疏編碼和群組編碼之間的動(dòng)態(tài)變化范圍及內(nèi)在聯(lián)系。研究物體識(shí)別不變性特征的形成和學(xué)習(xí)方法。神經(jīng)生物學(xué)實(shí)驗(yàn)表明，在IT腦區(qū)存在相應(yīng)的各類(lèi)物體的子區(qū)域。根據(jù)該特性，我們擬針對(duì)某一類(lèi)物體進(jìn)行皮層型神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使得該層的神經(jīng)元響應(yīng)盡可能稀疏，從而使相應(yīng)神經(jīng)元成為該刺激信號(hào)的表征。我們還將開(kāi)發(fā)識(shí)別視頻圖像中的事件及行為的動(dòng)態(tài)識(shí)別模型。(4) 研究視覺(jué)注意在視知覺(jué)組織編碼過(guò)程中的作用和調(diào)節(jié)機(jī)理采用高時(shí)間分辨率的事件相關(guān)電位(ERP)技術(shù)和高空間分辨率的腦功能磁共振成像(fMRI)技術(shù)，研究人類(lèi)在進(jìn)行視覺(jué)信息編碼過(guò)程中，視覺(jué)特征和信息編碼的對(duì)應(yīng)關(guān)系；視覺(jué)系統(tǒng)信息處理過(guò)程中基本成組和增量成組的時(shí)序、腦區(qū)定位等問(wèn)題；以及視覺(jué)注意等其它認(rèn)知活動(dòng)對(duì)視知覺(jué)組織的相互作用。此研究有助于我們更好地理解圖像識(shí)別、選擇性注意等認(rèn)知功能。研究目標(biāo)：探索初級(jí)視皮層神經(jīng)元在基本的視知覺(jué)組織和圖像識(shí)別過(guò)程中的神經(jīng)編碼模式，驗(yàn)證、完善、改進(jìn)稀疏編碼/群組編碼、基本成組/增量成組、視覺(jué)注意等視知覺(jué)模型/假說(shuō)，乃至提出新的機(jī)理模型或假說(shuō)，以增進(jìn)對(duì)視覺(jué)信息處理過(guò)程神經(jīng)機(jī)制和心理機(jī)理的理解。為稀疏表示、整體特征整合、時(shí)空要素圖、數(shù)據(jù)驅(qū)動(dòng)和概念驅(qū)動(dòng)混合推理、物體識(shí)別等計(jì)算模型的建立提供生理和心理依據(jù)。承擔(dān)單位：北京大學(xué)上海交通大學(xué)課題負(fù)責(zé)人：李量，北京大學(xué)，教授，博士生導(dǎo)師經(jīng)費(fèi)比例：%課題面向視頻編碼的視覺(jué)計(jì)算模型與方法研究主要研究?jī)?nèi)容：(1) 研究對(duì)視覺(jué)運(yùn)動(dòng)的統(tǒng)一表示：時(shí)空要素圖系統(tǒng)在靜態(tài)要素圖模型前期工作的基礎(chǔ)上，提出一個(gè)針對(duì)視覺(jué)運(yùn)動(dòng)的、統(tǒng)一的表示模型：時(shí)空要素圖系統(tǒng)。由于物體的整體規(guī)則運(yùn)動(dòng)伴隨著豐富的隨機(jī)過(guò)程，這個(gè)動(dòng)態(tài)系統(tǒng)在數(shù)學(xué)上可以用概率模型來(lái)表示。換言之，我們將探索這套系統(tǒng)中的不同運(yùn)動(dòng)基元以及伴隨這些運(yùn)動(dòng)基元以時(shí)間、空間為上下文的各種隨機(jī)事件的概率分布模型，使其逼近真實(shí)觀測(cè)。 (2) 研究運(yùn)動(dòng)基元在不同子空間中的動(dòng)態(tài)特性運(yùn)動(dòng)基元是描述運(yùn)動(dòng)的基本“詞匯”。它們是對(duì)視頻信號(hào)進(jìn)行抽象、化簡(jiǎn)、提取語(yǔ)義信息的重要基礎(chǔ)，也對(duì)獲得更加準(zhǔn)確魯棒的運(yùn)動(dòng)序列表示、提高計(jì)算機(jī)的運(yùn)動(dòng)分析和識(shí)別能力、以及實(shí)現(xiàn)高效的視頻編碼起著至關(guān)重要的作用。視頻中物體的運(yùn)動(dòng)伴隨著大量的隨機(jī)過(guò)程，如：物體在運(yùn)動(dòng)過(guò)程中由于光照與視角不同其光度也隨之變化，在非剛體的運(yùn)動(dòng)過(guò)程中會(huì)伴隨不同程度的幾何變形以及拓?fù)浣Y(jié)構(gòu)的變化等。所以，復(fù)雜動(dòng)態(tài)系統(tǒng)中的運(yùn)動(dòng)基元不是一成不變的。但這些運(yùn)動(dòng)物體及其部件在運(yùn)動(dòng)過(guò)程中又存在一定的約束，研究運(yùn)動(dòng)基元在光度、幾何、動(dòng)力及拓?fù)涞炔煌S度上的動(dòng)態(tài)特性是本子課題的核心內(nèi)容之一。(3) 研究