【正文】 水平的 、 面向媒體 理解算法測(cè)試的 驗(yàn)證平臺(tái)，提供 有效 的測(cè)試手段和試驗(yàn)環(huán)境。本項(xiàng)目由一支精心組織的隊(duì)伍組成，項(xiàng)目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗(yàn)的單位，通過整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實(shí)現(xiàn)了強(qiáng)強(qiáng)聯(lián)合。 按照上述技術(shù)途徑， 本項(xiàng)目 將研究 內(nèi)容 分成四個(gè)方面，分別是 ： 認(rèn)知機(jī)理與計(jì)算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺(tái)與應(yīng)用示范， 四個(gè)方面相輔相成，互為補(bǔ)充。 在認(rèn)知機(jī)理 與 計(jì)算模型方面，按照 媒體 認(rèn)知機(jī)理所呈現(xiàn) 的 整體性和層次性特點(diǎn)，建立自 下而上 的基于數(shù)據(jù) 驅(qū)動(dòng) 和自 上而下的基于 模型控制相結(jié)合的數(shù)字媒體計(jì)算模型 。 在表示框架與特征描述方面，將重點(diǎn)突破 多模態(tài)、 高維、 異構(gòu)媒體 數(shù)據(jù) 分析的 核心 技術(shù)。 在融合機(jī)制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 最后， 建立算法測(cè)試驗(yàn)證平臺(tái)和面向重大應(yīng)用需求的示范系統(tǒng) ，對(duì)理論模型和算法進(jìn)行驗(yàn)證，促進(jìn)理論和算法的 完善 。 創(chuàng)新點(diǎn)與 特色 （ 一 ） 研究思路的創(chuàng)新與特色 從當(dāng)前導(dǎo)致數(shù)字媒體理解困難的科學(xué)問題 出發(fā) ， 根據(jù) 人類 對(duì) 媒體 對(duì)象認(rèn)知的特點(diǎn)、媒體對(duì)象固有的特性和媒體計(jì)算應(yīng)有的特征， 強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì)算模型的相互促進(jìn)，底層特征與高層 描述 的表達(dá)關(guān)聯(lián)，融合機(jī)制與學(xué)習(xí)算法的效用結(jié)合 。 （二）研究?jī)?nèi)容的創(chuàng)新與特色 （ 1）針對(duì) 媒體認(rèn)知具有的層次性、整體性 ，研究視覺皮層的層次性與整體性處理機(jī)制和相應(yīng)的計(jì)算模型，建立 符合媒體理解層次性和整體性的理論框架 。 （ 2）針對(duì) 媒體對(duì)象固有的多義性、多態(tài)性 ，研究 媒體數(shù)據(jù)多義性的形成機(jī) 理和多模態(tài)間的相容互補(bǔ)性， 發(fā)展刻畫媒體對(duì)象多義性和多態(tài)性的表示體系 。 （ 3）針對(duì) 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ，研究高維異構(gòu)數(shù)據(jù)的處理方法、 上下文 關(guān)聯(lián)的特征 融合 和 跨媒體高層語義 分析， 突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸 。 課題設(shè)置 根據(jù)數(shù)字媒體理解研究所具有的“頂天立地”特點(diǎn)，本項(xiàng)目圍繞凝煉的三個(gè)科學(xué)問題，將研究?jī)?nèi)容分為科學(xué)問題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范 等三個(gè)層次，認(rèn)知機(jī)理與計(jì)算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺(tái)與應(yīng)用示范等四個(gè)方面，共設(shè)六個(gè)課題 (見圖 1)。這六個(gè)課題分別研究視覺認(rèn)知的層次性與整體性機(jī)制、媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法、數(shù)字媒體理解驗(yàn)證平臺(tái)與應(yīng)用示范。 各課題間的關(guān)系如圖 2 所示，視覺認(rèn)知的層次性與整體性機(jī)制、媒體認(rèn)知的層次化計(jì)算理論與模型的研究相互促進(jìn)，與面向多義性對(duì)象的學(xué)習(xí)理論和方法一起 構(gòu)成本項(xiàng)目的基礎(chǔ)理論研究，形成原創(chuàng)性成果；在理論研究的支持媒 媒 媒 媒 媒 媒 媒層 次 性 、 整 體 性媒 媒 媒 媒 媒 媒 媒多 義 性 、 多 態(tài) 性媒 媒 媒 媒 媒 媒 媒協(xié) 同 性 、 高 效 性媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒媒 媒 6 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒科 學(xué) 問 題 解 決關(guān) 鍵 技 術(shù) 攻 關(guān)典 型 應(yīng) 用 示 范科 學(xué) 問 題 設(shè) 置 課 題 三 個(gè) 層 次 圖 1 科學(xué)問題解決與課題設(shè)置間的關(guān)系 下，多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法兩個(gè)課題主要實(shí)現(xiàn)共性關(guān)鍵技術(shù)的突破 ； 在此基礎(chǔ)上建立典型應(yīng)用示范，用于檢驗(yàn)相關(guān)研究成果的有效性；此外， 數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)為 各課題的研究工作提供先進(jìn)的測(cè)試手段和驗(yàn)證環(huán)境。因此，本項(xiàng)目的六個(gè)課題既相對(duì)獨(dú)立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進(jìn)展。 課題 介紹 課題 視覺認(rèn)知的層次性與整體性機(jī)制 預(yù)期目標(biāo)： 建立整體動(dòng)物雙光子 成像系統(tǒng)，實(shí)現(xiàn)視覺皮層功能及其結(jié)構(gòu)基礎(chǔ)的實(shí)時(shí)可視化，基于初級(jí)視覺皮層逐級(jí)整合到高級(jí)視覺皮層的層次性框架，揭示視覺表征如何自下而上地逐級(jí)抽象，以及如何在整合后自上而下地反饋、對(duì)初級(jí)水平進(jìn)行調(diào)控，在此基礎(chǔ)上建立相應(yīng)的計(jì)算視覺模型。 研究?jī)?nèi)容： （ 1）視覺基本特征在視覺皮層的功能組織模式 研究包括方位、方向、空間頻率、眼優(yōu)勢(shì)、空間拓?fù)洹㈩伾然疽曈X特征在不同層次視覺皮層的空間組織模式，多種基本特征功能柱如何共存于同一媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒驗(yàn) 證 平 臺(tái) 與 應(yīng) 用 示 范融 合 機(jī) 制 與 學(xué) 習(xí) 算 法表 示 框 架 與 特 征 描 述認(rèn) 知 機(jī) 理 與 計(jì) 算 模 型四 個(gè) 方 面 的 研 究 內(nèi) 容 設(shè) 置 課 題媒 媒媒 媒媒媒媒媒媒媒媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 6 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 圖 2 課題 研究?jī)?nèi)容及其相互 間的關(guān)系 片皮層空間，從而實(shí)現(xiàn)多種特征表達(dá)的最優(yōu)化，建立基于皮層自組織模式的數(shù)學(xué)模型。 （ 2）復(fù)雜視覺刺激 在視覺皮層的功能組織模式 利用 Gestalt知覺組織理論中涉及整體性的復(fù)雜視覺刺激范式，實(shí)時(shí)化地研究該刺激范式在功能上具有特異性的抽象表征方式，以及這一功能在神經(jīng)形態(tài)學(xué)上的組織模式。 （ 3）視覺皮層間前饋與反饋機(jī)制的生理與形態(tài)學(xué)研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應(yīng)細(xì)胞在高級(jí)與初級(jí)視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學(xué)機(jī)制的形態(tài)學(xué)基礎(chǔ)。 （ 4）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 模擬視皮層機(jī)制對(duì)特征提取、特征組織與整合的 實(shí)現(xiàn)方法，并從結(jié)構(gòu)與功能相適應(yīng)的角度，利用結(jié)構(gòu)仿真、統(tǒng)計(jì)與概率分析等數(shù)學(xué)手段來驗(yàn)證算法設(shè)計(jì)的合理性，對(duì)紋狀皮層的計(jì)算與表征效能進(jìn)行系統(tǒng)分析，其目的是獲得設(shè)計(jì)工程應(yīng)用模型的理論依據(jù)。 承擔(dān)單位 ：復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：俞洪波 經(jīng)費(fèi)比例 ： 12% 課題 媒體認(rèn)知的層次化計(jì)算理論與模型 預(yù)期目標(biāo)： 圍繞認(rèn)知的整體性和層次性特點(diǎn)，研究媒體對(duì)象的層次化表示理論，建立整體性感知的計(jì)算模型，提出基于層次性描述的語義標(biāo)注方法，并綜合考慮媒體對(duì)象的顯著性，研究基于顯著性檢測(cè)和顯著性識(shí)別的層次化描述方法，完善媒體對(duì)象的層次化表 示與描述框架。 研究?jī)?nèi)容： （ 1）面向整體性感知的層次化表示 研究媒體對(duì)象的空間和時(shí)間的層次化表示理論和方法，分析時(shí)間、空間分辨率與媒體對(duì)象表示和理解的關(guān)系，分別利用遙感圖像和視頻序列研究空間層次性表示和時(shí)間層次性表示的理論和方法。 （ 2）整體性感知計(jì)算模型 研究整體性感知的計(jì)算模型和理論，包括基于不同層次表示基礎(chǔ)上的感知理解模型和基于多層次融合的整體感知模型，建立整體性感知理論框架和計(jì)算平臺(tái)。 （ 3）基于層次性描述的語義標(biāo)注 研究以遙感圖像為例的空間層次性描述的語義標(biāo)注的理論與方法，研究以視頻序列為例的時(shí) 間層次性語義描述理論與方法，在此基礎(chǔ)上給出廣義的時(shí)間和空間層次性描述的語義標(biāo)注模型。 （ 4）基于整體性感知的顯著性分析 針對(duì)空間層次不分明的媒體對(duì)象，研究顯著性檢測(cè)和顯著性識(shí)別的整體性感知理論，研究融合顯著性檢測(cè)的結(jié)果部分及其周圍的形狀信息以及視覺信息字典庫(kù)中的語義相關(guān)信息，對(duì)顯著性物體進(jìn)行綜合識(shí)別。該方面的研究是上述三個(gè)研究方面的有益補(bǔ)充。 承擔(dān)單位 ：北京航空航天大學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：王蘊(yùn)紅 經(jīng)費(fèi)比例 ： % 課題 面向多義性對(duì)象的學(xué)習(xí)理論和方法 預(yù)期目標(biāo)： 圍繞媒體數(shù)據(jù)多義性特點(diǎn)，分析 媒體數(shù)據(jù)多義性的形成機(jī)理，研究針對(duì)媒體對(duì)象固有多義性的學(xué)習(xí)機(jī)制，建立面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法，并綜合考慮媒體數(shù)據(jù)的多視圖、非均衡且無標(biāo)注樣本極多等特點(diǎn)，提升對(duì)面向多義性對(duì)象學(xué)習(xí)的能力。 研究?jī)?nèi)容： （ 1）多義性對(duì)象的表示與建模 研究媒體對(duì)象的多義性形成機(jī)理，分析多義性信息難以在單特征向量表示下得以充分體現(xiàn)的根本因素，研究能夠在表示過程中盡可能充分的保持對(duì)象多義性信息且適于學(xué)習(xí)的表示與建模方法。 （ 2）面向多義性對(duì)象的計(jì)算學(xué)習(xí)理論和高效算法 基于多義性對(duì)象的表示與建模，研究適于多義性對(duì)象的學(xué)習(xí)機(jī)制， 建立針對(duì)多義性對(duì)象的計(jì)算學(xué)習(xí)理論，克服對(duì)多義性對(duì)象進(jìn)行高效學(xué)習(xí)的障礙，提出面向多義性對(duì)象的高效算法。 （ 3）多視圖、非均衡、無標(biāo)注樣本的學(xué)習(xí)方法 綜合考慮媒體對(duì)象的多視圖、非均衡且無標(biāo)注樣本極多等特點(diǎn)，研究可以充分利用多模態(tài)信息、適應(yīng)非均衡的錯(cuò)分代價(jià)與類別分布、并能有效利用無標(biāo)注樣本的學(xué)習(xí)方法 ,以提高對(duì)多義性對(duì)象的泛化能力。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費(fèi)比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對(duì)象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機(jī)理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 研究?jī)?nèi)容： （ 1）全局和局部特征提取方法 研究在交互式手段下結(jié)合注意力模型實(shí)現(xiàn)媒體數(shù)據(jù)中信息量最大子塊和局部特征提取方法，采用多尺度變換不變算子從信息量最大子塊之內(nèi)和之間提取全局特征。同時(shí)將強(qiáng)調(diào)局部幾何特征到整體拓?fù)涮卣鞯?Marr 理論與重視對(duì)象之間拓?fù)潢P(guān)系 /整體意義的 Gestalt 理論結(jié)合起來，解決全局和局部特征提取的難點(diǎn)問題。 （ 2）高維異構(gòu)特征數(shù)據(jù)的描述與處理 擴(kuò)展現(xiàn)有線性和非線性降維方法，考慮高維異構(gòu)媒體特征固有稀疏性，研究全局和局部特征的本征屬性分析求解方法，實(shí)現(xiàn)高維異構(gòu)特征流形嵌入和降維。結(jié)合隨機(jī)文法和條件隨機(jī)場(chǎng)對(duì)全局和局部特征進(jìn)行建模，實(shí)現(xiàn)其高效索引機(jī)制，建立高維異構(gòu)特征的描述方法。 （ 3）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 多模態(tài)特征存在異構(gòu)性，難以挖掘其關(guān)聯(lián)性，通過典型相關(guān)性分析方法，研究其在內(nèi)容特征上潛在的統(tǒng)計(jì)關(guān)系，建立多模態(tài)特征的共生矩陣，以生成包含不同類型數(shù)據(jù)的同構(gòu)子空間來反映其關(guān)聯(lián)，最終實(shí)現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)系的表達(dá)。 承擔(dān)單位 ：北京航空航天大 學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：李波 經(jīng)費(fèi)比例 ： % 課題 跨媒體分析的理論和方法 預(yù)期目標(biāo)： 本課題將圍繞媒體內(nèi)容的多態(tài)性特點(diǎn)，建立有效的跨媒體表示模型，使之能夠表達(dá)特征到特征、特征到語義、語義到語義等不同層次的關(guān)聯(lián)。提出基于異構(gòu)底層特征融合的面向不同粒度語義的映射模型，建立面向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語義描述體系。 研究?jī)?nèi)容： （ 1）基于上下文信息的多模態(tài)特征融合 借鑒高層語義的指導(dǎo)性，充分利用媒體數(shù)據(jù)所在媒介環(huán)境的上下文信息，即可能存在的語義相關(guān)性或互補(bǔ)性，通過協(xié)作學(xué)習(xí)方法來 挖掘各種模態(tài)特征所表達(dá)的共有與特有信息，以此建立魯棒的多模態(tài)聯(lián)合特征表示或聯(lián)合空間。 （ 2）底層特征與高層語義的多粒度映射模型 研究從底層特征、媒體對(duì)象和媒體文件等多粒度來描述媒體內(nèi)容的語義模型。在特征層，采用多模態(tài)特征融合的語義建模來挖掘不同模態(tài)特征的潛在語義相關(guān)性；在對(duì)象層，采用混合媒體圖來描述復(fù)雜媒體對(duì)象的廣義時(shí)空關(guān)聯(lián)性；在文件層，利用媒體信息的上下文關(guān)聯(lián)來實(shí)現(xiàn)媒體內(nèi)容的語義理解。 （ 3）跨媒體的層次化語義分析 充分利用跨媒體數(shù)據(jù)的語義關(guān)聯(lián)特性，實(shí)現(xiàn)面向文本的實(shí)體、事件和關(guān)系信息的自動(dòng)抽取，同時(shí)抽取 與實(shí)體或事件相關(guān)的視頻、圖像等多媒體數(shù)據(jù)，以此建立一個(gè)面向大規(guī)模多媒體內(nèi)容的以實(shí)體、事件和關(guān)系為核心的層次化語義描述體系。 承擔(dān)單位 ：中國(guó)科學(xué)院自動(dòng)化研究所、浙江大學(xué) 課題負(fù)責(zé)人 ：盧漢清 經(jīng)費(fèi)比例 ： 16% 課題 數(shù)字媒體理解驗(yàn)證平臺(tái)與應(yīng)用示范 預(yù)期目標(biāo)： 利用其他課題的研究成果，研究媒體數(shù)據(jù)的標(biāo)注和算法的評(píng)測(cè)方法，建立數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)；研究基于對(duì)象行為分析與幀間相關(guān)性的視頻理解技術(shù)，電視節(jié)目的內(nèi)容分析與用戶的行為分析，以及數(shù)字媒體理解應(yīng)用系統(tǒng)的實(shí)現(xiàn)構(gòu)架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網(wǎng)絡(luò)互動(dòng)電視搜索應(yīng)用示范系統(tǒng)。 研究?jī)?nèi)容： （ 1）數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái) 研究對(duì)數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及自動(dòng)推薦的方法，提高標(biāo)記質(zhì)量和效