【正文】 水平的 、 面向媒體 理解算法測試的 驗證平臺，提供 有效 的測試手段和試驗環(huán)境。本項目由一支精心組織的隊伍組成，項目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗的單位，通過整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實現(xiàn)了強強聯(lián)合。 按照上述技術(shù)途徑， 本項目 將研究 內(nèi)容 分成四個方面，分別是 ： 認(rèn)知機理與計算模型、表示框架與特征描述、融合機制與學(xué)習(xí)算法、驗證平臺與應(yīng)用示范， 四個方面相輔相成，互為補充。 在認(rèn)知機理 與 計算模型方面，按照 媒體 認(rèn)知機理所呈現(xiàn) 的 整體性和層次性特點，建立自 下而上 的基于數(shù)據(jù) 驅(qū)動 和自 上而下的基于 模型控制相結(jié)合的數(shù)字媒體計算模型 。 在表示框架與特征描述方面，將重點突破 多模態(tài)、 高維、 異構(gòu)媒體 數(shù)據(jù) 分析的 核心 技術(shù)。 在融合機制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 最后， 建立算法測試驗證平臺和面向重大應(yīng)用需求的示范系統(tǒng) ，對理論模型和算法進行驗證，促進理論和算法的 完善 。 創(chuàng)新點與 特色 （ 一 ） 研究思路的創(chuàng)新與特色 從當(dāng)前導(dǎo)致數(shù)字媒體理解困難的科學(xué)問題 出發(fā) ， 根據(jù) 人類 對 媒體 對象認(rèn)知的特點、媒體對象固有的特性和媒體計算應(yīng)有的特征， 強調(diào)認(rèn)知機理與計算模型的相互促進，底層特征與高層 描述 的表達關(guān)聯(lián)，融合機制與學(xué)習(xí)算法的效用結(jié)合 。 （二）研究內(nèi)容的創(chuàng)新與特色 （ 1）針對 媒體認(rèn)知具有的層次性、整體性 ，研究視覺皮層的層次性與整體性處理機制和相應(yīng)的計算模型，建立 符合媒體理解層次性和整體性的理論框架 。 （ 2）針對 媒體對象固有的多義性、多態(tài)性 ，研究 媒體數(shù)據(jù)多義性的形成機 理和多模態(tài)間的相容互補性， 發(fā)展刻畫媒體對象多義性和多態(tài)性的表示體系 。 （ 3）針對 媒體計算應(yīng)有的協(xié)同性、高效性 ，研究高維異構(gòu)數(shù)據(jù)的處理方法、 上下文 關(guān)聯(lián)的特征 融合 和 跨媒體高層語義 分析， 突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸 。 課題設(shè)置 根據(jù)數(shù)字媒體理解研究所具有的“頂天立地”特點，本項目圍繞凝煉的三個科學(xué)問題，將研究內(nèi)容分為科學(xué)問題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范 等三個層次，認(rèn)知機理與計算模型、表示框架與特征描述、融合機制與學(xué)習(xí)算法、驗證平臺與應(yīng)用示范等四個方面，共設(shè)六個課題 (見圖 1)。這六個課題分別研究視覺認(rèn)知的層次性與整體性機制、媒體認(rèn)知的層次化計算理論與模型、面向多義性對象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法、數(shù)字媒體理解驗證平臺與應(yīng)用示范。 各課題間的關(guān)系如圖 2 所示，視覺認(rèn)知的層次性與整體性機制、媒體認(rèn)知的層次化計算理論與模型的研究相互促進，與面向多義性對象的學(xué)習(xí)理論和方法一起 構(gòu)成本項目的基礎(chǔ)理論研究，形成原創(chuàng)性成果；在理論研究的支持媒 媒 媒 媒 媒 媒 媒層 次 性 、 整 體 性媒 媒 媒 媒 媒 媒 媒多 義 性 、 多 態(tài) 性媒 媒 媒 媒 媒 媒 媒協(xié) 同 性 、 高 效 性媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒媒 媒 6 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒科 學(xué) 問 題 解 決關(guān) 鍵 技 術(shù) 攻 關(guān)典 型 應(yīng) 用 示 范科 學(xué) 問 題 設(shè) 置 課 題 三 個 層 次 圖 1 科學(xué)問題解決與課題設(shè)置間的關(guān)系 下，多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法兩個課題主要實現(xiàn)共性關(guān)鍵技術(shù)的突破 ； 在此基礎(chǔ)上建立典型應(yīng)用示范，用于檢驗相關(guān)研究成果的有效性；此外， 數(shù)字媒體理解算法測試驗證平臺為 各課題的研究工作提供先進的測試手段和驗證環(huán)境。因此，本項目的六個課題既相對獨立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進展。 課題 介紹 課題 視覺認(rèn)知的層次性與整體性機制 預(yù)期目標(biāo)： 建立整體動物雙光子 成像系統(tǒng)，實現(xiàn)視覺皮層功能及其結(jié)構(gòu)基礎(chǔ)的實時可視化，基于初級視覺皮層逐級整合到高級視覺皮層的層次性框架，揭示視覺表征如何自下而上地逐級抽象，以及如何在整合后自上而下地反饋、對初級水平進行調(diào)控，在此基礎(chǔ)上建立相應(yīng)的計算視覺模型。 研究內(nèi)容： （ 1）視覺基本特征在視覺皮層的功能組織模式 研究包括方位、方向、空間頻率、眼優(yōu)勢、空間拓?fù)?、顏色等基本視覺特征在不同層次視覺皮層的空間組織模式，多種基本特征功能柱如何共存于同一媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒驗 證 平 臺 與 應(yīng) 用 示 范融 合 機 制 與 學(xué) 習(xí) 算 法表 示 框 架 與 特 征 描 述認(rèn) 知 機 理 與 計 算 模 型四 個 方 面 的 研 究 內(nèi) 容 設(shè) 置 課 題媒 媒媒 媒媒媒媒媒媒媒媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 6 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 圖 2 課題 研究內(nèi)容及其相互 間的關(guān)系 片皮層空間，從而實現(xiàn)多種特征表達的最優(yōu)化，建立基于皮層自組織模式的數(shù)學(xué)模型。 （ 2）復(fù)雜視覺刺激 在視覺皮層的功能組織模式 利用 Gestalt知覺組織理論中涉及整體性的復(fù)雜視覺刺激范式，實時化地研究該刺激范式在功能上具有特異性的抽象表征方式，以及這一功能在神經(jīng)形態(tài)學(xué)上的組織模式。 （ 3）視覺皮層間前饋與反饋機制的生理與形態(tài)學(xué)研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應(yīng)細胞在高級與初級視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學(xué)機制的形態(tài)學(xué)基礎(chǔ)。 （ 4）模擬皮層功能柱陣列的計算模型及其效能分析 模擬視皮層機制對特征提取、特征組織與整合的 實現(xiàn)方法，并從結(jié)構(gòu)與功能相適應(yīng)的角度，利用結(jié)構(gòu)仿真、統(tǒng)計與概率分析等數(shù)學(xué)手段來驗證算法設(shè)計的合理性，對紋狀皮層的計算與表征效能進行系統(tǒng)分析，其目的是獲得設(shè)計工程應(yīng)用模型的理論依據(jù)。 承擔(dān)單位 ：復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：俞洪波 經(jīng)費比例 ： 12% 課題 媒體認(rèn)知的層次化計算理論與模型 預(yù)期目標(biāo)： 圍繞認(rèn)知的整體性和層次性特點，研究媒體對象的層次化表示理論，建立整體性感知的計算模型，提出基于層次性描述的語義標(biāo)注方法，并綜合考慮媒體對象的顯著性，研究基于顯著性檢測和顯著性識別的層次化描述方法，完善媒體對象的層次化表 示與描述框架。 研究內(nèi)容： （ 1）面向整體性感知的層次化表示 研究媒體對象的空間和時間的層次化表示理論和方法，分析時間、空間分辨率與媒體對象表示和理解的關(guān)系，分別利用遙感圖像和視頻序列研究空間層次性表示和時間層次性表示的理論和方法。 （ 2）整體性感知計算模型 研究整體性感知的計算模型和理論，包括基于不同層次表示基礎(chǔ)上的感知理解模型和基于多層次融合的整體感知模型，建立整體性感知理論框架和計算平臺。 （ 3）基于層次性描述的語義標(biāo)注 研究以遙感圖像為例的空間層次性描述的語義標(biāo)注的理論與方法，研究以視頻序列為例的時 間層次性語義描述理論與方法，在此基礎(chǔ)上給出廣義的時間和空間層次性描述的語義標(biāo)注模型。 （ 4）基于整體性感知的顯著性分析 針對空間層次不分明的媒體對象，研究顯著性檢測和顯著性識別的整體性感知理論，研究融合顯著性檢測的結(jié)果部分及其周圍的形狀信息以及視覺信息字典庫中的語義相關(guān)信息，對顯著性物體進行綜合識別。該方面的研究是上述三個研究方面的有益補充。 承擔(dān)單位 ：北京航空航天大學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：王蘊紅 經(jīng)費比例 ： % 課題 面向多義性對象的學(xué)習(xí)理論和方法 預(yù)期目標(biāo)： 圍繞媒體數(shù)據(jù)多義性特點，分析 媒體數(shù)據(jù)多義性的形成機理，研究針對媒體對象固有多義性的學(xué)習(xí)機制，建立面向多義性對象的機器學(xué)習(xí)理論與方法，并綜合考慮媒體數(shù)據(jù)的多視圖、非均衡且無標(biāo)注樣本極多等特點，提升對面向多義性對象學(xué)習(xí)的能力。 研究內(nèi)容： （ 1）多義性對象的表示與建模 研究媒體對象的多義性形成機理，分析多義性信息難以在單特征向量表示下得以充分體現(xiàn)的根本因素，研究能夠在表示過程中盡可能充分的保持對象多義性信息且適于學(xué)習(xí)的表示與建模方法。 （ 2）面向多義性對象的計算學(xué)習(xí)理論和高效算法 基于多義性對象的表示與建模，研究適于多義性對象的學(xué)習(xí)機制， 建立針對多義性對象的計算學(xué)習(xí)理論，克服對多義性對象進行高效學(xué)習(xí)的障礙，提出面向多義性對象的高效算法。 （ 3）多視圖、非均衡、無標(biāo)注樣本的學(xué)習(xí)方法 綜合考慮媒體對象的多視圖、非均衡且無標(biāo)注樣本極多等特點，研究可以充分利用多模態(tài)信息、適應(yīng)非均衡的錯分代價與類別分布、并能有效利用無標(biāo)注樣本的學(xué)習(xí)方法 ,以提高對多義性對象的泛化能力。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 研究內(nèi)容： （ 1）全局和局部特征提取方法 研究在交互式手段下結(jié)合注意力模型實現(xiàn)媒體數(shù)據(jù)中信息量最大子塊和局部特征提取方法，采用多尺度變換不變算子從信息量最大子塊之內(nèi)和之間提取全局特征。同時將強調(diào)局部幾何特征到整體拓?fù)涮卣鞯?Marr 理論與重視對象之間拓?fù)潢P(guān)系 /整體意義的 Gestalt 理論結(jié)合起來，解決全局和局部特征提取的難點問題。 （ 2）高維異構(gòu)特征數(shù)據(jù)的描述與處理 擴展現(xiàn)有線性和非線性降維方法，考慮高維異構(gòu)媒體特征固有稀疏性，研究全局和局部特征的本征屬性分析求解方法，實現(xiàn)高維異構(gòu)特征流形嵌入和降維。結(jié)合隨機文法和條件隨機場對全局和局部特征進行建模，實現(xiàn)其高效索引機制，建立高維異構(gòu)特征的描述方法。 （ 3）多模態(tài)關(guān)聯(lián)特征的提取與表達方法 多模態(tài)特征存在異構(gòu)性，難以挖掘其關(guān)聯(lián)性，通過典型相關(guān)性分析方法，研究其在內(nèi)容特征上潛在的統(tǒng)計關(guān)系，建立多模態(tài)特征的共生矩陣，以生成包含不同類型數(shù)據(jù)的同構(gòu)子空間來反映其關(guān)聯(lián)，最終實現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)系的表達。 承擔(dān)單位 ：北京航空航天大 學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：李波 經(jīng)費比例 ： % 課題 跨媒體分析的理論和方法 預(yù)期目標(biāo)： 本課題將圍繞媒體內(nèi)容的多態(tài)性特點，建立有效的跨媒體表示模型，使之能夠表達特征到特征、特征到語義、語義到語義等不同層次的關(guān)聯(lián)。提出基于異構(gòu)底層特征融合的面向不同粒度語義的映射模型，建立面向媒體內(nèi)容的以實體、關(guān)系和事件為核心的結(jié)構(gòu)化語義描述體系。 研究內(nèi)容： （ 1）基于上下文信息的多模態(tài)特征融合 借鑒高層語義的指導(dǎo)性，充分利用媒體數(shù)據(jù)所在媒介環(huán)境的上下文信息，即可能存在的語義相關(guān)性或互補性，通過協(xié)作學(xué)習(xí)方法來 挖掘各種模態(tài)特征所表達的共有與特有信息，以此建立魯棒的多模態(tài)聯(lián)合特征表示或聯(lián)合空間。 （ 2）底層特征與高層語義的多粒度映射模型 研究從底層特征、媒體對象和媒體文件等多粒度來描述媒體內(nèi)容的語義模型。在特征層，采用多模態(tài)特征融合的語義建模來挖掘不同模態(tài)特征的潛在語義相關(guān)性；在對象層，采用混合媒體圖來描述復(fù)雜媒體對象的廣義時空關(guān)聯(lián)性；在文件層，利用媒體信息的上下文關(guān)聯(lián)來實現(xiàn)媒體內(nèi)容的語義理解。 （ 3）跨媒體的層次化語義分析 充分利用跨媒體數(shù)據(jù)的語義關(guān)聯(lián)特性，實現(xiàn)面向文本的實體、事件和關(guān)系信息的自動抽取，同時抽取 與實體或事件相關(guān)的視頻、圖像等多媒體數(shù)據(jù)，以此建立一個面向大規(guī)模多媒體內(nèi)容的以實體、事件和關(guān)系為核心的層次化語義描述體系。 承擔(dān)單位 ：中國科學(xué)院自動化研究所、浙江大學(xué) 課題負(fù)責(zé)人 ：盧漢清 經(jīng)費比例 ： 16% 課題 數(shù)字媒體理解驗證平臺與應(yīng)用示范 預(yù)期目標(biāo)： 利用其他課題的研究成果，研究媒體數(shù)據(jù)的標(biāo)注和算法的評測方法，建立數(shù)字媒體理解算法測試驗證平臺；研究基于對象行為分析與幀間相關(guān)性的視頻理解技術(shù)，電視節(jié)目的內(nèi)容分析與用戶的行為分析，以及數(shù)字媒體理解應(yīng)用系統(tǒng)的實現(xiàn)構(gòu)架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)。 研究內(nèi)容： （ 1）數(shù)字媒體理解算法測試驗證平臺 研究對數(shù)據(jù)進行分布式協(xié)同人工標(biāo)記及自動推薦的方法，提高標(biāo)記質(zhì)量和效