【正文】 ntelligence、 IEEE PAMI 等在內(nèi)的重要國(guó)際學(xué)術(shù)刊物和一流國(guó)際 學(xué)術(shù) 會(huì)議發(fā)表論文 150篇以上， 授權(quán) 發(fā)明專利 50項(xiàng)以上。鍛煉出一批青年學(xué)術(shù)帶頭人，其中國(guó)家杰出青年科學(xué)基金獲得者、教育部“長(zhǎng)江學(xué)者”特聘教授、中科院“百人計(jì)劃”入選者 3 人以上；培養(yǎng)一批優(yōu)秀的青年學(xué)術(shù)骨干，其中培養(yǎng)博士后和博士研究生 100 名以上，爭(zhēng)取獲得 1 篇 以上全國(guó)百篇優(yōu)秀博士 學(xué)位 論文。項(xiàng)目組確立了如下三條學(xué)術(shù)思路： （ 1）強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì)算模型的研究相互促進(jìn)，構(gòu)建符合媒體理解層次性和整體性的理論框架。 因此， 與試圖直接借鑒認(rèn)知科學(xué)已有的成果不同 ，本項(xiàng)目將圍繞媒體認(rèn)知的層次性和整體性目標(biāo)，強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì) 算模型協(xié)同探索：一方面，在媒體計(jì)算模型的研究中注意吸收利用底層、局部性認(rèn)知機(jī)理方面的成果 ； 另一方面，通過(guò)媒體計(jì)算模型研究形成有關(guān)高層、整體性認(rèn)知的假說(shuō)， 在認(rèn)知科學(xué)的探索中進(jìn)行驗(yàn)證。 （ 2）強(qiáng)調(diào)高層描述與底層特征的表達(dá)相互關(guān)聯(lián)，發(fā)展刻畫媒體對(duì)象多義性和多態(tài)性的表示體系。 與試圖僅通過(guò)加強(qiáng)底層特征的表達(dá)能力來(lái)縮小語(yǔ)義鴻溝不同 ，本項(xiàng)目將針對(duì)媒體對(duì)象的多義性和多態(tài)性特點(diǎn)，強(qiáng)調(diào)高層描述與底層特征的相互關(guān)聯(lián)：一方面，在形成高層描述時(shí)注意到單模態(tài)特征表達(dá)的局限性和多模態(tài)信息的互補(bǔ)性 ； 另一方面，在設(shè)計(jì)底層特征時(shí)考慮到高層描述的指導(dǎo)性，使得底層特征的選取為高層描述服務(wù)。 （ 3）強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的效用相互結(jié)合，突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸。 與試圖單純通過(guò)特征層融合或決策層融合來(lái)實(shí)現(xiàn)多源信息利用、獨(dú)立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計(jì)不同 ，本項(xiàng)目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實(shí)現(xiàn)融合機(jī)制時(shí)考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計(jì)學(xué)習(xí)算法時(shí)以多態(tài)信息融合為主體目標(biāo)，使得對(duì)復(fù)雜媒體對(duì)象的處理可以準(zhǔn)確高效地完成 。 為此，本項(xiàng)目 面向 數(shù)字媒體理解的重大應(yīng)用需求 ， 深入研究 其 關(guān)鍵 科學(xué)問(wèn)題 和核心技術(shù) 。 技術(shù)途徑 針對(duì)數(shù)字媒體理解重大需求突出、涉及學(xué)科面廣、成果轉(zhuǎn)化速度快等特點(diǎn)，本項(xiàng)目在研究?jī)?nèi)容設(shè)計(jì)、實(shí)驗(yàn)手段建設(shè)、研究隊(duì)伍組織等方面進(jìn)行了深入探討，以確保預(yù)期目標(biāo)的順利實(shí)現(xiàn)。 針對(duì)媒體認(rèn)知和理解難度大， 本項(xiàng)目將通過(guò) 信息科學(xué)、認(rèn)知科學(xué)、應(yīng)用數(shù)學(xué)、語(yǔ)言學(xué)等多學(xué)科的交叉融合， 從新的 思路 開(kāi)展研究 工作 ， 通過(guò)解決科學(xué)問(wèn)題取得原始創(chuàng)新，在此基礎(chǔ)上形成關(guān)鍵技術(shù)突破，推動(dòng)重 大應(yīng)用需求的示范系統(tǒng)建設(shè)。 數(shù)字媒體理解的核心理論和 技術(shù) 是推動(dòng)國(guó)家重大應(yīng)用需求的共性基礎(chǔ)，其應(yīng)用背景復(fù)雜、需求明確。 （ 3）加強(qiáng)資源整合，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。本項(xiàng)目由一支精心組織的隊(duì)伍組成，項(xiàng)目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗(yàn)的單位，通過(guò)整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實(shí)現(xiàn)了強(qiáng)強(qiáng)聯(lián)合。 在認(rèn)知機(jī)理 與 計(jì)算模型方面，按照 媒體 認(rèn)知機(jī)理所呈現(xiàn) 的 整體性和層次性特點(diǎn)，建立自 下而上 的基于數(shù)據(jù) 驅(qū)動(dòng) 和自 上而下的基于 模型控制相結(jié)合的數(shù)字媒體計(jì)算模型 。 在融合機(jī)制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 創(chuàng)新點(diǎn)與 特色 （ 一 ） 研究思路的創(chuàng)新與特色 從當(dāng)前導(dǎo)致數(shù)字媒體理解困難的科學(xué)問(wèn)題 出發(fā) ， 根據(jù) 人類 對(duì) 媒體 對(duì)象認(rèn)知的特點(diǎn)、媒體對(duì)象固有的特性和媒體計(jì)算應(yīng)有的特征， 強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì)算模型的相互促進(jìn)，底層特征與高層 描述 的表達(dá)關(guān)聯(lián)，融合機(jī)制與學(xué)習(xí)算法的效用結(jié)合 。 （ 2）針對(duì) 媒體對(duì)象固有的多義性、多態(tài)性 ，研究 媒體數(shù)據(jù)多義性的形成機(jī) 理和多模態(tài)間的相容互補(bǔ)性， 發(fā)展刻畫媒體對(duì)象多義性和多態(tài)性的表示體系 。 課題設(shè)置 根據(jù)數(shù)字媒體理解研究所具有的“頂天立地”特點(diǎn)，本項(xiàng)目圍繞凝煉的三個(gè)科學(xué)問(wèn)題，將研究?jī)?nèi)容分為科學(xué)問(wèn)題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范 等三個(gè)層次，認(rèn)知機(jī)理與計(jì)算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺(tái)與應(yīng)用示范等四個(gè)方面，共設(shè)六個(gè)課題 (見(jiàn)圖 1)。 各課題間的關(guān)系如圖 2 所示，視覺(jué)認(rèn)知的層次性與整體性機(jī)制、媒體認(rèn)知的層次化計(jì)算理論與模型的研究相互促進(jìn)，與面向多義性對(duì)象的學(xué)習(xí)理論和方法一起 構(gòu)成本項(xiàng)目的基礎(chǔ)理論研究，形成原創(chuàng)性成果；在理論研究的支持媒 媒 媒 媒 媒 媒 媒層 次 性 、 整 體 性媒 媒 媒 媒 媒 媒 媒多 義 性 、 多 態(tài) 性媒 媒 媒 媒 媒 媒 媒協(xié) 同 性 、 高 效 性媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒媒 媒 6 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒科 學(xué) 問(wèn) 題 解 決關(guān) 鍵 技 術(shù) 攻 關(guān)典 型 應(yīng) 用 示 范科 學(xué) 問(wèn) 題 設(shè) 置 課 題 三 個(gè) 層 次 圖 1 科學(xué)問(wèn)題解決與課題設(shè)置間的關(guān)系 下，多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法兩個(gè)課題主要實(shí)現(xiàn)共性關(guān)鍵技術(shù)的突破 ； 在此基礎(chǔ)上建立典型應(yīng)用示范，用于檢驗(yàn)相關(guān)研究成果的有效性；此外， 數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)為 各課題的研究工作提供先進(jìn)的測(cè)試手段和驗(yàn)證環(huán)境。 課題 介紹 課題 視覺(jué)認(rèn)知的層次性與整體性機(jī)制 預(yù)期目標(biāo)： 建立整體動(dòng)物雙光子 成像系統(tǒng)，實(shí)現(xiàn)視覺(jué)皮層功能及其結(jié)構(gòu)基礎(chǔ)的實(shí)時(shí)可視化，基于初級(jí)視覺(jué)皮層逐級(jí)整合到高級(jí)視覺(jué)皮層的層次性框架，揭示視覺(jué)表征如何自下而上地逐級(jí)抽象，以及如何在整合后自上而下地反饋、對(duì)初級(jí)水平進(jìn)行調(diào)控，在此基礎(chǔ)上建立相應(yīng)的計(jì)算視覺(jué)模型。 （ 2）復(fù)雜視覺(jué)刺激 在視覺(jué)皮層的功能組織模式 利用 Gestalt知覺(jué)組織理論中涉及整體性的復(fù)雜視覺(jué)刺激范式，實(shí)時(shí)化地研究該刺激范式在功能上具有特異性的抽象表征方式，以及這一功能在神經(jīng)形態(tài)學(xué)上的組織模式。 （ 4）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 模擬視皮層機(jī)制對(duì)特征提取、特征組織與整合的 實(shí)現(xiàn)方法，并從結(jié)構(gòu)與功能相適應(yīng)的角度，利用結(jié)構(gòu)仿真、統(tǒng)計(jì)與概率分析等數(shù)學(xué)手段來(lái)驗(yàn)證算法設(shè)計(jì)的合理性，對(duì)紋狀皮層的計(jì)算與表征效能進(jìn)行系統(tǒng)分析，其目的是獲得設(shè)計(jì)工程應(yīng)用模型的理論依據(jù)。 研究?jī)?nèi)容： （ 1）面向整體性感知的層次化表示 研究媒體對(duì)象的空間和時(shí)間的層次化表示理論和方法，分析時(shí)間、空間分辨率與媒體對(duì)象表示和理解的關(guān)系，分別利用遙感圖像和視頻序列研究空間層次性表示和時(shí)間層次性表示的理論和方法。 （ 3）基于層次性描述的語(yǔ)義標(biāo)注 研究以遙感圖像為例的空間層次性描述的語(yǔ)義標(biāo)注的理論與方法，研究以視頻序列為例的時(shí) 間層次性語(yǔ)義描述理論與方法，在此基礎(chǔ)上給出廣義的時(shí)間和空間層次性描述的語(yǔ)義標(biāo)注模型。該方面的研究是上述三個(gè)研究方面的有益補(bǔ)充。 研究?jī)?nèi)容： （ 1）多義性對(duì)象的表示與建模 研究媒體對(duì)象的多義性形成機(jī)理，分析多義性信息難以在單特征向量表示下得以充分體現(xiàn)的根本因素，研究能夠在表示過(guò)程中盡可能充分的保持對(duì)象多義性信息且適于學(xué)習(xí)的表示與建模方法。 （ 3）多視圖、非均衡、無(wú)標(biāo)注樣本的學(xué)習(xí)方法 綜合考慮媒體對(duì)象的多視圖、非均衡且無(wú)標(biāo)注樣本極多等特點(diǎn)，研究可以充分利用多模態(tài)信息、適應(yīng)非均衡的錯(cuò)分代價(jià)與類別分布、并能有效利用無(wú)標(biāo)注樣本的學(xué)習(xí)方法 ,以提高對(duì)多義性對(duì)象的泛化能力。 研究?jī)?nèi)容： （ 1）全局和局部特征提取方法 研究在交互式手段下結(jié)合注意力模型實(shí)現(xiàn)媒體數(shù)據(jù)中信息量最大子塊和局部特征提取方法，采用多尺度變換不變算子從信息量最大子塊之內(nèi)和之間提取全局特征。 （ 2）高維異構(gòu)特征數(shù)據(jù)的描述與處理 擴(kuò)展現(xiàn)有線性和非線性降維方法，考慮高維異構(gòu)媒體特征固有稀疏性，研究全局和局部特征的本征屬性分析求解方法，實(shí)現(xiàn)高維異構(gòu)特征流形嵌入和降維。 （ 3）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 多模態(tài)特征存在異構(gòu)性，難以挖掘其關(guān)聯(lián)性，通過(guò)典型相關(guān)性分析方法，研究其在內(nèi)容特征上潛在的統(tǒng)計(jì)關(guān)系，建立多模態(tài)特征的共生矩陣，以生成包含不同類型數(shù)據(jù)的同構(gòu)子空間來(lái)反映其關(guān)聯(lián)，最終實(shí)現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)系的表達(dá)。提出基于異構(gòu)底層特征融合的面向不同粒度語(yǔ)義的映射模型，建立面向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語(yǔ)義描述體系。 （ 2）底層特征與高層語(yǔ)義的多粒度映射模型 研究從底層特征、媒體對(duì)象和媒體文件等多粒度來(lái)描述媒體內(nèi)容的語(yǔ)義模型。 （ 3）跨媒體的層次化語(yǔ)義分析 充分利用跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)特性，實(shí)現(xiàn)面向文本的實(shí)體、事件和關(guān)系信息的自動(dòng)抽取，同時(shí)抽取 與實(shí)體或事件相關(guān)的視頻、圖像等多媒體數(shù)據(jù)，以此建立一個(gè)面向大規(guī)模多媒體內(nèi)容的以實(shí)體、事件和關(guān)系為核心的層次化語(yǔ)義描述體系。 研究?jī)?nèi)容： （ 1）數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái) 研究對(duì)數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及自動(dòng)推薦的方法，提高標(biāo)記質(zhì)量和效率；研究數(shù)字媒體理解算法的性能測(cè)試、分析比較和可視化展現(xiàn)手段；建立具有典型性的規(guī)模化媒體數(shù)據(jù)庫(kù)，研制接口規(guī)范、擴(kuò)展性強(qiáng)的測(cè)試驗(yàn)證平臺(tái)。 （ 3）網(wǎng)絡(luò)互動(dòng)電視搜索應(yīng)用示范 研究電視節(jié)目的結(jié)構(gòu)分析、語(yǔ)義分析、話題檢測(cè)等，以及用戶行為的分析與建模，語(yǔ)義搜索和個(gè)性化推薦；研制海量數(shù)字電視節(jié)目個(gè)性化搜索與推薦應(yīng)用示范平臺(tái)，解決網(wǎng)絡(luò)互動(dòng)電視（ iTV）系統(tǒng)中存在的內(nèi)容搜索粒度粗、個(gè)性化推薦能力弱等問(wèn)題。 驗(yàn)證平臺(tái)需求說(shuō)明文檔，研制數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)原型框架系統(tǒng)； （ 15）完成智能視頻監(jiān)控、網(wǎng)絡(luò)互動(dòng)電視搜索應(yīng)用示范需求說(shuō)明文檔。 （ 5） 借助認(rèn)知理論研究相關(guān)層次性感知模型 ； （ 6） 提出不同層次理解的視覺(jué)計(jì)算模型 ； （ 1） 改造已有設(shè)備，實(shí)現(xiàn)整體動(dòng)物皮層在功能與形態(tài)上的同步實(shí)時(shí)記錄； （ 2）建立與實(shí)驗(yàn)結(jié)果相互驗(yàn)證的多種功能圖的自組織模型； （ 3） 建立 視皮層功能柱型結(jié)構(gòu)的特征表征與提取 模型； （ 4） 建立 基于視覺(jué)皮層神經(jīng)機(jī)制的仿真 理論與方法 ， 提出符合可形式化、可計(jì)算要求的體現(xiàn)視覺(jué)認(rèn)知層次性和整體性的算法設(shè)計(jì)方向 ； （ 5）從算法角度獲得關(guān)于視覺(jué)認(rèn)知整體性如何經(jīng)層次性加工逐級(jí)表現(xiàn)出來(lái)的初步認(rèn)識(shí) ； （ 6） 實(shí)現(xiàn)層次性感知模型，進(jìn)行圖像層次性分析 ； （ 7）建立 不同層次理解的視覺(jué)計(jì)年度 研究?jī)?nèi)容 預(yù)期目標(biāo) （ 7） 研究視頻數(shù)據(jù)時(shí)間層次性語(yǔ)義標(biāo)注 ； ? （ 8） 分析各種不同底層特征對(duì)顯著性檢測(cè)的影響 ； （ 9） 研究面向多義性對(duì)象的機(jī)器學(xué)習(xí)方法； （ 10）研究有效利用無(wú)標(biāo)注樣本進(jìn)行學(xué)習(xí)的方法； （ 11）分析特征包含的信息量，研究媒體數(shù)據(jù)中信息量最大子塊的提取方法； （ 12）研究基于信息量最大子塊的局部特征和全局特征提取方法； （ 13）研究局部特征到幾 何特征、整體拓?fù)涮卣鞯恼?,以及全局特征對(duì)局部特征提取的調(diào)控方法； （ 14）研究圖像和視頻信息的多粒度信息抽取與表示； （ 15）研究基于矩陣、張量和圖模型等的跨媒體表達(dá)框架 ； （ 16）研究矩陣、張量和圖模型等復(fù)雜結(jié)構(gòu)的處理方法； （ 17）研制數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)原型系統(tǒng)； （ 18）研究對(duì)數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及標(biāo)簽自動(dòng)推薦的方法； （ 19）進(jìn)行復(fù)雜場(chǎng)景下視頻運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤、基于多視頻傳感器的全景視頻圖像動(dòng)態(tài)拼接、電視節(jié)目結(jié)構(gòu)分析等算法的研究。 前兩年部分成果：建立具有國(guó)際領(lǐng)先水平的整體動(dòng)物光學(xué)成像研究平臺(tái)，在本領(lǐng)域重要的國(guó)際學(xué)術(shù)刊物和一流國(guó)際學(xué)術(shù)會(huì)議發(fā)表論文50 篇以上 發(fā)表，申請(qǐng)發(fā)明專利 20項(xiàng)以上。 （ 6） 研究視頻序列時(shí)間層次性表示 ； （ 7） 提出多層次融合與整體感知框架 ； （ 8） 研究圖像在不同層次下的物體檢測(cè) ； （ 9） 提出基于時(shí)間層次性的顯著性識(shí)別； （ 10） 研究面向多義性對(duì)象的高效學(xué)習(xí)算法； ? （ 11）研究能夠有效處理非均衡樣本的方法； （ 12）研究高維異構(gòu)媒體特征的流形表示； （ 1） 闡述視覺(jué)皮層方位選擇性的形態(tài)學(xué)機(jī)制； （ 2） 揭示高級(jí)視覺(jué)皮層對(duì)基本視覺(jué)特征的功能組織模式 ； （ 3）揭示視覺(jué)皮層自下而上的層次性整合框架； （ 4） 建立 基于視皮層功能柱陣列神經(jīng)機(jī)制的算法原型 ； （ 5）獲得利用視皮層功能柱 陣列模型實(shí)現(xiàn)視覺(jué)認(rèn)知層次性和整體性的前、后銜接環(huán)節(jié)及其實(shí)現(xiàn)策略； ? （ 6） 建立視頻時(shí)間層次性理解模型； ? （ 7） 揭示層次性與整體感知在媒體理解中的關(guān)系 ； ? （ 8） 利用層次性理解模型提出新的圖像物體檢測(cè)方法 ； （ 9） 提出基于層次性的視頻顯著性識(shí)別模型和方法； （ 10） 提出 面向多義性對(duì)象的高效學(xué)習(xí)算法；