【正文】 適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。本項(xiàng)目由一支精心組織的隊(duì)伍組成，項(xiàng)目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗(yàn)的單位，通過整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實(shí)現(xiàn)了強(qiáng)強(qiáng)聯(lián)合。 數(shù)字媒體理解的核心理論和 技術(shù) 是推動國家重大應(yīng)用需求的共性基礎(chǔ)，其應(yīng)用背景復(fù)雜、需求明確。 技術(shù)途徑 針對數(shù)字媒體理解重大需求突出、涉及學(xué)科面廣、成果轉(zhuǎn)化速度快等特點(diǎn)，本項(xiàng)目在研究內(nèi)容設(shè)計(jì)、實(shí)驗(yàn)手段建設(shè)、研究隊(duì)伍組織等方面進(jìn)行了深入探討，以確保預(yù)期目標(biāo)的順利實(shí)現(xiàn)。 與試圖單純通過特征層融合或決策層融合來實(shí)現(xiàn)多源信息利用、獨(dú)立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計(jì)不同 ，本項(xiàng)目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實(shí)現(xiàn)融合機(jī)制時考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計(jì)學(xué)習(xí)算法時以多態(tài)信息融合為主體目標(biāo)，使得對復(fù)雜媒體對象的處理可以準(zhǔn)確高效地完成 。 與試圖僅通過加強(qiáng)底層特征的表達(dá)能力來縮小語義鴻溝不同 ，本項(xiàng)目將針對媒體對象的多義性和多態(tài)性特點(diǎn)，強(qiáng)調(diào)高層描述與底層特征的相互關(guān)聯(lián)：一方面，在形成高層描述時注意到單模態(tài)特征表達(dá)的局限性和多模態(tài)信息的互補(bǔ)性 ； 另一方面，在設(shè)計(jì)底層特征時考慮到高層描述的指導(dǎo)性，使得底層特征的選取為高層描述服務(wù)。 因此， 與試圖直接借鑒認(rèn)知科學(xué)已有的成果不同 ，本項(xiàng)目將圍繞媒體認(rèn)知的層次性和整體性目標(biāo)，強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì) 算模型協(xié)同探索：一方面，在媒體計(jì)算模型的研究中注意吸收利用底層、局部性認(rèn)知機(jī)理方面的成果 ； 另一方面，通過媒體計(jì)算模型研究形成有關(guān)高層、整體性認(rèn)知的假說， 在認(rèn)知科學(xué)的探索中進(jìn)行驗(yàn)證。鍛煉出一批青年學(xué)術(shù)帶頭人，其中國家杰出青年科學(xué)基金獲得者、教育部“長江學(xué)者”特聘教授、中科院“百人計(jì)劃”入選者 3 人以上；培養(yǎng)一批優(yōu)秀的青年學(xué)術(shù)骨干，其中培養(yǎng)博士后和博士研究生 100 名以上，爭取獲得 1 篇 以上全國百篇優(yōu)秀博士 學(xué)位 論文。 （ 3）驗(yàn)證平臺與重大應(yīng)用示范 建成具有國際先進(jìn)水平的媒體理解算法測試驗(yàn)證平臺，提供 開放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評測打下基礎(chǔ)。 二、預(yù)期目標(biāo) 總體目標(biāo) 針對數(shù)字媒體應(yīng)用中面臨的媒體對象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問題 ， 研究視覺認(rèn)知的層次性與整體性機(jī)制，提出媒體認(rèn)知的層次化計(jì)算理論與模型， 構(gòu)建符合媒體理解層次性和整體性的理論框架 ；研究多義性對象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法， 發(fā)展刻畫媒體對象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語義的映射、跨媒體的層次 化語義分析 等共性關(guān)鍵技術(shù) ， 提出一批 魯棒、智能、快速的 新算法 。 主要研究內(nèi)容 針對 媒體認(rèn)知具有的層次性、整體性 這一關(guān)鍵科學(xué)問題，本項(xiàng)目將基于初級與高級視皮層的層次性框架，揭示視覺表征自下而上的逐級抽象，以及整合后自上而下對初級皮層的調(diào)控機(jī)制，建立相應(yīng)的計(jì)算視覺模型；研究媒體對象的層次化表示理論，建立整體性感知的計(jì)算模型，完善媒體對象層次化表達(dá)與描述框架。若 在計(jì)算上 缺乏有效的協(xié)同機(jī)制，則難以充分利用媒體對象的多層和多態(tài)信息。 數(shù)字媒體對象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語義。 因此 ，當(dāng)前是推進(jìn)層次性與整體性 結(jié)合 研究的良好時機(jī)。同時，神經(jīng)生物學(xué)發(fā)現(xiàn)在視覺信息處理通路上存在自上而下的調(diào)控，以此實(shí)現(xiàn)對初級皮層信息處理過程的調(diào)整與結(jié)果的整合。 關(guān)鍵科學(xué)問題之一：媒體認(rèn)知具有的層次性、整體性 ── 如何符合媒體認(rèn)知的特點(diǎn)？ Marr理論認(rèn)為，人類認(rèn)知可分為底層特征、幾何模型、語義描述等三層，具有鮮明的層次性。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級視覺皮層到高級視覺皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺 對象 如何自下而上地從基本特征開始 逐步 特征化 、 抽象化 。然而，媒體理解在整體性感知的計(jì) 算模型、語義融合與描述等方面研究不足，有待進(jìn)一步加強(qiáng)。 為此，本項(xiàng)目將 媒體認(rèn)知具有的層次性、整體性 凝煉為第 一個關(guān)鍵科學(xué)問題 ，將研究 媒體的認(rèn)知建模 。然而，如何充分有效地對多模態(tài)信息加以關(guān)聯(lián)利用，是一個尚未解決的難題。 對多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計(jì)算過程，需要較大的計(jì)算開銷；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計(jì)算的負(fù)擔(dān)；而且在很多應(yīng)用中對媒體數(shù)據(jù)的處理要求較高的實(shí)時性，這更加使得高效的計(jì)算過程極為重要 。 主要研究內(nèi)容 包括 ： （ 1） 復(fù)雜 視覺刺激在視覺皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 （ 3） 基于整體性認(rèn)知機(jī)理的計(jì)算模型 （ 4） 基于層次性描述的語義標(biāo)注 針 對 媒體對象固有的多義性、多態(tài)性 這一關(guān)鍵科學(xué)問題，本項(xiàng)目將分析媒體數(shù)據(jù)多義性的形成機(jī)理，建立面向多義性對象的機(jī)器學(xué)習(xí)理論與方法；研究多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 為國家培養(yǎng)一批從事 數(shù)字媒體理解 研究的青年學(xué)術(shù)帶頭人和研究 隊(duì)伍， 使我國 在這方面的研究整體上處于國際 先進(jìn)水平 ，并在一些關(guān)鍵點(diǎn)達(dá)到國際領(lǐng) 先水平 ，為我國數(shù)字媒體產(chǎn)業(yè)的快速發(fā)展奠定理論基礎(chǔ)、提供技術(shù)支撐。圍繞涉及安全穩(wěn)定的智能視頻監(jiān)控、惠及大眾的網(wǎng)絡(luò)互動電視開展應(yīng)用示范研究，提升我國數(shù)字媒體應(yīng)用的質(zhì)量，促進(jìn)數(shù)字媒體產(chǎn)業(yè)的發(fā)展。 三、研究方案 學(xué)術(shù)思路 本項(xiàng)目研究符合數(shù)字媒體認(rèn)知機(jī)理、體現(xiàn)媒體數(shù)據(jù)固有特性、適應(yīng)媒體計(jì)算應(yīng)用需求的數(shù)字媒體理解理論與方法，兼顧重大需求和科學(xué)前沿，抓準(zhǔn)關(guān)鍵科學(xué)問題，瞄準(zhǔn)原創(chuàng)性研究帶動關(guān)鍵技術(shù)突破， 從科學(xué)問題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范三個層次著手， 將研究內(nèi)容 分解 為 六個課題 ，通過嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國際合作與交流， 力爭 獲得有重要影響的成果。從而形成認(rèn)知機(jī)理與計(jì)算模型研究的雙向支持、相互借鑒，促進(jìn)符合媒體理解層次性和整體性的理論框架的構(gòu)建。從而形成高層描述與底層特征表達(dá)的有效結(jié)合、相互支撐，促進(jìn)體現(xiàn)媒體對象多義性和多態(tài)性的表示體系的形成。從而形成融合機(jī)制和學(xué)習(xí)算法的有機(jī)結(jié)合、相互適應(yīng)，突破制約媒體處理協(xié)同性和高效 性的技術(shù)瓶頸。在總的技術(shù)思路上，本 項(xiàng)目 研究將采用如下技術(shù)途徑： （ 1）強(qiáng)調(diào)多學(xué)科交叉融合，突出原始創(chuàng)新的 帶動 作用。數(shù)字媒體理解中認(rèn)知 機(jī)理 、特征表達(dá) 、計(jì)算模型、 學(xué)習(xí) 算法 等理論問題需要針對具體應(yīng)用需求特點(diǎn)進(jìn)行 深化 ， 并在應(yīng)用中進(jìn)行驗(yàn)證 。 按照上述技術(shù)途徑， 本項(xiàng)目 將研究 內(nèi)容 分成四個方面，分別是 ： 認(rèn)知機(jī)理與計(jì)算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺與應(yīng)用示范， 四個方面相輔相成，互為補(bǔ)充。 最后， 建立算法測試驗(yàn)證平臺和面向重大應(yīng)用需求的示范系統(tǒng) ，對理論模型和算法進(jìn)行驗(yàn)證，促進(jìn)理論和算法的 完善 。 （ 3）針對 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ，研究高維異構(gòu)數(shù)據(jù)的處理方法、 上下文 關(guān)聯(lián)的特征 融合 和 跨媒體高層語義 分析， 突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸 。因此，本項(xiàng)目的六個課題既相對獨(dú)立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進(jìn)展。 （ 3）視覺皮層間前饋與反饋機(jī)制的生理與形態(tài)學(xué)研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應(yīng)細(xì)胞在高級與初級視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學(xué)機(jī)制的形態(tài)學(xué)基礎(chǔ)。 （ 2）整體性感知計(jì)算模型 研究整體性感知的計(jì)算模型和理論，包括基于不同層次表示基礎(chǔ)上的感知理解模型和基于多層次融合的整體感知模型，建立整體性感知理論框架和計(jì)算平臺。 承擔(dān)單位 ：北京航空航天大學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：王蘊(yùn)紅 經(jīng)費(fèi)比例 ： % 課題 面向多義性對象的學(xué)習(xí)理論和方法 預(yù)期目標(biāo)： 圍繞媒體數(shù)據(jù)多義性特點(diǎn)，分析 媒體數(shù)據(jù)多義性的形成機(jī)理，研究針對媒體對象固有多義性的學(xué)習(xí)機(jī)制，建立面向多義性對象的機(jī)器學(xué)習(xí)理論與方法，并綜合考慮媒體數(shù)據(jù)的多視圖、非均衡且無標(biāo)注樣本極多等特點(diǎn)，提升對面向多義性對象學(xué)習(xí)的能力。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費(fèi)比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機(jī)理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。結(jié)合隨機(jī)文法和條件隨機(jī)場對全局和局部特征進(jìn)行建模，實(shí)現(xiàn)其高效索引機(jī)制，建立高維異構(gòu)特征的描述方法。 研究內(nèi)容： （ 1）基于上下文信息的多模態(tài)特征融合 借鑒高層語義的指導(dǎo)性，充分利用媒體數(shù)據(jù)所在媒介環(huán)境的上下文信息，即可能存在的語義相關(guān)性或互補(bǔ)性，通過協(xié)作學(xué)習(xí)方法來 挖掘各種模態(tài)特征所表達(dá)的共有與特有信息，以此建立魯棒的多模態(tài)聯(lián)合特征表示或聯(lián)合空間。 承擔(dān)單位 ：中國科學(xué)院自動化研究所、浙江大學(xué) 課題負(fù)責(zé)人 ：盧漢清 經(jīng)費(fèi)比例 ： 16% 課題 數(shù)字媒體理解驗(yàn)證平臺與應(yīng)用示范 預(yù)期目標(biāo)： 利用其他課題的研究成果，研究媒體數(shù)據(jù)的標(biāo)注和算法的評測方法，建立數(shù)字媒體理解算法測試驗(yàn)證平臺；研究基于對象行為分析與幀間相關(guān)性的視頻理解技術(shù)，電視節(jié)目的內(nèi)容分析與用戶的行為分析，以及數(shù)字媒體理解應(yīng)用系統(tǒng)的實(shí)現(xiàn)構(gòu)架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)。 承擔(dān)單位 ：中國科學(xué)院電子學(xué)研究所、復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：丁赤飆 經(jīng)費(fèi)比例 ： % 四、年度計(jì)劃 年度 研究內(nèi)容 預(yù)期目標(biāo) 第 一 年 （ 1）搭建具有國際領(lǐng)先水平的整體動物雙光子激光 成像系統(tǒng)； （ 2）研究整體動物初級視覺皮層對多種基本視覺特征的功能組織模式； （ 3）研究初級視覺皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機(jī)制 ； （ 5） 研究圖像層次化語義標(biāo)注 ； （ 6） 研究基于整體感知的物體識別模型 ； （ 7）研究描述多義性對象的多義信息的表示方法； （ 8）提出描述多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識能力更強(qiáng)、適應(yīng)性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學(xué)（ 1） 完成調(diào)試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級視覺皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構(gòu)建圖像語義數(shù)據(jù)庫 ； （ 6）提出基于整體感知的物體識別方法 ； （ 7）提出能夠描述多義性對象的多義信息的表示方法； （ 8）建立保持多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示； （ 10）獲得特征提取的最佳尺度，構(gòu)造新的底層特征和中層特征算子； （ 11）建立魯棒、有效的多模態(tài)特征提取與表示方法； （ 12） 針對多模態(tài)數(shù)據(jù)的稀疏性與相關(guān)性，建立交叉聯(lián)合 的特征表示空間； （ 13）研制媒體數(shù)據(jù)庫原型框架系統(tǒng)； （ 14）完成數(shù)字媒體理解算法測試年度 研究內(nèi)容 預(yù)期目標(biāo) 習(xí)方法 ； （ 15）研究多模態(tài)特征集的關(guān)聯(lián)學(xué)習(xí)和表達(dá) ； （ 16）研究數(shù)字媒體理解算法測試驗(yàn)證平臺的需求、進(jìn)行系統(tǒng)框架設(shè)計(jì)； （ 17）研究媒體數(shù)據(jù)庫的建設(shè)方案，定義接口； （ 18）開展智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用的需求，明確存在的關(guān)鍵技術(shù)問題 ； （ 19）研究智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范的系統(tǒng)框架設(shè)計(jì)。 （ 20）研究與開發(fā)智能視頻監(jiān)控、網(wǎng)算模型 ； （ 8） 構(gòu)建視頻語義數(shù)據(jù) 庫為 ； （ 9） 獲得不同情況最能體現(xiàn)顯著性的底層特征 ； （ 10） 提出面向多義性對象的機(jī)器學(xué)習(xí)方法； （ 11）提出利用無標(biāo)注樣本進(jìn)行學(xué)習(xí)的方新法 ； （ 12）提出信息量最大子塊的獲取方法，以及媒體對象新的局部特征的提取方法； （ 13）提出媒體對象新的全局特征的提取方法； （ 14）建立全局 特征 指導(dǎo)下 的 局部特征提取方法； （ 15） 實(shí)現(xiàn)圖像、視頻中多粒度信息自動抽??； （ 16）建立多粒度媒體對象的基本表示與關(guān)系模型 ； （ 17） 拓展現(xiàn)有表達(dá)方法，建立反映跨媒體特性的統(tǒng)一表達(dá)框架 ； （ 18）完成數(shù)字媒體理解算法測試驗(yàn)證平臺 原型系統(tǒng)； （ 19）形成初步實(shí)用的協(xié)同人工標(biāo)記及標(biāo)簽自動推薦結(jié)合的應(yīng)用工具，并整合到測試驗(yàn)證平臺中；