【正文】 適用于媒體 理解的 上下文關聯(lián)的 融合機 制和多模態(tài)協(xié)同分析的 學習 算法。本項目由一支精心組織的隊伍組成，項目中既有 在基礎研究方面有重要影響的單位，也有在解決重大應用需求 方面有豐富經驗的單位，通過整合 基礎研究和 應用 技術 的優(yōu)質資源，實現(xiàn)了強強聯(lián)合。 數(shù)字媒體理解的核心理論和 技術 是推動國家重大應用需求的共性基礎，其應用背景復雜、需求明確。 技術途徑 針對數(shù)字媒體理解重大需求突出、涉及學科面廣、成果轉化速度快等特點，本項目在研究內容設計、實驗手段建設、研究隊伍組織等方面進行了深入探討，以確保預期目標的順利實現(xiàn)。 與試圖單純通過特征層融合或決策層融合來實現(xiàn)多源信息利用、獨立于特征表達進行學習算法設計不同 ，本項目面向媒體處理協(xié)同性和高效性的需求，強調融合機制與學習算法的相互協(xié)作 ： 一方面，在實現(xiàn)融合機制時考慮以學習算法為重要途徑 ； 另一方面，在設計學習算法時以多態(tài)信息融合為主體目標，使得對復雜媒體對象的處理可以準確高效地完成 。 與試圖僅通過加強底層特征的表達能力來縮小語義鴻溝不同 ，本項目將針對媒體對象的多義性和多態(tài)性特點，強調高層描述與底層特征的相互關聯(lián)：一方面，在形成高層描述時注意到單模態(tài)特征表達的局限性和多模態(tài)信息的互補性 ； 另一方面，在設計底層特征時考慮到高層描述的指導性，使得底層特征的選取為高層描述服務。 因此， 與試圖直接借鑒認知科學已有的成果不同 ，本項目將圍繞媒體認知的層次性和整體性目標，強調認知機理與計 算模型協(xié)同探索：一方面，在媒體計算模型的研究中注意吸收利用底層、局部性認知機理方面的成果 ； 另一方面，通過媒體計算模型研究形成有關高層、整體性認知的假說， 在認知科學的探索中進行驗證。鍛煉出一批青年學術帶頭人，其中國家杰出青年科學基金獲得者、教育部“長江學者”特聘教授、中科院“百人計劃”入選者 3 人以上；培養(yǎng)一批優(yōu)秀的青年學術骨干，其中培養(yǎng)博士后和博士研究生 100 名以上，爭取獲得 1 篇 以上全國百篇優(yōu)秀博士 學位 論文。 （ 3）驗證平臺與重大應用示范 建成具有國際先進水平的媒體理解算法測試驗證平臺，提供 開放式的數(shù)據接口、應用接口，為媒體數(shù)據的標準化及行業(yè)技術評測打下基礎。 二、預期目標 總體目標 針對數(shù)字媒體應用中面臨的媒體對象復雜性、媒體數(shù)據規(guī)?；?、應用需求多樣化等挑戰(zhàn)問題 ， 研究視覺認知的層次性與整體性機制，提出媒體認知的層次化計算理論與模型， 構建符合媒體理解層次性和整體性的理論框架 ；研究多義性對象的學習理論和方法、多模態(tài)高維異構數(shù)據的特征提取與描述方法， 發(fā)展刻畫媒體對象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語義的映射、跨媒體的層次 化語義分析 等共性關鍵技術 ， 提出一批 魯棒、智能、快速的 新算法 。 主要研究內容 針對 媒體認知具有的層次性、整體性 這一關鍵科學問題，本項目將基于初級與高級視皮層的層次性框架，揭示視覺表征自下而上的逐級抽象，以及整合后自上而下對初級皮層的調控機制，建立相應的計算視覺模型；研究媒體對象的層次化表示理論，建立整體性感知的計算模型，完善媒體對象層次化表達與描述框架。若 在計算上 缺乏有效的協(xié)同機制，則難以充分利用媒體對象的多層和多態(tài)信息。 數(shù)字媒體對象是典型的多模態(tài)數(shù)據，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產生的語義理解之間可能存在偏差，利用不同模態(tài)的相容互補性將有助于澄清僅考慮單模態(tài)所難以明辨的語義。 因此 ，當前是推進層次性與整體性 結合 研究的良好時機。同時，神經生物學發(fā)現(xiàn)在視覺信息處理通路上存在自上而下的調控，以此實現(xiàn)對初級皮層信息處理過程的調整與結果的整合。 關鍵科學問題之一：媒體認知具有的層次性、整體性 ── 如何符合媒體認知的特點？ Marr理論認為，人類認知可分為底層特征、幾何模型、語義描述等三層，具有鮮明的層次性。在微觀方面，神經生物學發(fā)現(xiàn)從 初級視覺皮層到高級視覺皮層 具有顯著的層次性 ， 這 揭示 了 復雜視覺 對象 如何自下而上地從基本特征開始 逐步 特征化 、 抽象化 。然而，媒體理解在整體性感知的計 算模型、語義融合與描述等方面研究不足，有待進一步加強。 為此，本項目將 媒體認知具有的層次性、整體性 凝煉為第 一個關鍵科學問題 ，將研究 媒體的認知建模 。然而，如何充分有效地對多模態(tài)信息加以關聯(lián)利用，是一個尚未解決的難題。 對多模態(tài)高維異構媒體數(shù)據的處理涉及復雜的計算過程，需要較大的計算開銷；加之媒體數(shù)據量往往巨大，進一步加重了計算的負擔；而且在很多應用中對媒體數(shù)據的處理要求較高的實時性，這更加使得高效的計算過程極為重要 。 主要研究內容 包括 ： （ 1） 復雜 視覺刺激在視覺皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計算模型及其效能分析 （ 3） 基于整體性認知機理的計算模型 （ 4） 基于層次性描述的語義標注 針 對 媒體對象固有的多義性、多態(tài)性 這一關鍵科學問題，本項目將分析媒體數(shù)據多義性的形成機理，建立面向多義性對象的機器學習理論與方法；研究多模態(tài)異構高維特征的內在規(guī)律，形成上下文關聯(lián)的多模態(tài)高維異構數(shù)據描述模型，建立多模態(tài)高維異構數(shù)據的特征提取與描述的理論和方法。 為國家培養(yǎng)一批從事 數(shù)字媒體理解 研究的青年學術帶頭人和研究 隊伍， 使我國 在這方面的研究整體上處于國際 先進水平 ，并在一些關鍵點達到國際領 先水平 ，為我國數(shù)字媒體產業(yè)的快速發(fā)展奠定理論基礎、提供技術支撐。圍繞涉及安全穩(wěn)定的智能視頻監(jiān)控、惠及大眾的網絡互動電視開展應用示范研究，提升我國數(shù)字媒體應用的質量，促進數(shù)字媒體產業(yè)的發(fā)展。 三、研究方案 學術思路 本項目研究符合數(shù)字媒體認知機理、體現(xiàn)媒體數(shù)據固有特性、適應媒體計算應用需求的數(shù)字媒體理解理論與方法，兼顧重大需求和科學前沿，抓準關鍵科學問題，瞄準原創(chuàng)性研究帶動關鍵技術突破， 從科學問題解決、關鍵技術攻關、典型應用示范三個層次著手， 將研究內容 分解 為 六個課題 ，通過嚴格的組織管理、密切的課題協(xié)作、以及高水平的國際合作與交流， 力爭 獲得有重要影響的成果。從而形成認知機理與計算模型研究的雙向支持、相互借鑒，促進符合媒體理解層次性和整體性的理論框架的構建。從而形成高層描述與底層特征表達的有效結合、相互支撐，促進體現(xiàn)媒體對象多義性和多態(tài)性的表示體系的形成。從而形成融合機制和學習算法的有機結合、相互適應，突破制約媒體處理協(xié)同性和高效 性的技術瓶頸。在總的技術思路上，本 項目 研究將采用如下技術途徑： （ 1）強調多學科交叉融合，突出原始創(chuàng)新的 帶動 作用。數(shù)字媒體理解中認知 機理 、特征表達 、計算模型、 學習 算法 等理論問題需要針對具體應用需求特點進行 深化 ， 并在應用中進行驗證 。 按照上述技術途徑， 本項目 將研究 內容 分成四個方面，分別是 ： 認知機理與計算模型、表示框架與特征描述、融合機制與學習算法、驗證平臺與應用示范， 四個方面相輔相成，互為補充。 最后， 建立算法測試驗證平臺和面向重大應用需求的示范系統(tǒng) ，對理論模型和算法進行驗證，促進理論和算法的 完善 。 （ 3）針對 媒體計算應有的協(xié)同性、高效性 ，研究高維異構數(shù)據的處理方法、 上下文 關聯(lián)的特征 融合 和 跨媒體高層語義 分析， 突破制約媒體處理協(xié)同性和高效性的技術瓶頸 。因此，本項目的六個課題既相對獨立、又相互支持，構成了完整的研究體系，有利于加快研究工作的進展。 （ 3）視覺皮層間前饋與反饋機制的生理與形態(tài)學研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應細胞在高級與初級視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學機制的形態(tài)學基礎。 （ 2）整體性感知計算模型 研究整體性感知的計算模型和理論，包括基于不同層次表示基礎上的感知理解模型和基于多層次融合的整體感知模型，建立整體性感知理論框架和計算平臺。 承擔單位 ：北京航空航天大學、西安交通大學 課題負責人 ：王蘊紅 經費比例 ： % 課題 面向多義性對象的學習理論和方法 預期目標： 圍繞媒體數(shù)據多義性特點，分析 媒體數(shù)據多義性的形成機理，研究針對媒體對象固有多義性的學習機制，建立面向多義性對象的機器學習理論與方法，并綜合考慮媒體數(shù)據的多視圖、非均衡且無標注樣本極多等特點，提升對面向多義性對象學習的能力。 承擔單位 ：南京大學、浙江大學 課題負責人 ：周志華 經費比例 ： % 課題 多模態(tài)高維異構數(shù)據的特征提取與描述方法 預期目標： 研究符合媒體對象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構高維特征的內在規(guī)律，形成上下文關聯(lián)的多模態(tài)高維異構數(shù)據描述模型，建立符合認知機理的多模態(tài)高維異構數(shù)據的特征提取與描述的理論和方法。結合隨機文法和條件隨機場對全局和局部特征進行建模，實現(xiàn)其高效索引機制，建立高維異構特征的描述方法。 研究內容： （ 1）基于上下文信息的多模態(tài)特征融合 借鑒高層語義的指導性，充分利用媒體數(shù)據所在媒介環(huán)境的上下文信息，即可能存在的語義相關性或互補性，通過協(xié)作學習方法來 挖掘各種模態(tài)特征所表達的共有與特有信息，以此建立魯棒的多模態(tài)聯(lián)合特征表示或聯(lián)合空間。 承擔單位 ：中國科學院自動化研究所、浙江大學 課題負責人 ：盧漢清 經費比例 ： 16% 課題 數(shù)字媒體理解驗證平臺與應用示范 預期目標： 利用其他課題的研究成果，研究媒體數(shù)據的標注和算法的評測方法，建立數(shù)字媒體理解算法測試驗證平臺；研究基于對象行為分析與幀間相關性的視頻理解技術，電視節(jié)目的內容分析與用戶的行為分析，以及數(shù)字媒體理解應用系統(tǒng)的實現(xiàn)構架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網絡互動電視搜索應用示范系統(tǒng)。 承擔單位 ：中國科學院電子學研究所、復旦大學 課題負責人 ：丁赤飆 經費比例 ： % 四、年度計劃 年度 研究內容 預期目標 第 一 年 （ 1）搭建具有國際領先水平的整體動物雙光子激光 成像系統(tǒng)； （ 2）研究整體動物初級視覺皮層對多種基本視覺特征的功能組織模式； （ 3）研究初級視覺皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機制 ； （ 5） 研究圖像層次化語義標注 ； （ 6） 研究基于整體感知的物體識別模型 ； （ 7）研究描述多義性對象的多義信息的表示方法； （ 8）提出描述多義性對象內在結構的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識能力更強、適應性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學（ 1） 完成調試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級視覺皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構建圖像語義數(shù)據庫 ； （ 6）提出基于整體感知的物體識別方法 ； （ 7）提出能夠描述多義性對象的多義信息的表示方法； （ 8）建立保持多義性對象內在結構的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示； （ 10）獲得特征提取的最佳尺度，構造新的底層特征和中層特征算子； （ 11）建立魯棒、有效的多模態(tài)特征提取與表示方法； （ 12） 針對多模態(tài)數(shù)據的稀疏性與相關性，建立交叉聯(lián)合 的特征表示空間； （ 13）研制媒體數(shù)據庫原型框架系統(tǒng)； （ 14）完成數(shù)字媒體理解算法測試年度 研究內容 預期目標 習方法 ； （ 15）研究多模態(tài)特征集的關聯(lián)學習和表達 ； （ 16）研究數(shù)字媒體理解算法測試驗證平臺的需求、進行系統(tǒng)框架設計； （ 17）研究媒體數(shù)據庫的建設方案，定義接口； （ 18）開展智能視頻監(jiān)控、網絡互動電視搜索應用的需求，明確存在的關鍵技術問題 ； （ 19）研究智能視頻監(jiān)控、網絡互動電視搜索應用示范的系統(tǒng)框架設計。 （ 20）研究與開發(fā)智能視頻監(jiān)控、網算模型 ； （ 8） 構建視頻語義數(shù)據 庫為 ； （ 9） 獲得不同情況最能體現(xiàn)顯著性的底層特征 ； （ 10） 提出面向多義性對象的機器學習方法； （ 11）提出利用無標注樣本進行學習的方新法 ； （ 12）提出信息量最大子塊的獲取方法，以及媒體對象新的局部特征的提取方法； （ 13）提出媒體對象新的全局特征的提取方法； （ 14）建立全局 特征 指導下 的 局部特征提取方法； （ 15） 實現(xiàn)圖像、視頻中多粒度信息自動抽??； （ 16）建立多粒度媒體對象的基本表示與關系模型 ； （ 17） 拓展現(xiàn)有表達方法，建立反映跨媒體特性的統(tǒng)一表達框架 ； （ 18）完成數(shù)字媒體理解算法測試驗證平臺 原型系統(tǒng)； （ 19）形成初步實用的協(xié)同人工標記及標簽自動推薦結合的應用工具，并整合到測試驗證平臺中；