【正文】 項(xiàng)目名稱： 數(shù)字媒體理解的理論與方法研究 首席科學(xué)家： 李波 北京航空航天大學(xué) 起止年限： 2020 年 1 月 2020 年 8 月 依托部門： 中華人民共和國(guó)工業(yè)和信息化部 一、研究?jī)?nèi)容 擬解決的關(guān)鍵科學(xué)問(wèn)題 針對(duì)數(shù)字媒體理解存在的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)模化、應(yīng)用需求多樣化等挑戰(zhàn)問(wèn)題，本項(xiàng)目根據(jù) 人類媒體 認(rèn)知的特點(diǎn)、媒體對(duì)象固有的特性和媒體計(jì)算應(yīng)有的特征，凝煉出以下三個(gè)科學(xué)問(wèn)題。 關(guān)鍵科學(xué)問(wèn)題之一：媒體認(rèn)知具有的層次性、整體性 ── 如何符合媒體認(rèn)知的特點(diǎn)？ Marr理論認(rèn)為，人類認(rèn)知可分為底層特征、幾何模型、語(yǔ)義描述等三層，具有鮮明的層次性。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級(jí)視覺(jué)皮層到高級(jí)視覺(jué)皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺(jué) 對(duì)象 如何自下而上地從基本特征開(kāi)始 逐步 特征化 、 抽象化 。然而，媒體理解所涉及的層次化描述與表征、結(jié)構(gòu)化分析方法等方面研究不足，需要進(jìn)一步深化。 Gestalt 心理學(xué)理論在宏觀上強(qiáng)調(diào)知覺(jué)組織的整體化效應(yīng)。同時(shí)，神經(jīng)生物學(xué)發(fā)現(xiàn)在視覺(jué)信息處理通路上存在自上而下的調(diào)控，以此實(shí)現(xiàn)對(duì)初級(jí)皮層信息處理過(guò)程的調(diào)整與結(jié)果的整合。然而，媒體理解在整體性感知的計(jì) 算模型、語(yǔ)義融合與描述等方面研究不足，有待進(jìn)一步加強(qiáng)。 然而 ，大量的形態(tài)學(xué)證據(jù)表明，大腦皮層間不僅存在著上行的前饋投射（提示層次性整合），還存在著大量從高級(jí)皮層向初級(jí)皮層的反饋投射（提示整體性調(diào)節(jié)），提示層次性與整體性兩種機(jī)制在大腦皮層的認(rèn)知過(guò)程中是密不可分、難以割裂的。目前涌現(xiàn)出來(lái)了一批新型光學(xué)成像技術(shù)，能夠?qū)崟r(shí)地研究大范圍、多尺度、活體大腦皮層的功能與形態(tài)，提供了將層次性與整體性結(jié)合起來(lái)研究的技術(shù)手段。 因此 ，當(dāng)前是推進(jìn)層次性與整體性 結(jié)合 研究的良好時(shí)機(jī)。 為此，本項(xiàng)目將 媒體認(rèn)知具有的層次性、整體性 凝煉為第 一個(gè)關(guān)鍵科學(xué)問(wèn)題 ，將研究 媒體的認(rèn)知建模 。 關(guān)鍵科學(xué)問(wèn)題之二：媒體對(duì)象固有的多義性、多態(tài)性 ── 如何反映媒體對(duì)象的特性？ 數(shù)字媒體底層特征與高層語(yǔ)義之間的“語(yǔ)義鴻溝”，是數(shù)字媒體理解面臨的根本障礙，而其根源之一是媒體對(duì)象本身所固有的多義性。例如，一幅圖像包含多個(gè)對(duì)象，不同的對(duì)象或?qū)ο蠼M合可能承載了不同的語(yǔ)義；對(duì)不同的用戶而言，其感興趣并“注意”的內(nèi)容不同，因此，雖然這幅圖像以相同的形貌呈現(xiàn)在用戶面前，但不同用戶對(duì)其語(yǔ)義的理解會(huì)不同。 數(shù)字媒體對(duì)象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語(yǔ)義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語(yǔ)義。然而，如何充分有效地對(duì)多模態(tài)信息加以關(guān)聯(lián)利用，是一個(gè)尚未解決的難題。 為此，本項(xiàng)目將媒體對(duì)象固有的多義性、多態(tài)性凝煉為第二個(gè)關(guān)鍵科學(xué)問(wèn)題 ，將研究 媒體的信息表示 。 關(guān)鍵科學(xué)問(wèn)題之三：媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ── 如何滿足媒體計(jì)算的需求？ 媒體認(rèn)知具有的層次性和媒體對(duì)象固有的多態(tài)性，一方面要求在同一層次上各模態(tài)之間通過(guò)橫向 融合 實(shí)現(xiàn)多模態(tài)信息的有 效補(bǔ)充與利用，另一方面要求每種 模態(tài)在不同層次之間通過(guò)縱向關(guān)聯(lián) 實(shí)現(xiàn)特征間的映射與支持，從而形成規(guī)模化的立體數(shù)據(jù)處理 。若 在計(jì)算上 缺乏有效的協(xié)同機(jī)制，則難以充分利用媒體對(duì)象的多層和多態(tài)信息。 對(duì)多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計(jì)算過(guò)程，需要較大的計(jì)算開(kāi)銷；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計(jì)算的負(fù)擔(dān)；而且在很多應(yīng)用中對(duì)媒體數(shù)據(jù)的處理要求較高的實(shí)時(shí)性，這更加使得高效的計(jì)算過(guò)程極為重要 。因此需要有媒體數(shù)據(jù)高效處理的計(jì)算方法 ，否則難以滿足實(shí)際需求。 為此，本項(xiàng)目將 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 凝煉為第三個(gè)關(guān)鍵科學(xué) 問(wèn)題 ，將研究 媒體的計(jì)算技術(shù) 。 主要研究?jī)?nèi)容 針對(duì) 媒體認(rèn)知具有的層次性、整體性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將基于初級(jí)與高級(jí)視皮層的層次性框架，揭示視覺(jué)表征自下而上的逐級(jí)抽象，以及整合后自上而下對(duì)初級(jí)皮層的調(diào)控機(jī)制，建立相應(yīng)的計(jì)算視覺(jué)模型；研究媒體對(duì)象的層次化表示理論，建立整體性感知的計(jì)算模型，完善媒體對(duì)象層次化表達(dá)與描述框架。 主要研究?jī)?nèi)容 包括 ： （ 1） 復(fù)雜 視覺(jué)刺激在視覺(jué)皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 （ 3） 基于整體性認(rèn)知機(jī)理的計(jì)算模型 （ 4） 基于層次性描述的語(yǔ)義標(biāo)注 針 對(duì) 媒體對(duì)象固有的多義性、多態(tài)性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將分析媒體數(shù)據(jù)多義性的形成機(jī)理，建立面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法；研究多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 主要研究?jī)?nèi)容 包括 ： （ 1）多義性對(duì)象的表示與建模 （ 2）多義性對(duì)象的計(jì)算學(xué)習(xí)理論和高效算法 （ 3）高維異構(gòu)特征數(shù)據(jù)的描述與處理 （ 4）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 針對(duì) 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將建立有效的跨媒體表示模型，以及面 向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語(yǔ)義描述體系；研究數(shù)字媒體理解技術(shù)實(shí)現(xiàn)的系統(tǒng)構(gòu)架、驗(yàn)證機(jī)制，建立數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)和應(yīng)用示范系統(tǒng)。 主要研究?jī)?nèi)容 包括 ： （ 1）基于上下文 關(guān)聯(lián) 的多模態(tài)特征融合 （ 2） 海量數(shù)據(jù)的 跨媒體高層語(yǔ)義 分析 （ 3） 視頻內(nèi)容搜索與對(duì)象行為分析 （ 4） 媒體數(shù)據(jù)的標(biāo)注與媒體理解算法的評(píng)測(cè)方法 本項(xiàng)目立足于解決數(shù)字媒體理解中的關(guān)鍵科學(xué)問(wèn)題，針對(duì)媒體認(rèn)知具有的層次性和整體性、媒體對(duì)象固有的多義性和多態(tài)性、媒體計(jì)算應(yīng)有的協(xié)同性和高效性，研究面向數(shù)字媒體理解的認(rèn)知機(jī)理與計(jì)算模型、表示 框架與特征描述、融合機(jī)制與學(xué)習(xí)算法，建立數(shù)字媒體理解的驗(yàn)證平臺(tái)與典型應(yīng)用示范，取得原始創(chuàng)新與 關(guān)鍵 技術(shù)突破。 二、預(yù)期目標(biāo) 總體目標(biāo) 針對(duì)數(shù)字媒體應(yīng)用中面臨的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問(wèn)題 ， 研究視覺(jué)認(rèn)知的層次性與整體性機(jī)制，提出媒體認(rèn)知的層次化計(jì)算理論與模型， 構(gòu)建符合媒體理解層次性和整體性的理論框架 ；研究多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法， 發(fā)展刻畫(huà)媒體對(duì)象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語(yǔ)義的映射、跨媒體的層次 化語(yǔ)義分析 等共性關(guān)鍵技術(shù) ， 提出一批 魯棒、智能、快速的 新算法 。 為國(guó)家培養(yǎng)一批從事 數(shù)字媒體理解 研究的青年學(xué)術(shù)帶頭人和研究 隊(duì)伍， 使我國(guó) 在這方面的研究整體上處于國(guó)際 先進(jìn)水平 ，并在一些關(guān)鍵點(diǎn)達(dá)到國(guó)際領(lǐng) 先水平 ，為我國(guó)數(shù)字媒體產(chǎn)業(yè)的快速發(fā)展奠定理論基礎(chǔ)、提供技術(shù)支撐。 （ 1）基礎(chǔ) 理論研究 建立數(shù)字媒體理解的計(jì)算理論和模型，為系統(tǒng)解決媒體理解問(wèn)題奠定基礎(chǔ)，預(yù)期取得兩個(gè)方面的突破：通過(guò)媒體 認(rèn)知機(jī)理與計(jì)算模型 的 協(xié)同探索 ，揭示媒體認(rèn)知的層次性和整體性機(jī)理， 建立 符合媒體理解 的層次化計(jì)算理論與模型； 揭示形成媒體對(duì) 象多義性的內(nèi)在規(guī)律， 提出 高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制 ，建立 媒體對(duì)象多義性和多態(tài)性的 有效 表示體系。 （ 2）關(guān)鍵技術(shù)突破 解決 媒體計(jì)算的協(xié)同性 與 高效性 問(wèn)題，包括突破全局和局部特征的提取、高維異構(gòu)數(shù)據(jù)的描述與處理、上下文關(guān)聯(lián)的特征融合、底層特征與高層語(yǔ)義的多粒度映射、跨媒體的結(jié)構(gòu)化語(yǔ)義描述與層次化語(yǔ)義分析等關(guān)鍵技術(shù)，提出一批 適用面廣、智能性強(qiáng)、 處理速 度快的 媒體理解新算法，為縮小“語(yǔ)義鴻溝”、解決重大需求中的實(shí)際問(wèn)題提供技術(shù)保障。 （ 3）驗(yàn)證平臺(tái)與重大應(yīng)用示范 建成具有國(guó)際先進(jìn)水平的媒體理解算法測(cè)試驗(yàn)證平臺(tái)，提供 開(kāi)放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評(píng)測(cè)打下基礎(chǔ)。圍繞涉及安全穩(wěn)定的智能視頻監(jiān)控、惠及大眾的網(wǎng)絡(luò)互動(dòng)電視開(kāi)展應(yīng)用示范研究，提升我國(guó)數(shù)字媒體應(yīng)用的質(zhì)量，促進(jìn)數(shù)字媒體產(chǎn)業(yè)的發(fā)展。 在上述三個(gè)方面的研究中，預(yù)期 獲得 國(guó)家級(jí)科技成果獎(jiǎng) 2 項(xiàng)， 在包括Nature、 Science、 Artificial Intelligence、 IEEE PAMI 等在內(nèi)的重要國(guó)際學(xué)術(shù)刊物和一流國(guó)際 學(xué)術(shù) 會(huì)議發(fā)表論文 150篇以上， 授權(quán) 發(fā)明專利 50項(xiàng)以上。 （ 4）高層次 人才培養(yǎng) 結(jié)合本項(xiàng)目的實(shí)施，促進(jìn)我國(guó)數(shù)字媒體理解方面的優(yōu)秀 人才培養(yǎng)。鍛煉出一批青年學(xué)術(shù)帶頭人，其中國(guó)家杰出青年科學(xué)基金獲得者、教育部“長(zhǎng)江學(xué)者”特聘教授、中科院“百人計(jì)劃”入選者 3 人以上；培養(yǎng)一批優(yōu)秀的青年學(xué)術(shù)骨干，其中培養(yǎng)博士后和博士研究生 100 名以上，爭(zhēng)取獲得 1 篇 以上全國(guó)百篇優(yōu)秀博士 學(xué)位 論文。 三、研究方案 學(xué)術(shù)思路 本項(xiàng)目研究符合數(shù)字媒體認(rèn)知機(jī)理、體現(xiàn)媒體數(shù)據(jù)固有特性、適應(yīng)媒體計(jì)算應(yīng)用需求的數(shù)字媒體理解理論與方法，兼顧重大需求和科學(xué)前沿，抓準(zhǔn)關(guān)鍵科學(xué)問(wèn)題，瞄準(zhǔn)原創(chuàng)性研究帶動(dòng)關(guān)鍵技術(shù)突破， 從科學(xué)問(wèn)題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范三個(gè)層次著手， 將研究?jī)?nèi)容 分解 為 六個(gè)課題 ，通過(guò)嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國(guó)際合作與交流， 力爭(zhēng) 獲得有重要影響的成果。項(xiàng)目組確立了如下三條學(xué)術(shù)思路： （ 1）強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì)算模型的研究相互促進(jìn)，構(gòu)建符合媒體理解層次性和整體性的理論框架。 考慮到認(rèn) 知科學(xué)在底層、局部性認(rèn)知機(jī)理的研究方面已有較多進(jìn)展，而對(duì)高層、整體性認(rèn)知的形成過(guò)程的探索 仍 是 其 重要目標(biāo)之一，也就是說(shuō)， 認(rèn)知和計(jì)算都面臨解決層次性和整體性探索割裂的問(wèn)題。 因此， 與試圖直接借鑒認(rèn)知科學(xué)已有的成果不同 ，本項(xiàng)目將圍繞媒體認(rèn)知的層次性和整體性目標(biāo)，強(qiáng)調(diào)認(rèn)知機(jī)理與計(jì) 算模型協(xié)同探索：一方面，在媒體計(jì)算模型的研究中注意吸收利用底層、局部性認(rèn)知機(jī)理方面的成果 ； 另一方面，通過(guò)媒體計(jì)算模型研究形成有關(guān)高層、整體性認(rèn)知的假說(shuō)， 在認(rèn)知科學(xué)的探索中進(jìn)行驗(yàn)證。從而形成認(rèn)知機(jī)理與計(jì)算模型研究的雙向支持、相互借鑒，促進(jìn)符合媒體理解層次性和整體性的理論框架的構(gòu)建。 （ 2）強(qiáng)調(diào)高層描述與底層特征的表達(dá)相互關(guān)聯(lián)，發(fā)展刻畫(huà)媒體對(duì)象多義性和多態(tài)性的表示體系。 考慮到高層描述在一定程度上揭示了媒體對(duì)象的可能語(yǔ)義，底層特征是刻畫(huà)媒體對(duì)象的主要手段，而 傳統(tǒng)方法 僅通過(guò)加強(qiáng)底層特征的表達(dá)能力，難以充分刻畫(huà)多義性 、有效利用多態(tài)性 。 與試圖僅通過(guò)加強(qiáng)底層特征的表達(dá)能力來(lái)縮小語(yǔ)義鴻溝不同 ，本項(xiàng)目將針對(duì)媒體對(duì)象的多義性和多態(tài)性特點(diǎn)，強(qiáng)調(diào)高層描述與底層特征的相互關(guān)聯(lián)：一方面，在形成高層描述時(shí)注意到單模態(tài)特征表達(dá)的局限性和多模態(tài)信息的互補(bǔ)性 ； 另一方面，在設(shè)計(jì)底層特征時(shí)考慮到高層描述的指導(dǎo)性，使得底層特征的選取為高層描述服務(wù)。從而形成高層描述與底層特征表達(dá)的有效結(jié)合、相互支撐，促進(jìn)體現(xiàn)媒體對(duì)象多義性和多態(tài)性的表示體系的形成。 （ 3）強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的效用相互結(jié)合，突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸。 考慮到融合機(jī)制是利 用多模態(tài)信息的基本手段，學(xué)習(xí)算法是分析復(fù)雜對(duì)象的核心技術(shù)，而 傳統(tǒng)方法 學(xué)習(xí)算法、融合機(jī)制相互獨(dú)立，難以滿足媒體理解的計(jì)算要求 。 與試圖單純通過(guò)特征層融合或決策層融合來(lái)實(shí)現(xiàn)多源信息利用、獨(dú)立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計(jì)不同 ，本項(xiàng)目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實(shí)現(xiàn)融合機(jī)制時(shí)考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計(jì)學(xué)習(xí)算法時(shí)以多態(tài)信息融合為主體目標(biāo)，使得對(duì)復(fù)雜媒體對(duì)象的處理可以準(zhǔn)確高效地完成 。從而形成融合機(jī)制和學(xué)習(xí)算法的有機(jī)結(jié)合、相互適應(yīng)，突破制約媒體處理協(xié)同性和高效 性的技術(shù)瓶頸。 為此，本項(xiàng)目 面向 數(shù)字媒體理解的重大應(yīng)用需求 ， 深入研究 其 關(guān)鍵 科學(xué)問(wèn)題 和核心技術(shù) 。 探索媒體認(rèn)知的層次性和整體性機(jī)理，揭示形成媒體對(duì)象多義性的內(nèi)在規(guī)律，研究高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制；在此基礎(chǔ)上，開(kāi)展媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析理論與方法等共性關(guān)鍵技術(shù)攻關(guān)，提出一批適用面廣、智能性強(qiáng)、 處理速 度快的媒體理解新算法，建立具有國(guó)際先進(jìn)水平的 、 面向媒體 理解測(cè)試分析 的驗(yàn)證平臺(tái) ， 將成果應(yīng)用于 安全穩(wěn)定、信息服務(wù) 等重大應(yīng)用 領(lǐng)域，以此為典型示范促進(jìn)媒體應(yīng)用和產(chǎn)業(yè) 的 發(fā)展 。 技術(shù)途徑 針對(duì)數(shù)字媒體理解重大需求突出、涉及學(xué)科面廣、成果轉(zhuǎn)化速度快等特點(diǎn)，本項(xiàng)目在研究?jī)?nèi)容設(shè)計(jì)、實(shí)驗(yàn)手段建設(shè)、研究隊(duì)伍組織等方面進(jìn)行了深入探討，以確保預(yù)期目標(biāo)的順利實(shí)現(xiàn)。在總的技術(shù)思路上，本 項(xiàng)目 研究將采用如下技術(shù)途徑： （ 1）強(qiáng)調(diào)多學(xué)科交叉融合，突出原始創(chuàng)新的 帶動(dòng) 作用。 針對(duì)媒體認(rèn)知和理解難度大， 本項(xiàng)目將通過(guò) 信息科學(xué)、認(rèn)知科學(xué)、應(yīng)用數(shù)學(xué)、語(yǔ)言學(xué)等多學(xué)科的交叉融合， 從新的 思路 開(kāi)展研究 工作 ， 通過(guò)解決科學(xué)問(wèn)題取得原始創(chuàng)新，在此基礎(chǔ)上形成關(guān)鍵技術(shù)突破，推動(dòng)重 大應(yīng)用需求的示范系統(tǒng)建設(shè)。 （ 2）加強(qiáng)理論研究與應(yīng)用驗(yàn)證相互促進(jìn)。 數(shù)字媒體理解的核心理論和 技術(shù) 是推動(dòng)國(guó)家重大應(yīng)用需求的共性基礎(chǔ)，其應(yīng)用背景復(fù)雜、需求明確。數(shù)字媒體理解中認(rèn)知 機(jī)理 、特征表達(dá) 、計(jì)算模型、 學(xué)習(xí) 算法 等理論問(wèn)題需要針對(duì)具體應(yīng)用需求特點(diǎn)進(jìn)行 深化 ， 并在應(yīng)用中進(jìn)行驗(yàn)證 。 （ 3）加強(qiáng)資源整合，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。 通過(guò)整合 各單位現(xiàn)有資源 ，建立具有國(guó)際先進(jìn)