【正文】 機(jī)制的形態(tài)學(xué)基礎(chǔ)。 研究?jī)?nèi)容： （ 1）視覺(jué)基本特征在視覺(jué)皮層的功能組織模式 研究包括方位、方向、空間頻率、眼優(yōu)勢(shì)、空間拓?fù)洹㈩伾然疽曈X(jué)特征在不同層次視覺(jué)皮層的空間組織模式，多種基本特征功能柱如何共存于同一媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒驗(yàn) 證 平 臺(tái) 與 應(yīng) 用 示 范融 合 機(jī) 制 與 學(xué) 習(xí) 算 法表 示 框 架 與 特 征 描 述認(rèn) 知 機(jī) 理 與 計(jì) 算 模 型四 個(gè) 方 面 的 研 究 內(nèi) 容 設(shè) 置 課 題媒 媒媒 媒媒媒媒媒媒媒媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 6 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 圖 2 課題 研究?jī)?nèi)容及其相互 間的關(guān)系 片皮層空間，從而實(shí)現(xiàn)多種特征表達(dá)的最優(yōu)化，建立基于皮層自組織模式的數(shù)學(xué)模型。因此，本項(xiàng)目的六個(gè)課題既相對(duì)獨(dú)立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進(jìn)展。這六個(gè)課題分別研究視覺(jué)認(rèn)知的層次性與整體性機(jī)制、媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法、數(shù)字媒體理解驗(yàn)證平臺(tái)與應(yīng)用示范。 （ 3）針對(duì) 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ，研究高維異構(gòu)數(shù)據(jù)的處理方法、 上下文 關(guān)聯(lián)的特征 融合 和 跨媒體高層語(yǔ)義 分析， 突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸 。 （二）研究?jī)?nèi)容的創(chuàng)新與特色 （ 1）針對(duì) 媒體認(rèn)知具有的層次性、整體性 ，研究視覺(jué)皮層的層次性與整體性處理機(jī)制和相應(yīng)的計(jì)算模型，建立 符合媒體理解層次性和整體性的理論框架 。 最后， 建立算法測(cè)試驗(yàn)證平臺(tái)和面向重大應(yīng)用需求的示范系統(tǒng) ，對(duì)理論模型和算法進(jìn)行驗(yàn)證，促進(jìn)理論和算法的 完善 。 在表示框架與特征描述方面，將重點(diǎn)突破 多模態(tài)、 高維、 異構(gòu)媒體 數(shù)據(jù) 分析的 核心 技術(shù)。 按照上述技術(shù)途徑， 本項(xiàng)目 將研究 內(nèi)容 分成四個(gè)方面，分別是 ： 認(rèn)知機(jī)理與計(jì)算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺(tái)與應(yīng)用示范， 四個(gè)方面相輔相成，互為補(bǔ)充。 通過(guò)整合 各單位現(xiàn)有資源 ，建立具有國(guó)際先進(jìn)水平的 、 面向媒體 理解算法測(cè)試的 驗(yàn)證平臺(tái)，提供 有效 的測(cè)試手段和試驗(yàn)環(huán)境。數(shù)字媒體理解中認(rèn)知 機(jī)理 、特征表達(dá) 、計(jì)算模型、 學(xué)習(xí) 算法 等理論問(wèn)題需要針對(duì)具體應(yīng)用需求特點(diǎn)進(jìn)行 深化 ， 并在應(yīng)用中進(jìn)行驗(yàn)證 。 （ 2）加強(qiáng)理論研究與應(yīng)用驗(yàn)證相互促進(jìn)。在總的技術(shù)思路上，本 項(xiàng)目 研究將采用如下技術(shù)途徑： （ 1）強(qiáng)調(diào)多學(xué)科交叉融合，突出原始創(chuàng)新的 帶動(dòng) 作用。 探索媒體認(rèn)知的層次性和整體性機(jī)理，揭示形成媒體對(duì)象多義性的內(nèi)在規(guī)律，研究高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制；在此基礎(chǔ)上，開(kāi)展媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析理論與方法等共性關(guān)鍵技術(shù)攻關(guān)，提出一批適用面廣、智能性強(qiáng)、 處理速 度快的媒體理解新算法，建立具有國(guó)際先進(jìn)水平的 、 面向媒體 理解測(cè)試分析 的驗(yàn)證平臺(tái) ， 將成果應(yīng)用于 安全穩(wěn)定、信息服務(wù) 等重大應(yīng)用 領(lǐng)域，以此為典型示范促進(jìn)媒體應(yīng)用和產(chǎn)業(yè) 的 發(fā)展 。從而形成融合機(jī)制和學(xué)習(xí)算法的有機(jī)結(jié)合、相互適應(yīng)，突破制約媒體處理協(xié)同性和高效 性的技術(shù)瓶頸。 考慮到融合機(jī)制是利 用多模態(tài)信息的基本手段，學(xué)習(xí)算法是分析復(fù)雜對(duì)象的核心技術(shù)，而 傳統(tǒng)方法 學(xué)習(xí)算法、融合機(jī)制相互獨(dú)立，難以滿足媒體理解的計(jì)算要求 。從而形成高層描述與底層特征表達(dá)的有效結(jié)合、相互支撐，促進(jìn)體現(xiàn)媒體對(duì)象多義性和多態(tài)性的表示體系的形成。 考慮到高層描述在一定程度上揭示了媒體對(duì)象的可能語(yǔ)義，底層特征是刻畫(huà)媒體對(duì)象的主要手段，而 傳統(tǒng)方法 僅通過(guò)加強(qiáng)底層特征的表達(dá)能力，難以充分刻畫(huà)多義性 、有效利用多態(tài)性 。從而形成認(rèn)知機(jī)理與計(jì)算模型研究的雙向支持、相互借鑒，促進(jìn)符合媒體理解層次性和整體性的理論框架的構(gòu)建。 考慮到認(rèn) 知科學(xué)在底層、局部性認(rèn)知機(jī)理的研究方面已有較多進(jìn)展，而對(duì)高層、整體性認(rèn)知的形成過(guò)程的探索 仍 是 其 重要目標(biāo)之一，也就是說(shuō)， 認(rèn)知和計(jì)算都面臨解決層次性和整體性探索割裂的問(wèn)題。 三、研究方案 學(xué)術(shù)思路 本項(xiàng)目研究符合數(shù)字媒體認(rèn)知機(jī)理、體現(xiàn)媒體數(shù)據(jù)固有特性、適應(yīng)媒體計(jì)算應(yīng)用需求的數(shù)字媒體理解理論與方法，兼顧重大需求和科學(xué)前沿，抓準(zhǔn)關(guān)鍵科學(xué)問(wèn)題，瞄準(zhǔn)原創(chuàng)性研究帶動(dòng)關(guān)鍵技術(shù)突破， 從科學(xué)問(wèn)題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范三個(gè)層次著手， 將研究?jī)?nèi)容 分解 為 六個(gè)課題 ，通過(guò)嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國(guó)際合作與交流， 力爭(zhēng) 獲得有重要影響的成果。 （ 4）高層次 人才培養(yǎng) 結(jié)合本項(xiàng)目的實(shí)施，促進(jìn)我國(guó)數(shù)字媒體理解方面的優(yōu)秀 人才培養(yǎng)。圍繞涉及安全穩(wěn)定的智能視頻監(jiān)控、惠及大眾的網(wǎng)絡(luò)互動(dòng)電視開(kāi)展應(yīng)用示范研究，提升我國(guó)數(shù)字媒體應(yīng)用的質(zhì)量，促進(jìn)數(shù)字媒體產(chǎn)業(yè)的發(fā)展。 （ 2）關(guān)鍵技術(shù)突破 解決 媒體計(jì)算的協(xié)同性 與 高效性 問(wèn)題，包括突破全局和局部特征的提取、高維異構(gòu)數(shù)據(jù)的描述與處理、上下文關(guān)聯(lián)的特征融合、底層特征與高層語(yǔ)義的多粒度映射、跨媒體的結(jié)構(gòu)化語(yǔ)義描述與層次化語(yǔ)義分析等關(guān)鍵技術(shù)，提出一批 適用面廣、智能性強(qiáng)、 處理速 度快的 媒體理解新算法，為縮小“語(yǔ)義鴻溝”、解決重大需求中的實(shí)際問(wèn)題提供技術(shù)保障。 為國(guó)家培養(yǎng)一批從事 數(shù)字媒體理解 研究的青年學(xué)術(shù)帶頭人和研究 隊(duì)伍， 使我國(guó) 在這方面的研究整體上處于國(guó)際 先進(jìn)水平 ，并在一些關(guān)鍵點(diǎn)達(dá)到國(guó)際領(lǐng) 先水平 ，為我國(guó)數(shù)字媒體產(chǎn)業(yè)的快速發(fā)展奠定理論基礎(chǔ)、提供技術(shù)支撐。 主要研究?jī)?nèi)容 包括 ： （ 1）基于上下文 關(guān)聯(lián) 的多模態(tài)特征融合 （ 2） 海量數(shù)據(jù)的 跨媒體高層語(yǔ)義 分析 （ 3） 視頻內(nèi)容搜索與對(duì)象行為分析 （ 4） 媒體數(shù)據(jù)的標(biāo)注與媒體理解算法的評(píng)測(cè)方法 本項(xiàng)目立足于解決數(shù)字媒體理解中的關(guān)鍵科學(xué)問(wèn)題，針對(duì)媒體認(rèn)知具有的層次性和整體性、媒體對(duì)象固有的多義性和多態(tài)性、媒體計(jì)算應(yīng)有的協(xié)同性和高效性，研究面向數(shù)字媒體理解的認(rèn)知機(jī)理與計(jì)算模型、表示 框架與特征描述、融合機(jī)制與學(xué)習(xí)算法，建立數(shù)字媒體理解的驗(yàn)證平臺(tái)與典型應(yīng)用示范，取得原始創(chuàng)新與 關(guān)鍵 技術(shù)突破。 主要研究?jī)?nèi)容 包括 ： （ 1） 復(fù)雜 視覺(jué)刺激在視覺(jué)皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 （ 3） 基于整體性認(rèn)知機(jī)理的計(jì)算模型 （ 4） 基于層次性描述的語(yǔ)義標(biāo)注 針 對(duì) 媒體對(duì)象固有的多義性、多態(tài)性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將分析媒體數(shù)據(jù)多義性的形成機(jī)理，建立面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法；研究多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 為此，本項(xiàng)目將 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 凝煉為第三個(gè)關(guān)鍵科學(xué) 問(wèn)題 ，將研究 媒體的計(jì)算技術(shù) 。 對(duì)多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計(jì)算過(guò)程，需要較大的計(jì)算開(kāi)銷(xiāo)；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計(jì)算的負(fù)擔(dān)；而且在很多應(yīng)用中對(duì)媒體數(shù)據(jù)的處理要求較高的實(shí)時(shí)性，這更加使得高效的計(jì)算過(guò)程極為重要 。 關(guān)鍵科學(xué)問(wèn)題之三：媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ── 如何滿足媒體計(jì)算的需求？ 媒體認(rèn)知具有的層次性和媒體對(duì)象固有的多態(tài)性，一方面要求在同一層次上各模態(tài)之間通過(guò)橫向 融合 實(shí)現(xiàn)多模態(tài)信息的有 效補(bǔ)充與利用，另一方面要求每種 模態(tài)在不同層次之間通過(guò)縱向關(guān)聯(lián) 實(shí)現(xiàn)特征間的映射與支持，從而形成規(guī)模化的立體數(shù)據(jù)處理 。然而，如何充分有效地對(duì)多模態(tài)信息加以關(guān)聯(lián)利用，是一個(gè)尚未解決的難題。例如，一幅圖像包含多個(gè)對(duì)象，不同的對(duì)象或?qū)ο蠼M合可能承載了不同的語(yǔ)義；對(duì)不同的用戶而言，其感興趣并“注意”的內(nèi)容不同，因此，雖然這幅圖像以相同的形貌呈現(xiàn)在用戶面前，但不同用戶對(duì)其語(yǔ)義的理解會(huì)不同。 為此，本項(xiàng)目將 媒體認(rèn)知具有的層次性、整體性 凝煉為第 一個(gè)關(guān)鍵科學(xué)問(wèn)題 ，將研究 媒體的認(rèn)知建模 。目前涌現(xiàn)出來(lái)了一批新型光學(xué)成像技術(shù)，能夠?qū)崟r(shí)地研究大范圍、多尺度、活體大腦皮層的功能與形態(tài)，提供了將層次性與整體性結(jié)合起來(lái)研究的技術(shù)手段。然而，媒體理解在整體性感知的計(jì) 算模型、語(yǔ)義融合與描述等方面研究不足，有待進(jìn)一步加強(qiáng)。 Gestalt 心理學(xué)理論在宏觀上強(qiáng)調(diào)知覺(jué)組織的整體化效應(yīng)。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級(jí)視覺(jué)皮層到高級(jí)視覺(jué)皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺(jué) 對(duì)象 如何自下而上地從基本特征開(kāi)始 逐步 特征化 、 抽象化 。 項(xiàng)目名稱(chēng)： 數(shù)字媒體理解的理論與方法研究 首席科學(xué)家： 李波 北京航空航天大學(xué) 起止年限： 2020 年 1 月 2020 年 8 月 依托部門(mén)： 中華人民共和國(guó)工業(yè)和信息化部 一、研究?jī)?nèi)容 擬解決的關(guān)鍵科學(xué)問(wèn)題 針對(duì)數(shù)字媒體理解存在的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問(wèn)題，本項(xiàng)目根據(jù) 人類(lèi)媒體 認(rèn)知的特點(diǎn)、媒體對(duì)象固有的特性和媒體計(jì)算應(yīng)有的特征，凝煉出以下三個(gè)科學(xué)問(wèn)題。 關(guān)鍵科學(xué)問(wèn)題之一：媒體認(rèn)知具有的層次性、整體性 ── 如何符合媒體認(rèn)知的特點(diǎn)？ Marr理論認(rèn)為，人類(lèi)認(rèn)知可分為底層特征、幾何模型、語(yǔ)義描述等三層，具有鮮明的層次性。然而，媒體理解所涉及的層次化描述與表征、結(jié)構(gòu)化分析方法等方面研究不足，需要進(jìn)一步深化。同時(shí)，神經(jīng)生物學(xué)發(fā)現(xiàn)在視覺(jué)信息處理通路上存在自上而下的調(diào)控，以此實(shí)現(xiàn)對(duì)初級(jí)皮層信息處理過(guò)程的調(diào)整與結(jié)果的整合。 然而 ，大量的形態(tài)學(xué)證據(jù)表明，大腦皮層間不僅存在著上行的前饋投射（提示層次性整合），還存在著大量從高級(jí)皮層向初級(jí)皮層的反饋投射（提示整體性調(diào)節(jié)），提示層次性與整體性兩種機(jī)制在大腦皮層的認(rèn)知過(guò)程中是密不可分、難以割裂的。 因此 ，當(dāng)前是推進(jìn)層次性與整體性 結(jié)合 研究的良好時(shí)機(jī)。 關(guān)鍵科學(xué)問(wèn)題之二：媒體對(duì)象固有的多義性、多態(tài)性 ── 如何反映媒體對(duì)象的特性？ 數(shù)字媒體底層特征與高層語(yǔ)義之間的“語(yǔ)義鴻溝”，是數(shù)字媒體理解面臨的根本障礙，而其根源之一是媒體對(duì)象本身所固有的多義性。 數(shù)字媒體對(duì)象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語(yǔ)義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語(yǔ)義。 為此，本項(xiàng)目將媒體對(duì)象固有的多義性、多態(tài)性凝煉為第二個(gè)關(guān)鍵科學(xué)問(wèn)題 ，將研究 媒體的信息表示 。若 在計(jì)算上 缺乏有效的協(xié)同機(jī)制，則難以充分利用媒體對(duì)象的多層和多態(tài)信息。因此需要有媒體數(shù)據(jù)高效處理的計(jì)算方法 ，否則難以滿足實(shí)際需求。 主要研究?jī)?nèi)容 針對(duì) 媒體認(rèn)知具有的層次性、整體性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將基于初級(jí)與高級(jí)視皮層的層次性框架，揭示視覺(jué)表征自下而上的逐級(jí)抽象，以及整合后自上而下對(duì)初級(jí)皮層的調(diào)控機(jī)制，建立相應(yīng)的計(jì)算視覺(jué)模型；研究媒體對(duì)象的層次化表示理論，建立整體性感知的計(jì)算模型，完善媒體對(duì)象層次化表達(dá)與描述框架。 主要研究?jī)?nèi)容 包括 ： （ 1）多義性對(duì)象的表示與建模 （ 2）多義性對(duì)象的計(jì)算學(xué)習(xí)理論和高效算法 （ 3）高維異構(gòu)特征數(shù)據(jù)的描述與處理 （ 4）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 針對(duì) 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將建立有效的跨媒體表示模型，以及面 向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語(yǔ)義描述體系；研究數(shù)字媒體理解技術(shù)實(shí)現(xiàn)的系統(tǒng)構(gòu)架、驗(yàn)證機(jī)制，建立數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)和應(yīng)用示范系統(tǒng)。 二、預(yù)期目標(biāo) 總體目標(biāo) 針對(duì)數(shù)字媒體應(yīng)用中面臨的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問(wèn)題 ， 研究視覺(jué)認(rèn)知的層次性與整體性機(jī)制，提出媒體認(rèn)知的層次化計(jì)算理論與模型， 構(gòu)建符合媒體理解層次性和整體性的理論框架 ；研究多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法， 發(fā)展刻畫(huà)媒體對(duì)象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語(yǔ)義的映射、跨媒體的層次 化語(yǔ)義分析 等共性關(guān)鍵技術(shù) ， 提出一批 魯棒、智能、快速的 新算法 。 （ 1）基礎(chǔ) 理論研究 建立數(shù)字媒體理解的計(jì)算理論和模型，為系統(tǒng)解決媒體理解問(wèn)題奠定基礎(chǔ)，預(yù)期取得兩個(gè)方面的突破：通過(guò)媒體 認(rèn)知機(jī)理與計(jì)算模型 的 協(xié)同探索 ，揭示媒體認(rèn)知的層次性和整體性機(jī)理， 建立 符合媒體理解 的層次化計(jì)算理論與模型； 揭示形成媒體對(duì) 象多義性的內(nèi)在規(guī)律， 提出 高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制 ，建立 媒體對(duì)象多義性和多態(tài)性的 有效 表示體系。 （ 3）驗(yàn)證平臺(tái)與重大應(yīng)用示范 建成具有國(guó)際先進(jìn)水平的媒體理解算法測(cè)試驗(yàn)證平臺(tái)，提供 開(kāi)放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評(píng)測(cè)打下基礎(chǔ)。 在上述三個(gè)方面的研究中，預(yù)期 獲得 國(guó)家級(jí)科技成果獎(jiǎng) 2 項(xiàng)， 在包括Nature、 Science、 Artificial I