【正文】 用示范三個(gè)層次著手， 將研究?jī)?nèi)容 分解 為 六個(gè)課題 ，通過(guò)嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國(guó)際合作與交流， 力爭(zhēng) 獲得有重要影響的成果。 對(duì)多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計(jì)算過(guò)程，需要較大的計(jì)算開(kāi)銷；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計(jì)算的負(fù)擔(dān)；而且在很多應(yīng)用中對(duì)媒體數(shù)據(jù)的處理要求較高的實(shí)時(shí)性，這更加使得高效的計(jì)算過(guò)程極為重要 。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級(jí)視覺(jué)皮層到高級(jí)視覺(jué)皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺(jué) 對(duì)象 如何自下而上地從基本特征開(kāi)始 逐步 特征化 、 抽象化 。 數(shù)字媒體對(duì)象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語(yǔ)義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語(yǔ)義。 （ 3）驗(yàn)證平臺(tái)與重大應(yīng)用示范 建成具有國(guó)際先進(jìn)水平的媒體理解算法測(cè)試驗(yàn)證平臺(tái)，提供 開(kāi)放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評(píng)測(cè)打下基礎(chǔ)。 與試圖單純通過(guò)特征層融合或決策層融合來(lái)實(shí)現(xiàn)多源信息利用、獨(dú)立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計(jì)不同 ，本項(xiàng)目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實(shí)現(xiàn)融合機(jī)制時(shí)考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計(jì)學(xué)習(xí)算法時(shí)以多態(tài)信息融合為主體目標(biāo)，使得對(duì)復(fù)雜媒體對(duì)象的處理可以準(zhǔn)確高效地完成 。 在融合機(jī)制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 研究?jī)?nèi)容： （ 1）面向整體性感知的層次化表示 研究媒體對(duì)象的空間和時(shí)間的層次化表示理論和方法，分析時(shí)間、空間分辨率與媒體對(duì)象表示和理解的關(guān)系，分別利用遙感圖像和視頻序列研究空間層次性表示和時(shí)間層次性表示的理論和方法。提出基于異構(gòu)底層特征融合的面向不同粒度語(yǔ)義的映射模型，建立面向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語(yǔ)義描述體系。 （ 6） 研究視頻序列時(shí)間層次性表示 ； （ 7） 提出多層次融合與整體感知框架 ； （ 8） 研究圖像在不同層次下的物體檢測(cè) ； （ 9） 提出基于時(shí)間層次性的顯著性識(shí)別； （ 10） 研究面向多義性對(duì)象的高效學(xué)習(xí)算法； ? （ 11）研究能夠有效處理非均衡樣本的方法； （ 12）研究高維異構(gòu)媒體特征的流形表示； （ 1） 闡述視覺(jué)皮層方位選擇性的形態(tài)學(xué)機(jī)制； （ 2） 揭示高級(jí)視覺(jué)皮層對(duì)基本視覺(jué)特征的功能組織模式 ； （ 3）揭示視覺(jué)皮層自下而上的層次性整合框架； （ 4） 建立 基于視皮層功能柱陣列神經(jīng)機(jī)制的算法原型 ； （ 5）獲得利用視皮層功能柱 陣列模型實(shí)現(xiàn)視覺(jué)認(rèn)知層次性和整體性的前、后銜接環(huán)節(jié)及其實(shí)現(xiàn)策略； ? （ 6） 建立視頻時(shí)間層次性理解模型； ? （ 7） 揭示層次性與整體感知在媒體理解中的關(guān)系 ； ? （ 8） 利用層次性理解模型提出新的圖像物體檢測(cè)方法 ； （ 9） 提出基于層次性的視頻顯著性識(shí)別模型和方法； （ 10） 提出 面向多義性對(duì)象的高效學(xué)習(xí)算法； （ 11）提出非均衡樣本的有效處理方法。 幾何運(yùn)算中的誤差精度控制 本項(xiàng)目將幾何運(yùn)算分解成為底層的單元幾何運(yùn)算和高層次的特征幾何運(yùn)算。建立符合人的預(yù)期的產(chǎn)品設(shè)計(jì)迭代求精機(jī)制，為基于領(lǐng)域知識(shí)的復(fù)雜產(chǎn)品設(shè)計(jì)迭代模型和領(lǐng)域任務(wù)的一致性和可度量性奠定基礎(chǔ)。建立基于 GPU 構(gòu)架的并行優(yōu)化程序，解決復(fù)雜性中等的實(shí)際工程問(wèn)題，研究基于 GPU 構(gòu)架的并行智能布點(diǎn)技術(shù)，研究混合近似模型技術(shù)，通過(guò)不同方法近似模型的組合，加強(qiáng)近似模型的魯棒性和精度。 圖 1. 現(xiàn)代設(shè)計(jì)大型應(yīng)用軟件系統(tǒng)可信核 心平臺(tái)框架 本項(xiàng)目在技術(shù)途徑方面 擬考慮 以下幾點(diǎn)： （ 1） 可信性基礎(chǔ)與系統(tǒng)仿真和驗(yàn)證平臺(tái)同步研究 把握對(duì)現(xiàn)代設(shè)計(jì)大型應(yīng)用軟件有重要影響的可信性理論集中力量?jī)?yōu)先突破，并持之以恒，毫不動(dòng)搖，本項(xiàng)目列出的三個(gè)關(guān)鍵科學(xué)問(wèn)題均屬此列。 2. 針對(duì)產(chǎn)品設(shè)計(jì)全流程一致性理論和方法的研究 ，其中的技術(shù)路線為： ? 利用數(shù)據(jù)模型在設(shè)計(jì)制造全流程中的表示差異性，確保模型格式轉(zhuǎn)換的精度保持，使得迭代設(shè)計(jì)可 反饋可驗(yàn)證，保證模型表示的完備性，提高設(shè)計(jì)制造效率。命令式程序的表示關(guān)鍵是對(duì)內(nèi)存模型的描述。此外，針對(duì)現(xiàn)代協(xié)同設(shè)計(jì)的特點(diǎn)，還將 解決跨自治域的復(fù)雜訪問(wèn)控制、協(xié)同環(huán)境下的數(shù)據(jù)分發(fā)及協(xié)同設(shè)計(jì)過(guò)程中的隱私保護(hù)等問(wèn)題，并最終為總課題的應(yīng)用提供安全保障。 3. 明確算法規(guī)約說(shuō)明語(yǔ)言的語(yǔ)法和語(yǔ)義； 提出 適用于此類程序的謂詞計(jì)算方法 。 7. 支持可信設(shè)計(jì)過(guò)程的安全保障體系 研究 。 ? 采用面向虛擬組織的復(fù)雜訪問(wèn)控制機(jī)制來(lái)支持跨自治域的協(xié)同數(shù)據(jù)訪 問(wèn)控制。 算法關(guān)注于解決問(wèn)題的方法和邏輯。在此基礎(chǔ)上，研究拉伸、抽殼和拔模等高層次的幾何特征操作。 同時(shí)，將研究開(kāi)發(fā)一個(gè)用戶設(shè)計(jì)復(fù)雜產(chǎn)品及其功能與性能仿真模擬的大型設(shè)計(jì)軟件平臺(tái)，集成上述各關(guān)鍵科學(xué)問(wèn)題的研究成果，確保設(shè)計(jì)數(shù)據(jù)處理的靈活性和可擴(kuò)展性；克服數(shù)據(jù)本身的異構(gòu)性 和系統(tǒng)的異構(gòu)性引起的不協(xié)調(diào)性，即時(shí)審計(jì)入侵等不安全因素，使該核心平臺(tái)安全、可靠、實(shí)用。研究基于線性插值單元理論的高精度仿真計(jì)算方法，建立自主開(kāi)發(fā)而且具有較強(qiáng)工程應(yīng)用能力的仿真軟件。同時(shí)將考慮產(chǎn)品模型中的各種特征的提取方法和特征與產(chǎn)品模型之間的約束關(guān)系及其度量方法，在產(chǎn)品迭代修改過(guò)程中，產(chǎn)品模型中的結(jié)構(gòu)特征必須與數(shù)據(jù)模型保持相對(duì)應(yīng)的約束關(guān)系，產(chǎn)品特征在設(shè)計(jì)修改過(guò)程中具有特征的一貫性 和連續(xù)性，同時(shí)還研究異構(gòu)系統(tǒng)中模型數(shù)據(jù)之間的數(shù)據(jù)轉(zhuǎn)換機(jī)制，考慮模型特征的連貫性，產(chǎn)品特征的可重用性，以保證模型數(shù)據(jù)的一致性，為此將研究可重用特征的設(shè)計(jì)邏輯一致性和可重用的度量方法。 項(xiàng)目名稱： 現(xiàn)代設(shè)計(jì)大型應(yīng)用軟件的可信性研究 首席科學(xué)家： 孫家廣 清華大學(xué) 起止年限： 2020 年 1 月 2020 年 8 月 依托部門： 教育部 一、研究?jī)?nèi)容 在現(xiàn)代制造業(yè)，隨著產(chǎn)品設(shè)計(jì)規(guī)模和設(shè)計(jì)難度的增加，設(shè)計(jì)系統(tǒng)和產(chǎn)品設(shè)計(jì)過(guò)程的復(fù)雜性越來(lái)越高，個(gè)性化設(shè)計(jì)需求越來(lái)越強(qiáng)烈，設(shè)計(jì)活動(dòng)越來(lái)越突出地體現(xiàn)了知識(shí)密集性和通訊密集性的特點(diǎn)。 （ 5） 借助認(rèn)知理論研究相關(guān)層次性感知模型 ； （ 6） 提出不同層次理解的視覺(jué)計(jì)算模型 ； （ 1） 改造已有設(shè)備，實(shí)現(xiàn)整體動(dòng)物皮層在功能與形態(tài)上的同步實(shí)時(shí)記錄； （ 2）建立與實(shí)驗(yàn)結(jié)果相互驗(yàn)證的多種功能圖的自組織模型； （ 3） 建立 視皮層功能柱型結(jié)構(gòu)的特征表征與提取 模型； （ 4） 建立 基于視覺(jué)皮層神經(jīng)機(jī)制的仿真 理論與方法 ， 提出符合可形式化、可計(jì)算要求的體現(xiàn)視覺(jué)認(rèn)知層次性和整體性的算法設(shè)計(jì)方向 ； （ 5）從算法角度獲得關(guān)于視覺(jué)認(rèn)知整體性如何經(jīng)層次性加工逐級(jí)表現(xiàn)出來(lái)的初步認(rèn)識(shí) ； （ 6） 實(shí)現(xiàn)層次性感知模型，進(jìn)行圖像層次性分析 ； （ 7）建立 不同層次理解的視覺(jué)計(jì)年度 研究?jī)?nèi)容 預(yù)期目標(biāo) （ 7） 研究視頻數(shù)據(jù)時(shí)間層次性語(yǔ)義標(biāo)注 ； ? （ 8） 分析各種不同底層特征對(duì)顯著性檢測(cè)的影響 ； （ 9） 研究面向多義性對(duì)象的機(jī)器學(xué)習(xí)方法； （ 10）研究有效利用無(wú)標(biāo)注樣本進(jìn)行學(xué)習(xí)的方法； （ 11）分析特征包含的信息量，研究媒體數(shù)據(jù)中信息量最大子塊的提取方法； （ 12）研究基于信息量最大子塊的局部特征和全局特征提取方法； （ 13）研究局部特征到幾 何特征、整體拓?fù)涮卣鞯恼?,以及全局特征對(duì)局部特征提取的調(diào)控方法； （ 14）研究圖像和視頻信息的多粒度信息抽取與表示； （ 15）研究基于矩陣、張量和圖模型等的跨媒體表達(dá)框架 ； （ 16）研究矩陣、張量和圖模型等復(fù)雜結(jié)構(gòu)的處理方法； （ 17）研制數(shù)字媒體理解算法測(cè)試驗(yàn)證平臺(tái)原型系統(tǒng)； （ 18）研究對(duì)數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及標(biāo)簽自動(dòng)推薦的方法； （ 19）進(jìn)行復(fù)雜場(chǎng)景下視頻運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤、基于多視頻傳感器的全景視頻圖像動(dòng)態(tài)拼接、電視節(jié)目結(jié)構(gòu)分析等算法的研究。 （ 2）高維異構(gòu)特征數(shù)據(jù)的描述與處理 擴(kuò)展現(xiàn)有線性和非線性降維方法，考慮高維異構(gòu)媒體特征固有稀疏性，研究全局和局部特征的本征屬性分析求解方法，實(shí)現(xiàn)高維異構(gòu)特征流形嵌入和降維。 （ 2）復(fù)雜視覺(jué)刺激 在視覺(jué)皮層的功能組織模式 利用 Gestalt知覺(jué)組織理論中涉及整體性的復(fù)雜視覺(jué)刺激范式，實(shí)時(shí)化地研究該刺激范式在功能上具有特異性的抽象表征方式，以及這一功能在神經(jīng)形態(tài)學(xué)上的組織模式。本項(xiàng)目由一支精心組織的隊(duì)伍組成，項(xiàng)目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗(yàn)的單位，通過(guò)整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實(shí)現(xiàn)了強(qiáng)強(qiáng)聯(lián)合。 與試圖僅通過(guò)加強(qiáng)底層特征的表達(dá)能力來(lái)縮小語(yǔ)義鴻溝不同 ，本項(xiàng)目將針對(duì)媒體對(duì)象的多義性和多態(tài)性特點(diǎn)，強(qiáng)調(diào)高層描述與底層特征的相互關(guān)聯(lián)：一方面，在形成高層描述時(shí)注意到單模態(tài)特征表達(dá)的局限性和多模態(tài)信息的互補(bǔ)性 ； 另一方面，在設(shè)計(jì)底層特征時(shí)考慮到高層描述的指導(dǎo)性，使得底層特征的選取為高層描述服務(wù)。 二、預(yù)期目標(biāo) 總體目標(biāo) 針對(duì)數(shù)字媒體應(yīng)用中面臨的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問(wèn)題 ， 研究視覺(jué)認(rèn)知的層次性與整體性機(jī)制，提出媒體認(rèn)知的層次化計(jì)算理論與模型， 構(gòu)建符合媒體理解層次性和整體性的理論框架 ；研究多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法， 發(fā)展刻畫(huà)媒體對(duì)象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語(yǔ)義的映射、跨媒體的層次 化語(yǔ)義分析 等共性關(guān)鍵技術(shù) ， 提出一批 魯棒、智能、快速的 新算法 。 因此 ，當(dāng)前是推進(jìn)層次性與整體性 結(jié)合 研究的良好時(shí)機(jī)。然而，媒體理解在整體性感知的計(jì) 算模型、語(yǔ)義融合與描述等方面研究不足，有待進(jìn)一步加強(qiáng)。 主要研究?jī)?nèi)容 包括 ： （ 1） 復(fù)雜 視覺(jué)刺激在視覺(jué)皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計(jì)算模型及其效能分析 （ 3） 基于整體性認(rèn)知機(jī)理的計(jì)算模型 （ 4） 基于層次性描述的語(yǔ)義標(biāo)注 針 對(duì) 媒體對(duì)象固有的多義性、多態(tài)性 這一關(guān)鍵科學(xué)問(wèn)題，本項(xiàng)目將分析媒體數(shù)據(jù)多義性的形成機(jī)理，建立面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法；研究多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。從而形成認(rèn)知機(jī)理與計(jì)算模型研究的雙向支持、相互借鑒，促進(jìn)符合媒體理解層次性和整體性的理論框架的構(gòu)建。數(shù)字媒體理解中認(rèn)知 機(jī)理 、特征表達(dá) 、計(jì)算模型、 學(xué)習(xí) 算法 等理論問(wèn)題需要針對(duì)具體應(yīng)用需求特點(diǎn)進(jìn)行 深化 ， 并在應(yīng)用中進(jìn)行驗(yàn)證 。因此，本項(xiàng)目的六個(gè)課題既相對(duì)獨(dú)立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進(jìn)展。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費(fèi)比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對(duì)象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機(jī)理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 承擔(dān)單位 ：中國(guó)科學(xué)院電子學(xué)研究所、復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：丁赤飆 經(jīng)費(fèi)比例 ： % 四、年度計(jì)劃 年度 研究?jī)?nèi)容 預(yù)期目標(biāo) 第 一 年 （ 1）搭建具有國(guó)際領(lǐng)先水平的整體動(dòng)物雙光子激光 成像系統(tǒng)； （ 2）研究整體動(dòng)物初級(jí)視覺(jué)皮層對(duì)多種基本視覺(jué)特征的功能組織模式； （ 3）研究初級(jí)視覺(jué)皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機(jī)制 ； （ 5） 研究圖像層次化語(yǔ)義標(biāo)注 ； （ 6） 研究基于整體感知的物體識(shí)別模型 ； （ 7）研究描述多義性對(duì)象的多義信息的表示方法； （ 8）提出描述多義性對(duì)象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識(shí)能力更強(qiáng)、適應(yīng)性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學(xué)（ 1） 完成調(diào)試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級(jí)視覺(jué)皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構(gòu)建圖像語(yǔ)義數(shù)據(jù)庫(kù) ； （ 6）提出基于整體感知的物體識(shí)別方法 ； （ 7）提出能夠描述多義性對(duì)象的多義信息的表示方法； （ 8）建立保持多義性對(duì)象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示；