【正文】 用示范三個層次著手， 將研究內(nèi)容 分解 為 六個課題 ，通過嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國際合作與交流， 力爭 獲得有重要影響的成果。 對多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計算過程，需要較大的計算開銷；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計算的負(fù)擔(dān)；而且在很多應(yīng)用中對媒體數(shù)據(jù)的處理要求較高的實時性，這更加使得高效的計算過程極為重要 。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級視覺皮層到高級視覺皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺 對象 如何自下而上地從基本特征開始 逐步 特征化 、 抽象化 。 數(shù)字媒體對象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語義。 （ 3）驗證平臺與重大應(yīng)用示范 建成具有國際先進(jìn)水平的媒體理解算法測試驗證平臺，提供 開放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評測打下基礎(chǔ)。 與試圖單純通過特征層融合或決策層融合來實現(xiàn)多源信息利用、獨立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計不同 ，本項目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實現(xiàn)融合機(jī)制時考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計學(xué)習(xí)算法時以多態(tài)信息融合為主體目標(biāo)，使得對復(fù)雜媒體對象的處理可以準(zhǔn)確高效地完成 。 在融合機(jī)制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 研究內(nèi)容： （ 1）面向整體性感知的層次化表示 研究媒體對象的空間和時間的層次化表示理論和方法，分析時間、空間分辨率與媒體對象表示和理解的關(guān)系，分別利用遙感圖像和視頻序列研究空間層次性表示和時間層次性表示的理論和方法。提出基于異構(gòu)底層特征融合的面向不同粒度語義的映射模型，建立面向媒體內(nèi)容的以實體、關(guān)系和事件為核心的結(jié)構(gòu)化語義描述體系。 （ 6） 研究視頻序列時間層次性表示 ； （ 7） 提出多層次融合與整體感知框架 ； （ 8） 研究圖像在不同層次下的物體檢測 ； （ 9） 提出基于時間層次性的顯著性識別； （ 10） 研究面向多義性對象的高效學(xué)習(xí)算法； ? （ 11）研究能夠有效處理非均衡樣本的方法； （ 12）研究高維異構(gòu)媒體特征的流形表示； （ 1） 闡述視覺皮層方位選擇性的形態(tài)學(xué)機(jī)制； （ 2） 揭示高級視覺皮層對基本視覺特征的功能組織模式 ； （ 3）揭示視覺皮層自下而上的層次性整合框架； （ 4） 建立 基于視皮層功能柱陣列神經(jīng)機(jī)制的算法原型 ； （ 5）獲得利用視皮層功能柱 陣列模型實現(xiàn)視覺認(rèn)知層次性和整體性的前、后銜接環(huán)節(jié)及其實現(xiàn)策略； ? （ 6） 建立視頻時間層次性理解模型； ? （ 7） 揭示層次性與整體感知在媒體理解中的關(guān)系 ； ? （ 8） 利用層次性理解模型提出新的圖像物體檢測方法 ； （ 9） 提出基于層次性的視頻顯著性識別模型和方法； （ 10） 提出 面向多義性對象的高效學(xué)習(xí)算法； （ 11）提出非均衡樣本的有效處理方法。 幾何運(yùn)算中的誤差精度控制 本項目將幾何運(yùn)算分解成為底層的單元幾何運(yùn)算和高層次的特征幾何運(yùn)算。建立符合人的預(yù)期的產(chǎn)品設(shè)計迭代求精機(jī)制，為基于領(lǐng)域知識的復(fù)雜產(chǎn)品設(shè)計迭代模型和領(lǐng)域任務(wù)的一致性和可度量性奠定基礎(chǔ)。建立基于 GPU 構(gòu)架的并行優(yōu)化程序，解決復(fù)雜性中等的實際工程問題，研究基于 GPU 構(gòu)架的并行智能布點技術(shù)，研究混合近似模型技術(shù)，通過不同方法近似模型的組合，加強(qiáng)近似模型的魯棒性和精度。 圖 1. 現(xiàn)代設(shè)計大型應(yīng)用軟件系統(tǒng)可信核 心平臺框架 本項目在技術(shù)途徑方面 擬考慮 以下幾點： （ 1） 可信性基礎(chǔ)與系統(tǒng)仿真和驗證平臺同步研究 把握對現(xiàn)代設(shè)計大型應(yīng)用軟件有重要影響的可信性理論集中力量優(yōu)先突破，并持之以恒，毫不動搖，本項目列出的三個關(guān)鍵科學(xué)問題均屬此列。 2. 針對產(chǎn)品設(shè)計全流程一致性理論和方法的研究 ，其中的技術(shù)路線為： ? 利用數(shù)據(jù)模型在設(shè)計制造全流程中的表示差異性，確保模型格式轉(zhuǎn)換的精度保持，使得迭代設(shè)計可 反饋可驗證，保證模型表示的完備性，提高設(shè)計制造效率。命令式程序的表示關(guān)鍵是對內(nèi)存模型的描述。此外，針對現(xiàn)代協(xié)同設(shè)計的特點，還將 解決跨自治域的復(fù)雜訪問控制、協(xié)同環(huán)境下的數(shù)據(jù)分發(fā)及協(xié)同設(shè)計過程中的隱私保護(hù)等問題，并最終為總課題的應(yīng)用提供安全保障。 3. 明確算法規(guī)約說明語言的語法和語義； 提出 適用于此類程序的謂詞計算方法 。 7. 支持可信設(shè)計過程的安全保障體系 研究 。 ? 采用面向虛擬組織的復(fù)雜訪問控制機(jī)制來支持跨自治域的協(xié)同數(shù)據(jù)訪 問控制。 算法關(guān)注于解決問題的方法和邏輯。在此基礎(chǔ)上，研究拉伸、抽殼和拔模等高層次的幾何特征操作。 同時，將研究開發(fā)一個用戶設(shè)計復(fù)雜產(chǎn)品及其功能與性能仿真模擬的大型設(shè)計軟件平臺，集成上述各關(guān)鍵科學(xué)問題的研究成果，確保設(shè)計數(shù)據(jù)處理的靈活性和可擴(kuò)展性；克服數(shù)據(jù)本身的異構(gòu)性 和系統(tǒng)的異構(gòu)性引起的不協(xié)調(diào)性，即時審計入侵等不安全因素，使該核心平臺安全、可靠、實用。研究基于線性插值單元理論的高精度仿真計算方法，建立自主開發(fā)而且具有較強(qiáng)工程應(yīng)用能力的仿真軟件。同時將考慮產(chǎn)品模型中的各種特征的提取方法和特征與產(chǎn)品模型之間的約束關(guān)系及其度量方法，在產(chǎn)品迭代修改過程中，產(chǎn)品模型中的結(jié)構(gòu)特征必須與數(shù)據(jù)模型保持相對應(yīng)的約束關(guān)系，產(chǎn)品特征在設(shè)計修改過程中具有特征的一貫性 和連續(xù)性，同時還研究異構(gòu)系統(tǒng)中模型數(shù)據(jù)之間的數(shù)據(jù)轉(zhuǎn)換機(jī)制，考慮模型特征的連貫性，產(chǎn)品特征的可重用性，以保證模型數(shù)據(jù)的一致性，為此將研究可重用特征的設(shè)計邏輯一致性和可重用的度量方法。 項目名稱： 現(xiàn)代設(shè)計大型應(yīng)用軟件的可信性研究 首席科學(xué)家： 孫家廣 清華大學(xué) 起止年限： 2020 年 1 月 2020 年 8 月 依托部門： 教育部 一、研究內(nèi)容 在現(xiàn)代制造業(yè)，隨著產(chǎn)品設(shè)計規(guī)模和設(shè)計難度的增加，設(shè)計系統(tǒng)和產(chǎn)品設(shè)計過程的復(fù)雜性越來越高，個性化設(shè)計需求越來越強(qiáng)烈，設(shè)計活動越來越突出地體現(xiàn)了知識密集性和通訊密集性的特點。 （ 5） 借助認(rèn)知理論研究相關(guān)層次性感知模型 ； （ 6） 提出不同層次理解的視覺計算模型 ； （ 1） 改造已有設(shè)備，實現(xiàn)整體動物皮層在功能與形態(tài)上的同步實時記錄； （ 2）建立與實驗結(jié)果相互驗證的多種功能圖的自組織模型； （ 3） 建立 視皮層功能柱型結(jié)構(gòu)的特征表征與提取 模型； （ 4） 建立 基于視覺皮層神經(jīng)機(jī)制的仿真 理論與方法 ， 提出符合可形式化、可計算要求的體現(xiàn)視覺認(rèn)知層次性和整體性的算法設(shè)計方向 ； （ 5）從算法角度獲得關(guān)于視覺認(rèn)知整體性如何經(jīng)層次性加工逐級表現(xiàn)出來的初步認(rèn)識 ； （ 6） 實現(xiàn)層次性感知模型，進(jìn)行圖像層次性分析 ； （ 7）建立 不同層次理解的視覺計年度 研究內(nèi)容 預(yù)期目標(biāo) （ 7） 研究視頻數(shù)據(jù)時間層次性語義標(biāo)注 ； ? （ 8） 分析各種不同底層特征對顯著性檢測的影響 ； （ 9） 研究面向多義性對象的機(jī)器學(xué)習(xí)方法； （ 10）研究有效利用無標(biāo)注樣本進(jìn)行學(xué)習(xí)的方法； （ 11）分析特征包含的信息量，研究媒體數(shù)據(jù)中信息量最大子塊的提取方法； （ 12）研究基于信息量最大子塊的局部特征和全局特征提取方法； （ 13）研究局部特征到幾 何特征、整體拓?fù)涮卣鞯恼?,以及全局特征對局部特征提取的調(diào)控方法； （ 14）研究圖像和視頻信息的多粒度信息抽取與表示； （ 15）研究基于矩陣、張量和圖模型等的跨媒體表達(dá)框架 ； （ 16）研究矩陣、張量和圖模型等復(fù)雜結(jié)構(gòu)的處理方法； （ 17）研制數(shù)字媒體理解算法測試驗證平臺原型系統(tǒng)； （ 18）研究對數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及標(biāo)簽自動推薦的方法； （ 19）進(jìn)行復(fù)雜場景下視頻運(yùn)動目標(biāo)的檢測與跟蹤、基于多視頻傳感器的全景視頻圖像動態(tài)拼接、電視節(jié)目結(jié)構(gòu)分析等算法的研究。 （ 2）高維異構(gòu)特征數(shù)據(jù)的描述與處理 擴(kuò)展現(xiàn)有線性和非線性降維方法，考慮高維異構(gòu)媒體特征固有稀疏性，研究全局和局部特征的本征屬性分析求解方法，實現(xiàn)高維異構(gòu)特征流形嵌入和降維。 （ 2）復(fù)雜視覺刺激 在視覺皮層的功能組織模式 利用 Gestalt知覺組織理論中涉及整體性的復(fù)雜視覺刺激范式，實時化地研究該刺激范式在功能上具有特異性的抽象表征方式，以及這一功能在神經(jīng)形態(tài)學(xué)上的組織模式。本項目由一支精心組織的隊伍組成，項目中既有 在基礎(chǔ)研究方面有重要影響的單位，也有在解決重大應(yīng)用需求 方面有豐富經(jīng)驗的單位，通過整合 基礎(chǔ)研究和 應(yīng)用 技術(shù) 的優(yōu)質(zhì)資源，實現(xiàn)了強(qiáng)強(qiáng)聯(lián)合。 與試圖僅通過加強(qiáng)底層特征的表達(dá)能力來縮小語義鴻溝不同 ，本項目將針對媒體對象的多義性和多態(tài)性特點，強(qiáng)調(diào)高層描述與底層特征的相互關(guān)聯(lián)：一方面，在形成高層描述時注意到單模態(tài)特征表達(dá)的局限性和多模態(tài)信息的互補(bǔ)性 ； 另一方面，在設(shè)計底層特征時考慮到高層描述的指導(dǎo)性，使得底層特征的選取為高層描述服務(wù)。 二、預(yù)期目標(biāo) 總體目標(biāo) 針對數(shù)字媒體應(yīng)用中面臨的媒體對象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?、應(yīng)用需求多樣化等挑戰(zhàn)問題 ， 研究視覺認(rèn)知的層次性與整體性機(jī)制，提出媒體認(rèn)知的層次化計算理論與模型， 構(gòu)建符合媒體理解層次性和整體性的理論框架 ；研究多義性對象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法， 發(fā)展刻畫媒體對象多義性和多態(tài)性的表示體系 ；突破多模態(tài)特征融合、底層特征與高層語義的映射、跨媒體的層次 化語義分析 等共性關(guān)鍵技術(shù) ， 提出一批 魯棒、智能、快速的 新算法 。 因此 ，當(dāng)前是推進(jìn)層次性與整體性 結(jié)合 研究的良好時機(jī)。然而，媒體理解在整體性感知的計 算模型、語義融合與描述等方面研究不足，有待進(jìn)一步加強(qiáng)。 主要研究內(nèi)容 包括 ： （ 1） 復(fù)雜 視覺刺激在視覺皮層的功能組織模式 （ 2）模擬皮層功能柱陣列的計算模型及其效能分析 （ 3） 基于整體性認(rèn)知機(jī)理的計算模型 （ 4） 基于層次性描述的語義標(biāo)注 針 對 媒體對象固有的多義性、多態(tài)性 這一關(guān)鍵科學(xué)問題，本項目將分析媒體數(shù)據(jù)多義性的形成機(jī)理，建立面向多義性對象的機(jī)器學(xué)習(xí)理論與方法；研究多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。從而形成認(rèn)知機(jī)理與計算模型研究的雙向支持、相互借鑒，促進(jìn)符合媒體理解層次性和整體性的理論框架的構(gòu)建。數(shù)字媒體理解中認(rèn)知 機(jī)理 、特征表達(dá) 、計算模型、 學(xué)習(xí) 算法 等理論問題需要針對具體應(yīng)用需求特點進(jìn)行 深化 ， 并在應(yīng)用中進(jìn)行驗證 。因此，本項目的六個課題既相對獨立、又相互支持，構(gòu)成了完整的研究體系，有利于加快研究工作的進(jìn)展。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費(fèi)比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機(jī)理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 承擔(dān)單位 ：中國科學(xué)院電子學(xué)研究所、復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：丁赤飆 經(jīng)費(fèi)比例 ： % 四、年度計劃 年度 研究內(nèi)容 預(yù)期目標(biāo) 第 一 年 （ 1）搭建具有國際領(lǐng)先水平的整體動物雙光子激光 成像系統(tǒng)； （ 2）研究整體動物初級視覺皮層對多種基本視覺特征的功能組織模式； （ 3）研究初級視覺皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機(jī)制 ； （ 5） 研究圖像層次化語義標(biāo)注 ； （ 6） 研究基于整體感知的物體識別模型 ； （ 7）研究描述多義性對象的多義信息的表示方法； （ 8）提出描述多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識能力更強(qiáng)、適應(yīng)性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學(xué)（ 1） 完成調(diào)試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級視覺皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構(gòu)建圖像語義數(shù)據(jù)庫 ； （ 6）提出基于整體感知的物體識別方法 ； （ 7）提出能夠描述多義性對象的多義信息的表示方法； （ 8）建立保持多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示；