【正文】 ，凝煉出以下三個科學(xué)問題。然而，媒體理解所涉及的層次化描述與表征、結(jié)構(gòu)化分析方法等方面研究不足，需要進(jìn)一步深化。 然而 ，大量的形態(tài)學(xué)證據(jù)表明，大腦皮層間不僅存在著上行的前饋投射（提示層次性整合），還存在著大量從高級皮層向初級皮層的反饋投射（提示整體性調(diào)節(jié)），提示層次性與整體性兩種機(jī)制在大腦皮層的認(rèn)知過程中是密不可分、難以割裂的。 關(guān)鍵科學(xué)問題之二：媒體對象固有的多義性、多態(tài)性 ── 如何反映媒體對象的特性？ 數(shù)字媒體底層特征與高層語義之間的“語義鴻溝”，是數(shù)字媒體理解面臨的根本障礙，而其根源之一是媒體對象本身所固有的多義性。 為此，本項(xiàng)目將媒體對象固有的多義性、多態(tài)性凝煉為第二個關(guān)鍵科學(xué)問題 ，將研究 媒體的信息表示 。因此需要有媒體數(shù)據(jù)高效處理的計算方法 ，否則難以滿足實(shí)際需求。 主要研究內(nèi)容 包括 ： （ 1）多義性對象的表示與建模 （ 2）多義性對象的計算學(xué)習(xí)理論和高效算法 （ 3）高維異構(gòu)特征數(shù)據(jù)的描述與處理 （ 4）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 針對 媒體計算應(yīng)有的協(xié)同性、高效性 這一關(guān)鍵科學(xué)問題，本項(xiàng)目將建立有效的跨媒體表示模型，以及面 向媒體內(nèi)容的以實(shí)體、關(guān)系和事件為核心的結(jié)構(gòu)化語義描述體系；研究數(shù)字媒體理解技術(shù)實(shí)現(xiàn)的系統(tǒng)構(gòu)架、驗(yàn)證機(jī)制，建立數(shù)字媒體理解算法測試驗(yàn)證平臺和應(yīng)用示范系統(tǒng)。 （ 1）基礎(chǔ) 理論研究 建立數(shù)字媒體理解的計算理論和模型，為系統(tǒng)解決媒體理解問題奠定基礎(chǔ)，預(yù)期取得兩個方面的突破：通過媒體 認(rèn)知機(jī)理與計算模型 的 協(xié)同探索 ，揭示媒體認(rèn)知的層次性和整體性機(jī)理， 建立 符合媒體理解 的層次化計算理論與模型； 揭示形成媒體對 象多義性的內(nèi)在規(guī)律， 提出 高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制 ，建立 媒體對象多義性和多態(tài)性的 有效 表示體系。 在上述三個方面的研究中，預(yù)期 獲得 國家級科技成果獎 2 項(xiàng)， 在包括Nature、 Science、 Artificial Intelligence、 IEEE PAMI 等在內(nèi)的重要國際學(xué)術(shù)刊物和一流國際 學(xué)術(shù) 會議發(fā)表論文 150篇以上， 授權(quán) 發(fā)明專利 50項(xiàng)以上。項(xiàng)目組確立了如下三條學(xué)術(shù)思路： （ 1）強(qiáng)調(diào)認(rèn)知機(jī)理與計算模型的研究相互促進(jìn)，構(gòu)建符合媒體理解層次性和整體性的理論框架。 （ 2）強(qiáng)調(diào)高層描述與底層特征的表達(dá)相互關(guān)聯(lián)，發(fā)展刻畫媒體對象多義性和多態(tài)性的表示體系。 （ 3）強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的效用相互結(jié)合，突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸。 為此，本項(xiàng)目 面向 數(shù)字媒體理解的重大應(yīng)用需求 ， 深入研究 其 關(guān)鍵 科學(xué)問題 和核心技術(shù) 。 針對媒體認(rèn)知和理解難度大， 本項(xiàng)目將通過 信息科學(xué)、認(rèn)知科學(xué)、應(yīng)用數(shù)學(xué)、語言學(xué)等多學(xué)科的交叉融合， 從新的 思路 開展研究 工作 ， 通過解決科學(xué)問題取得原始創(chuàng)新，在此基礎(chǔ)上形成關(guān)鍵技術(shù)突破，推動重 大應(yīng)用需求的示范系統(tǒng)建設(shè)。 （ 3）加強(qiáng)資源整合，實(shí)現(xiàn)優(yōu)勢互補(bǔ)。 在認(rèn)知機(jī)理 與 計算模型方面，按照 媒體 認(rèn)知機(jī)理所呈現(xiàn) 的 整體性和層次性特點(diǎn)，建立自 下而上 的基于數(shù)據(jù) 驅(qū)動 和自 上而下的基于 模型控制相結(jié)合的數(shù)字媒體計算模型 。 創(chuàng)新點(diǎn)與 特色 （ 一 ） 研究思路的創(chuàng)新與特色 從當(dāng)前導(dǎo)致數(shù)字媒體理解困難的科學(xué)問題 出發(fā) ， 根據(jù) 人類 對 媒體 對象認(rèn)知的特點(diǎn)、媒體對象固有的特性和媒體計算應(yīng)有的特征， 強(qiáng)調(diào)認(rèn)知機(jī)理與計算模型的相互促進(jìn)，底層特征與高層 描述 的表達(dá)關(guān)聯(lián)，融合機(jī)制與學(xué)習(xí)算法的效用結(jié)合 。 課題設(shè)置 根據(jù)數(shù)字媒體理解研究所具有的“頂天立地”特點(diǎn)，本項(xiàng)目圍繞凝煉的三個科學(xué)問題，將研究內(nèi)容分為科學(xué)問題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范 等三個層次，認(rèn)知機(jī)理與計算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗(yàn)證平臺與應(yīng)用示范等四個方面，共設(shè)六個課題 (見圖 1)。 課題 介紹 課題 視覺認(rèn)知的層次性與整體性機(jī)制 預(yù)期目標(biāo)： 建立整體動物雙光子 成像系統(tǒng)，實(shí)現(xiàn)視覺皮層功能及其結(jié)構(gòu)基礎(chǔ)的實(shí)時可視化，基于初級視覺皮層逐級整合到高級視覺皮層的層次性框架，揭示視覺表征如何自下而上地逐級抽象，以及如何在整合后自上而下地反饋、對初級水平進(jìn)行調(diào)控，在此基礎(chǔ)上建立相應(yīng)的計算視覺模型。 （ 4）模擬皮層功能柱陣列的計算模型及其效能分析 模擬視皮層機(jī)制對特征提取、特征組織與整合的 實(shí)現(xiàn)方法，并從結(jié)構(gòu)與功能相適應(yīng)的角度，利用結(jié)構(gòu)仿真、統(tǒng)計與概率分析等數(shù)學(xué)手段來驗(yàn)證算法設(shè)計的合理性，對紋狀皮層的計算與表征效能進(jìn)行系統(tǒng)分析，其目的是獲得設(shè)計工程應(yīng)用模型的理論依據(jù)。 （ 3）基于層次性描述的語義標(biāo)注 研究以遙感圖像為例的空間層次性描述的語義標(biāo)注的理論與方法，研究以視頻序列為例的時 間層次性語義描述理論與方法，在此基礎(chǔ)上給出廣義的時間和空間層次性描述的語義標(biāo)注模型。 研究內(nèi)容： （ 1）多義性對象的表示與建模 研究媒體對象的多義性形成機(jī)理，分析多義性信息難以在單特征向量表示下得以充分體現(xiàn)的根本因素，研究能夠在表示過程中盡可能充分的保持對象多義性信息且適于學(xué)習(xí)的表示與建模方法。 研究內(nèi)容： （ 1）全局和局部特征提取方法 研究在交互式手段下結(jié)合注意力模型實(shí)現(xiàn)媒體數(shù)據(jù)中信息量最大子塊和局部特征提取方法，采用多尺度變換不變算子從信息量最大子塊之內(nèi)和之間提取全局特征。 （ 3）多模態(tài)關(guān)聯(lián)特征的提取與表達(dá)方法 多模態(tài)特征存在異構(gòu)性，難以挖掘其關(guān)聯(lián)性，通過典型相關(guān)性分析方法，研究其在內(nèi)容特征上潛在的統(tǒng)計關(guān)系，建立多模態(tài)特征的共生矩陣，以生成包含不同類型數(shù)據(jù)的同構(gòu)子空間來反映其關(guān)聯(lián)，最終實(shí)現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)系的表達(dá)。 （ 2）底層特征與高層語義的多粒度映射模型 研究從底層特征、媒體對象和媒體文件等多粒度來描述媒體內(nèi)容的語義模型。 研究內(nèi)容： （ 1）數(shù)字媒體理解算法測試驗(yàn)證平臺 研究對數(shù)據(jù)進(jìn)行分布式協(xié)同人工標(biāo)記及自動推薦的方法，提高標(biāo)記質(zhì)量和效率；研究數(shù)字媒體理解算法的性能測試、分析比較和可視化展現(xiàn)手段；建立具有典型性的規(guī)?；襟w數(shù)據(jù)庫，研制接口規(guī)范、擴(kuò)展性強(qiáng)的測試驗(yàn)證平臺。 驗(yàn)證平臺需求說明文檔，研制數(shù)字媒體理解算法測試驗(yàn)證平臺原型框架系統(tǒng)； （ 15）完成智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范需求說明文檔。 前兩年部分成果：建立具有國際領(lǐng)先水平的整體動物光學(xué)成像研究平臺，在本領(lǐng)域重要的國際學(xué)術(shù)刊物和一流國際學(xué)術(shù)會議發(fā)表論文50 篇以上 發(fā)表，申請發(fā)明專利 20項(xiàng)以上。 （ 12）提出本征屬性分析方法，實(shí)現(xiàn)高維異構(gòu)特征流形嵌入和降維； （ 13）利用同種媒體各層次特征間的聯(lián)系，建立高維異構(gòu)媒體特征的結(jié)構(gòu)化表示； ? （ 14） 建立媒體對象之間的上下文關(guān)系網(wǎng)絡(luò)表示； （ 15） 基于遷移學(xué)習(xí)和組合學(xué)習(xí)機(jī)制，實(shí)現(xiàn)跨媒體多模態(tài)特征融合； （ 16）形成可初步實(shí)用的數(shù)字媒體理解算法性能測試、分析比較和可視化展現(xiàn)應(yīng)用工具，并整合到數(shù)字媒體理解算法測試驗(yàn)證平臺中； （ 17）提出超分辨率視頻圖像復(fù)原與增強(qiáng)、自適應(yīng)視頻監(jiān)控目標(biāo)分類與識 別等新算法； （ 18）形成可初步實(shí)用的電視節(jié)目結(jié)構(gòu)分析、語義分析工具，并整合到網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)中 。 分析、電視節(jié)目話題檢測、于語義的搜索和個性化推薦工具，并整合到網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)中。 （ 13）在理論上，建立層次性與整體性結(jié)合的計算理論與模型，多義性與多態(tài)性的有效表示體系和機(jī)器學(xué)習(xí)方法； （ 14）突破全局和局部特征的提取、上下文關(guān)聯(lián)的特 征融合、底層特征與高層語義的多粒度映射、跨媒體的層次化語義分析等一批關(guān)鍵技術(shù)； （ 15）建成媒體理解算法測試驗(yàn)證平臺，建立智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視應(yīng)用示范系統(tǒng)； （ 16）完成本項(xiàng)目的總結(jié)與驗(yàn)收。主要研究內(nèi)容有以下幾個方面： ? 產(chǎn)品模型數(shù)據(jù)表示和計算誤差可控性以及模型表示的一致性，以提高設(shè)計過程中數(shù)據(jù)表示可信性； ? 設(shè)計系統(tǒng)程序代碼與規(guī)約說明的一致性驗(yàn)證，以提高設(shè)計系統(tǒng) 程序代碼的正確性； ? 產(chǎn)品設(shè)計流程的可信保障機(jī)制，以解決產(chǎn)品數(shù)據(jù)模型在全生命周期的一致性； ? 基于 GPU 集群的數(shù)字模型仿真優(yōu)化計算，以保證產(chǎn)品交互設(shè)計的一致性和高效性； ? 構(gòu)建產(chǎn)品設(shè)計與仿真優(yōu)化交互設(shè)計平臺，以增強(qiáng)產(chǎn)品功能和性能仿真優(yōu)化設(shè)計的實(shí)用性和可靠性。研究在產(chǎn)品設(shè)計過程中統(tǒng)一的幾何運(yùn)算誤差精度控制理論和方法。由此進(jìn)一步規(guī)范產(chǎn)品設(shè)計的實(shí)現(xiàn)手段，形成與其相適應(yīng)的理論和方法。 面向產(chǎn)品設(shè)計全生命周期的數(shù)據(jù)模型和設(shè)計過程的一致性度量 本項(xiàng)目將研究復(fù)雜產(chǎn)品設(shè)計手段可達(dá)性，研究產(chǎn)品數(shù)據(jù)模型的結(jié)構(gòu)特征的語義表示方法，研究產(chǎn)品迭代設(shè)計過程中數(shù)據(jù)模型修改中的結(jié)構(gòu)特征約束方法，研究產(chǎn)品結(jié)構(gòu)特征模型的可重用度量方法，研究產(chǎn)品全生命周期的設(shè)計迭代交互過程中的數(shù)據(jù)模型統(tǒng)一表示（研究異構(gòu)系統(tǒng)或者設(shè)計流程各設(shè)計環(huán)節(jié)之間的數(shù)字模型數(shù)據(jù)轉(zhuǎn)換機(jī)制）和研究產(chǎn)品全設(shè)計流程的數(shù)據(jù)表示完整性。 “邏輯關(guān)系 ”是設(shè)計流程與規(guī)范間的一種抽象，這種抽象的關(guān)系主要體現(xiàn)在設(shè)計主體對設(shè)計目標(biāo)及設(shè)計系統(tǒng)認(rèn)知的深度及抽象性上。 程序代碼與規(guī)約說明的一致性驗(yàn)證 現(xiàn)代設(shè)計軟件中包含了大量的算法及其實(shí)現(xiàn)代碼。另一方面，考慮到現(xiàn)代設(shè)計軟件程序中涉及大量有關(guān) 數(shù)組、向量、矩陣等的數(shù)值操作，我們也將研究針對這些特定數(shù)據(jù)結(jié)構(gòu)的程序驗(yàn)證方法學(xué)。研究產(chǎn)品設(shè)計數(shù)據(jù)自保護(hù)安全信任模型 ,數(shù)據(jù)存儲、處理、傳輸?shù)臋C(jī)密性和完整性等保護(hù)，研究產(chǎn)品設(shè)計數(shù)據(jù)內(nèi)核級自保護(hù)技術(shù)，研究設(shè)計數(shù)據(jù)安全訪問許可策略及多約束力的使 用許可協(xié)議。 復(fù)雜產(chǎn)品結(jié)構(gòu)組合的高效仿真計算與優(yōu)化 研究多領(lǐng)域 多學(xué)科產(chǎn)品優(yōu)化計算及其并行仿真可視化方法，研究基于 GPU集群的復(fù)雜產(chǎn)品系統(tǒng)性能優(yōu)化設(shè)計方法。 二、預(yù)期目標(biāo) 總體目標(biāo) 本項(xiàng)目旨在面向重大制造裝備和復(fù)雜產(chǎn)品設(shè)計等重要應(yīng)用領(lǐng)域展開CAD/CAE 大型應(yīng)用軟件的可信性研究，建立重大制造裝備和復(fù)雜產(chǎn)品模型的統(tǒng)一數(shù)據(jù)表示，保證幾何設(shè)計、結(jié)構(gòu)設(shè)計、模型分析和仿真驗(yàn)證等各環(huán)節(jié)迭代求精和分析在產(chǎn)品設(shè)計生命周期中的一致性，提供系統(tǒng)構(gòu)件之間的可驗(yàn)證機(jī)理，建立數(shù)據(jù)和模型的多級安全動態(tài)保護(hù)理論和策略，給出應(yīng)用軟件的可信度分析方法，為提高我國汽車、重大制造裝備等復(fù)雜產(chǎn)品的國際競爭力，提供其自主 創(chuàng)新的理論和技術(shù)支撐。本項(xiàng)目擬在國內(nèi)外核心刊物和國際會議上發(fā)表論文 3050 篇 /年，其中國際刊物與國際會議論文集的論文發(fā)表 1218 篇 /年；學(xué)術(shù)著作 3 部，技術(shù)報 告平均 10 篇 /年；博士論文平均 12 篇 /年。 產(chǎn)品設(shè)計數(shù)據(jù)表示模型和設(shè)計系統(tǒng)的可信性度量理論 將研究以下關(guān)鍵內(nèi)容并取得重要進(jìn)展： 復(fù)雜產(chǎn)品數(shù) 據(jù)模型的高精度數(shù)據(jù)表示及其誤差控制； 面向產(chǎn)品設(shè)計全生命周期的產(chǎn)品數(shù)據(jù)和設(shè)計過程的一致性度量； 產(chǎn)品設(shè)計系統(tǒng)的程序代碼可驗(yàn)證理論； 按需組裝的產(chǎn)品全設(shè)計流程的一致性驗(yàn)證。這部分工作實(shí)際上是對前兩部分研究成果的集成和實(shí)際應(yīng)用檢驗(yàn)。相反，可信性理論與驗(yàn)證和仿真系統(tǒng)平臺同步研究，雙方還有相互促進(jìn)，相互補(bǔ)充的作用。 （ 3） 既注意獨(dú)立開發(fā)，有自主知識產(chǎn)權(quán)，又注意學(xué)習(xí)國外先進(jìn)內(nèi)容，洋為中用，走引進(jìn)、吸收、消化、創(chuàng)新之路，切實(shí)貫徹有所為、有所不為，但一定要有所作為。 ? 基于國內(nèi)外行業(yè)和企業(yè)標(biāo)準(zhǔn)，采用優(yōu)化方法，建立統(tǒng)一產(chǎn)品數(shù)據(jù)模型的輕量化表示理論和方法，降低數(shù)據(jù)的冗余程度，提高模型數(shù)據(jù)的應(yīng)用效率。明確各類誤差的含義，確定它們之間的關(guān)聯(lián)，形成相應(yīng)的誤差精度統(tǒng)一表示理論和方法。 ? 通過數(shù)據(jù)模型的語義特征，在模型編輯功能中實(shí)現(xiàn)特征可復(fù)用。同時還研究統(tǒng)一產(chǎn)品數(shù)據(jù)模型的數(shù)據(jù)輕量化表示理論和方法，盡可能降低數(shù)據(jù)的冗余程度，提高數(shù)據(jù)的應(yīng)用效率。 ? 基于高階邏輯和定理證明系統(tǒng)，構(gòu)建算法規(guī)約說明推理系統(tǒng)，提供算法層面上的正確性驗(yàn)證框架。為此，需要根據(jù)現(xiàn)代設(shè)計軟件中核心算法的特點(diǎn)，研究適合于此類應(yīng)用的形式化描述語言。該內(nèi)存模型在邏輯層次上考慮，而命令式語言的各種成分可以在該模型下進(jìn)行解釋。傳統(tǒng)的模型檢測技術(shù)只能在布爾邏輯框架下應(yīng)用。 ? 采用基于刻面的需求工程（ AOSD）來消除需求衰減和需求歧義。在 WBS 模型的基礎(chǔ)上，引入資源元數(shù)據(jù)模型，支持動態(tài)資源映射和評估分析；引入擴(kuò)展流程模型，支持動態(tài)的設(shè)計過程建模及監(jiān)控；引入時序約束，保證設(shè)計過程的可信性和執(zhí)行的準(zhǔn)確性。 ? 以 Cg 和 CUDA 為手段，建立基于 GPU 集群的高效求解體系，實(shí)現(xiàn)廉價的快速仿真計算。 本 項(xiàng)目 建立的復(fù)雜產(chǎn)品設(shè)計平臺是傳統(tǒng) CAE 軟件應(yīng)用的提升，簡單封閉的前處理體系，基于 GPU 的高效求解體系以及自主研發(fā)的近似模型優(yōu)化體系是該系統(tǒng)性能和實(shí)用性的保證 。 3. 研究 NURBS與離散網(wǎng)格之間的模型格式轉(zhuǎn)換，保持產(chǎn)品設(shè)計轉(zhuǎn)移過程的誤差要求 。 9. 研究基于新型 單元和 GPU 的顯式有限元程序 開發(fā)、 實(shí)時計算 1. 給出公式化得到浮點(diǎn)數(shù)特性的方法 ， 提出全新的基于 Sierpinski 三角形坐標(biāo)表示實(shí)數(shù)的方法 。 5. 提出支持可信設(shè)計過程的動態(tài) WBS的建模理論 、 基于元數(shù)據(jù)的編碼及規(guī)則控制理論 。 2. 研究常見的產(chǎn)品數(shù)據(jù)模型的表示格式類型