【正文】 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒媒 媒 6 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒科 學(xué) 問 題 解 決關(guān) 鍵 技 術(shù) 攻 關(guān)典 型 應(yīng) 用 示 范科 學(xué) 問 題 設(shè) 置 課 題 三 個 層 次 圖 1 科學(xué)問題解決與課題設(shè)置間的關(guān)系 下，多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法兩個課題主要實現(xiàn)共性關(guān)鍵技術(shù)的突破 ； 在此基礎(chǔ)上建立典型應(yīng)用示范，用于檢驗相關(guān)研究成果的有效性；此外， 數(shù)字媒體理解算法測試驗證平臺為 各課題的研究工作提供先進(jìn)的測試手段和驗證環(huán)境。 在融合機(jī)制與學(xué)習(xí)算法方面，將 深入研究適用于媒體 理解的 上下文關(guān)聯(lián)的 融合機(jī) 制和多模態(tài)協(xié)同分析的 學(xué)習(xí) 算法。 數(shù)字媒體理解的核心理論和 技術(shù) 是推動國家重大應(yīng)用需求的共性基礎(chǔ)，其應(yīng)用背景復(fù)雜、需求明確。 與試圖單純通過特征層融合或決策層融合來實現(xiàn)多源信息利用、獨立于特征表達(dá)進(jìn)行學(xué)習(xí)算法設(shè)計不同 ，本項目面向媒體處理協(xié)同性和高效性的需求，強(qiáng)調(diào)融合機(jī)制與學(xué)習(xí)算法的相互協(xié)作 ： 一方面，在實現(xiàn)融合機(jī)制時考慮以學(xué)習(xí)算法為重要途徑 ； 另一方面，在設(shè)計學(xué)習(xí)算法時以多態(tài)信息融合為主體目標(biāo)，使得對復(fù)雜媒體對象的處理可以準(zhǔn)確高效地完成 。 因此， 與試圖直接借鑒認(rèn)知科學(xué)已有的成果不同 ，本項目將圍繞媒體認(rèn)知的層次性和整體性目標(biāo)，強(qiáng)調(diào)認(rèn)知機(jī)理與計 算模型協(xié)同探索：一方面，在媒體計算模型的研究中注意吸收利用底層、局部性認(rèn)知機(jī)理方面的成果 ； 另一方面，通過媒體計算模型研究形成有關(guān)高層、整體性認(rèn)知的假說， 在認(rèn)知科學(xué)的探索中進(jìn)行驗證。 （ 3）驗證平臺與重大應(yīng)用示范 建成具有國際先進(jìn)水平的媒體理解算法測試驗證平臺，提供 開放式的數(shù)據(jù)接口、應(yīng)用接口，為媒體數(shù)據(jù)的標(biāo)準(zhǔn)化及行業(yè)技術(shù)評測打下基礎(chǔ)。 主要研究內(nèi)容 針對 媒體認(rèn)知具有的層次性、整體性 這一關(guān)鍵科學(xué)問題，本項目將基于初級與高級視皮層的層次性框架，揭示視覺表征自下而上的逐級抽象，以及整合后自上而下對初級皮層的調(diào)控機(jī)制，建立相應(yīng)的計算視覺模型；研究媒體對象的層次化表示理論，建立整體性感知的計算模型，完善媒體對象層次化表達(dá)與描述框架。 數(shù)字媒體對象是典型的多模態(tài)數(shù)據(jù)，其固有的多態(tài) 性使得分析單模態(tài)信息與綜合多模態(tài)信息所產(chǎn)生的語義理解之間可能存在偏差，利用不同模態(tài)的相容互補(bǔ)性將有助于澄清僅考慮單模態(tài)所難以明辨的語義。同時，神經(jīng)生物學(xué)發(fā)現(xiàn)在視覺信息處理通路上存在自上而下的調(diào)控，以此實現(xiàn)對初級皮層信息處理過程的調(diào)整與結(jié)果的整合。在微觀方面，神經(jīng)生物學(xué)發(fā)現(xiàn)從 初級視覺皮層到高級視覺皮層 具有顯著的層次性 ， 這 揭示 了 復(fù)雜視覺 對象 如何自下而上地從基本特征開始 逐步 特征化 、 抽象化 。 為此，本項目將 媒體認(rèn)知具有的層次性、整體性 凝煉為第 一個關(guān)鍵科學(xué)問題 ，將研究 媒體的認(rèn)知建模 。 對多模態(tài)高維異構(gòu)媒體數(shù)據(jù)的處理涉及復(fù)雜的計算過程，需要較大的計算開銷；加之媒體數(shù)據(jù)量往往巨大，進(jìn)一步加重了計算的負(fù)擔(dān)；而且在很多應(yīng)用中對媒體數(shù)據(jù)的處理要求較高的實時性，這更加使得高效的計算過程極為重要 。 為國家培養(yǎng)一批從事 數(shù)字媒體理解 研究的青年學(xué)術(shù)帶頭人和研究 隊伍， 使我國 在這方面的研究整體上處于國際 先進(jìn)水平 ，并在一些關(guān)鍵點達(dá)到國際領(lǐng) 先水平 ，為我國數(shù)字媒體產(chǎn)業(yè)的快速發(fā)展奠定理論基礎(chǔ)、提供技術(shù)支撐。 三、研究方案 學(xué)術(shù)思路 本項目研究符合數(shù)字媒體認(rèn)知機(jī)理、體現(xiàn)媒體數(shù)據(jù)固有特性、適應(yīng)媒體計算應(yīng)用需求的數(shù)字媒體理解理論與方法，兼顧重大需求和科學(xué)前沿，抓準(zhǔn)關(guān)鍵科學(xué)問題，瞄準(zhǔn)原創(chuàng)性研究帶動關(guān)鍵技術(shù)突破， 從科學(xué)問題解決、關(guān)鍵技術(shù)攻關(guān)、典型應(yīng)用示范三個層次著手， 將研究內(nèi)容 分解 為 六個課題 ，通過嚴(yán)格的組織管理、密切的課題協(xié)作、以及高水平的國際合作與交流， 力爭 獲得有重要影響的成果。從而形成高層描述與底層特征表達(dá)的有效結(jié)合、相互支撐，促進(jìn)體現(xiàn)媒體對象多義性和多態(tài)性的表示體系的形成。在總的技術(shù)思路上，本 項目 研究將采用如下技術(shù)途徑： （ 1）強(qiáng)調(diào)多學(xué)科交叉融合，突出原始創(chuàng)新的 帶動 作用。 按照上述技術(shù)途徑， 本項目 將研究 內(nèi)容 分成四個方面，分別是 ： 認(rèn)知機(jī)理與計算模型、表示框架與特征描述、融合機(jī)制與學(xué)習(xí)算法、驗證平臺與應(yīng)用示范， 四個方面相輔相成，互為補(bǔ)充。 （ 3）針對 媒體計算應(yīng)有的協(xié)同性、高效性 ，研究高維異構(gòu)數(shù)據(jù)的處理方法、 上下文 關(guān)聯(lián)的特征 融合 和 跨媒體高層語義 分析， 突破制約媒體處理協(xié)同性和高效性的技術(shù)瓶頸 。 （ 3）視覺皮層間前饋與反饋機(jī)制的生理與形態(tài)學(xué)研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應(yīng)細(xì)胞在高級與初級視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學(xué)機(jī)制的形態(tài)學(xué)基礎(chǔ)。 承擔(dān)單位 ：北京航空航天大學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：王蘊(yùn)紅 經(jīng)費比例 ： % 課題 面向多義性對象的學(xué)習(xí)理論和方法 預(yù)期目標(biāo)： 圍繞媒體數(shù)據(jù)多義性特點，分析 媒體數(shù)據(jù)多義性的形成機(jī)理，研究針對媒體對象固有多義性的學(xué)習(xí)機(jī)制，建立面向多義性對象的機(jī)器學(xué)習(xí)理論與方法，并綜合考慮媒體數(shù)據(jù)的多視圖、非均衡且無標(biāo)注樣本極多等特點，提升對面向多義性對象學(xué)習(xí)的能力。結(jié)合隨機(jī)文法和條件隨機(jī)場對全局和局部特征進(jìn)行建模，實現(xiàn)其高效索引機(jī)制，建立高維異構(gòu)特征的描述方法。 承擔(dān)單位 ：中國科學(xué)院自動化研究所、浙江大學(xué) 課題負(fù)責(zé)人 ：盧漢清 經(jīng)費比例 ： 16% 課題 數(shù)字媒體理解驗證平臺與應(yīng)用示范 預(yù)期目標(biāo)： 利用其他課題的研究成果，研究媒體數(shù)據(jù)的標(biāo)注和算法的評測方法，建立數(shù)字媒體理解算法測試驗證平臺；研究基于對象行為分析與幀間相關(guān)性的視頻理解技術(shù)，電視節(jié)目的內(nèi)容分析與用戶的行為分析，以及數(shù)字媒體理解應(yīng)用系統(tǒng)的實現(xiàn)構(gòu)架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)。 （ 20）研究與開發(fā)智能視頻監(jiān)控、網(wǎng)算模型 ； （ 8） 構(gòu)建視頻語義數(shù)據(jù) 庫為 ； （ 9） 獲得不同情況最能體現(xiàn)顯著性的底層特征 ； （ 10） 提出面向多義性對象的機(jī)器學(xué)習(xí)方法； （ 11）提出利用無標(biāo)注樣本進(jìn)行學(xué)習(xí)的方新法 ； （ 12）提出信息量最大子塊的獲取方法，以及媒體對象新的局部特征的提取方法； （ 13）提出媒體對象新的全局特征的提取方法； （ 14）建立全局 特征 指導(dǎo)下 的 局部特征提取方法； （ 15） 實現(xiàn)圖像、視頻中多粒度信息自動抽??； （ 16）建立多粒度媒體對象的基本表示與關(guān)系模型 ； （ 17） 拓展現(xiàn)有表達(dá)方法，建立反映跨媒體特性的統(tǒng)一表達(dá)框架 ； （ 18）完成數(shù)字媒體理解算法測試驗證平臺 原型系統(tǒng)； （ 19）形成初步實用的協(xié)同人工標(biāo)記及標(biāo)簽自動推薦結(jié)合的應(yīng)用工具，并整合到測試驗證平臺中； （ 20）提出視頻運動目標(biāo)的檢測與跟蹤、基于多視頻傳感器全景圖拼接方面的新算法； （ 21）研制智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范原型框架系年度 研究內(nèi)容 預(yù)期目標(biāo) 絡(luò)互動電視搜 索應(yīng)用示范原型系統(tǒng)； 統(tǒng)。 （ 14）研究底層特征、媒體對象和高層語義的多粒度描述 ； （ 15）研究多粒度媒體數(shù)據(jù)之間的關(guān)系映射； （ 16）結(jié)合自然語言處理和機(jī)器學(xué)習(xí)算法，研究跨媒體數(shù)據(jù)的層次化語義分析 ； （ 17）繼續(xù)建設(shè)規(guī)?；襟w數(shù)據(jù)庫； （ 18）研究用戶需求描述手段，建立需求感知模型； （ 19）建立面向監(jiān)控應(yīng)用的視頻底層特征、中層特征和高層語義特征結(jié)合理解模型，開展運動目標(biāo)行為分析、其進(jìn)行識別 ； （ 7） 建立基于整體感知的圖像理解框架； （ 8） 根據(jù)層次化理論建立圖像物體模型并據(jù)此進(jìn)行識別分析 ； （ 9） 利用譜圖理論提出新的顯著性分析模型； （ 10）提出有效利用多視圖特性的學(xué)習(xí)方法； （ 11）獲得對典型多義性對象學(xué)習(xí)方法進(jìn)行分析的理論結(jié)果； （ 12）提出利用隨機(jī)文法進(jìn)行特征建模的方法； （ 13）建立全局和局部特征結(jié)合的高效索引機(jī)制； （ 14） 建立反映底層特征、媒體對象和高層語義有機(jī)關(guān)聯(lián)的多粒度描述以及相互之間的關(guān)系映射模型 ； （ 15）建立實體、事件和關(guān)系的語義描述體系，實現(xiàn)跨媒體數(shù)據(jù)的層次化語義分析 ； （ 16）完成 3000 小時以上的媒體數(shù)據(jù)收集與建庫工作； （ 17）建立用戶需求描述與感知模型； （ 18）提出適應(yīng)復(fù)雜場景監(jiān)控應(yīng)用的自適應(yīng)視頻分析算法，解決目前存在的場景整體感知能力弱、行為分析和事件分類不準(zhǔn)確等問題； （ 19）形成可初步實用的用戶行為年度 研究內(nèi)容 預(yù)期目標(biāo) 事件分類的研究； （ 20）研究電視節(jié)目的話題檢測、基于語義的搜索和個性化推薦方法； （ 21）結(jié)合實際應(yīng)用，改進(jìn)完善智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范平臺。本項目將圍繞三個科學(xué)問題，對產(chǎn)品設(shè)計過程和設(shè)計模型的可用性、安全性、可靠性和可驗證性等可信性內(nèi)容進(jìn)行深入研究。在此基礎(chǔ)上，將形成產(chǎn)品設(shè)計過程的誤差精度統(tǒng)一表示理論和方法，研究誤差動態(tài)控制理論和技術(shù)，以適應(yīng)在產(chǎn)品設(shè)計周期中各個階段以及迭代過程的誤差不斷積累及動態(tài)發(fā)生變化的情況。 基于設(shè)計時序關(guān)系和邏輯關(guān)系的設(shè)計迭代求精 從時序性關(guān)系角度，產(chǎn)品設(shè)計流程與規(guī)范可以被描述為一系列時間節(jié)點所構(gòu)成的子任務(wù)行為及其迭代的集合。本項目擬研究將模型檢測應(yīng)用于現(xiàn)代設(shè)計軟件核心代碼的自動驗證，通過謂詞抽象等方法縮減狀態(tài)空間和映射無窮域，避免狀態(tài)空間爆炸。研究基于產(chǎn)品 CAD 模型的仿真計算理論與方法，研究基于 GPU 的計算方法，利用圖形卡的并行性能和高密集的運算性能，來實現(xiàn)一般意義上的計算，針對大規(guī)模數(shù)值計算部分進(jìn)行 GPU 并行化。項目擬完成1520 項有自主知識產(chǎn)權(quán)的核心算法或軟件技術(shù)（包括技術(shù)專利和版權(quán)登記）。 集成應(yīng)用檢驗 結(jié)合汽車和 IC 裝備等復(fù)雜機(jī)械部件在現(xiàn)代設(shè)計方面的實際需求，研究開發(fā)現(xiàn)代設(shè)計大型應(yīng)用軟件系統(tǒng)，并在實際應(yīng)用中取得經(jīng)濟(jì)和社會效益。因此，本項目具有理論與實踐緊密結(jié)合，理論指導(dǎo)實踐，實踐提出問題與需求，促進(jìn)理論的深入與發(fā)展的特點。 本項目將利用區(qū)間理論及其運算方法記錄并分析在產(chǎn)品設(shè)計周期中誤差的傳播和擴(kuò)散機(jī)制，從而進(jìn)一步挖掘誤差調(diào)控機(jī)理 ，進(jìn)而提高設(shè)計和分析精度，分析和總結(jié)在產(chǎn)品設(shè)計周期中所涉及到的誤差種類。 為此，將針對汽車和重大制造裝備等產(chǎn)品的設(shè)計全生命周期，分析產(chǎn)品幾何設(shè)計、結(jié)構(gòu)設(shè)計、優(yōu)化設(shè)計以及迭代過程等所需要的各種數(shù)據(jù)表示，以及這些數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，研究各種數(shù)據(jù)的異構(gòu)和同構(gòu)屬性，形 成設(shè)計全生命周期的產(chǎn)品數(shù)據(jù)統(tǒng)一表示理論和方法。為算法提供一種形式化描述語言是對其正確性進(jìn)行檢驗的前提基礎(chǔ)。為得到精確的程序抽象模型 ,重點研究 謂詞發(fā)現(xiàn) 和 冗余謂詞 消去技術(shù)。 針對設(shè)計流程建模及資源約束機(jī)制的研究， 將 在模型驅(qū)動理論的基礎(chǔ)上，重點解決以 WBS 為核心的設(shè)計過程統(tǒng)一視圖問題及設(shè)計資源元數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)問題。 ? 將仿真分析、優(yōu)化算法進(jìn)行整合，構(gòu)建一個高可信、全構(gòu)件的設(shè)計仿真優(yōu)化集成應(yīng)用平臺。 8. 研究 基于線性插值單元理論的高精度仿真計算方法 。 8. 開發(fā)出基于 GPU的薄板成形及結(jié)構(gòu)碰撞過程的計算機(jī)仿真軟件系統(tǒng) 第 二 年 1. 新實數(shù)表示下的各種復(fù)雜的精確實數(shù)運算算法 、 高精度的單元幾何運算以及誤差控制 研究。 2. 提交至少一種數(shù)據(jù)模型格式轉(zhuǎn)換模塊并可演示 。通過提出新型單元理論，并采用基于 GPU 的求解技術(shù)，以解決復(fù)雜產(chǎn)品功能和性能仿真優(yōu)化中的效率和可靠性兩大瓶頸問題，在此基礎(chǔ)上， 形成一個具有重大創(chuàng)新 和實用價值的仿真模擬和優(yōu)化設(shè)計平臺 ，并在我國的汽車設(shè)計制造中得到成功應(yīng)用。 針對產(chǎn)品設(shè)計及流程的安全保障機(jī)制，將根據(jù)設(shè)計過程中的安全需求，在通用安全基礎(chǔ)設(shè)施的基礎(chǔ)上，重點解決設(shè)計過程的實體識別、基于信任的訪問控制機(jī)制、數(shù)據(jù)保護(hù)等問題。為了提高模型檢測技術(shù)在程序驗證中的能力，需要研究可滿足性模理論（ Satisifiability Modulo Theory, SMT）。我們將在分析現(xiàn)有算法說明語言的基礎(chǔ)之上，基于一階邏輯和集合論，針對現(xiàn)代設(shè)計軟件常用的一些復(fù)雜數(shù)據(jù)結(jié)構(gòu)及其操作，設(shè)計算法規(guī)范 說明語言。在統(tǒng)一產(chǎn)品數(shù)據(jù)的數(shù)據(jù)輕量化過程中，將建立有效的屬性繼承和傳播機(jī)制，從而盡可能讓數(shù)據(jù)在產(chǎn)品設(shè)計全生命周期中不丟失、能演化、能自動關(guān)聯(lián)。從而，采用迭代的策略，重新將其應(yīng)用于產(chǎn)品設(shè)計周期中概念設(shè)計、幾何設(shè)計、結(jié)構(gòu)設(shè)計和優(yōu)化設(shè)計以及迭代分析過程中，跟蹤、記錄和分析在產(chǎn)品設(shè)計周期中誤差的傳播和擴(kuò)散機(jī)制，從而進(jìn)一步修正誤差精度統(tǒng)一表示理論和方法。 （ 4） 在注意 建立自己的技術(shù)標(biāo)準(zhǔn)和規(guī)范的同時，更要認(rèn)真學(xué)習(xí)，貫徹執(zhí)行國際相關(guān)標(biāo)準(zhǔn)，積極參加國際相關(guān)的技術(shù)規(guī)范聯(lián)盟，如： OMG、 XML、 RIG、 STEP等。 三、研究方案 總體思路 項目將圍繞總體研究目標(biāo) 和 主要研究內(nèi)容 ，結(jié)合以汽車設(shè)計為 應(yīng)用背景組織實施研究技術(shù)方案，項目的總體研究思路和總體設(shè)計方案框架如圖 1 所示。力爭本項目 80％以上的研究成果、技術(shù)標(biāo)準(zhǔn)、規(guī)范和