【正文】 產(chǎn)品設(shè)計(jì)手段是否能夠滿足設(shè)計(jì)全過程的要求，也就是需要考慮設(shè)計(jì)全過程的設(shè)計(jì)手段的可達(dá)性，同時(shí)也需要考慮產(chǎn)品模型的覆蓋域和產(chǎn)品表示的完備性，使得產(chǎn)品設(shè)計(jì)過程方便快速，產(chǎn)品數(shù)據(jù)模型表示一致和完備。 本項(xiàng)目將研究產(chǎn)品設(shè)計(jì)數(shù)據(jù)的輕量化表示方法及其精度保持的策略。 設(shè)計(jì)過程誤差精度統(tǒng)一表示 本項(xiàng)目將分析在產(chǎn)品設(shè)計(jì)周期中從產(chǎn)品概念設(shè)計(jì)、幾何設(shè)計(jì)到結(jié)構(gòu)設(shè)計(jì)及其迭 代分析過程中各種相關(guān)數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，對(duì)精度的要求，以及在實(shí)際操作過程中所能達(dá)到的誤差精度。 產(chǎn)品數(shù)據(jù)模型表示的一致性及其誤差控制理論 復(fù)雜產(chǎn)品數(shù)據(jù)模型的高精度表示及其誤差控制 研究表示復(fù)雜產(chǎn)品的新型數(shù)據(jù)結(jié)構(gòu)，研究產(chǎn)品數(shù)字模型中幾何操作的誤差精度控制方法，研究設(shè)計(jì)過程誤差精度統(tǒng)一表示（研究產(chǎn)品設(shè)計(jì)誤差以及各設(shè)計(jì)環(huán)節(jié)的誤差關(guān)聯(lián) 約束）和產(chǎn)品數(shù)據(jù)表示誤差和設(shè)計(jì)過程誤差的約束、傳播和擴(kuò)散機(jī)制，研究產(chǎn)品設(shè)計(jì)輕量化表示中的精度保持方法。 五年累計(jì) 獲得國(guó)家級(jí)科技成果獎(jiǎng) 2項(xiàng)，在本領(lǐng)域重要的國(guó)際學(xué)術(shù)刊物和一流國(guó)際學(xué)術(shù)會(huì)議發(fā)表論文 150篇以上， 授權(quán) 發(fā)明專利 50 項(xiàng)以上。 第 五 年 （ 1） 選擇性阻斷視覺皮層的特定功能區(qū)，研究其它腦區(qū)對(duì)基本和復(fù)雜刺激功能反應(yīng)模式的變化 ； （ 2） 特異性標(biāo)記視覺皮層中特定反應(yīng)細(xì)胞的形態(tài)，研究其在視覺皮層的前饋和反饋型投射關(guān)系 ； （ 3）根據(jù)前期工作的理論和模型基礎(chǔ)，在整體動(dòng)物的實(shí)驗(yàn)中進(jìn)行有針對(duì)性的檢驗(yàn)； （ 4）研究體現(xiàn)視覺認(rèn)知層次性與整體性的算法模型往工程化方向發(fā)展的若干關(guān)鍵技術(shù)實(shí)現(xiàn)問題 ； （ 5） 研究基于層次化理解的圖像分析方法 ； （ 6） 利用多特征融合對(duì)視頻進(jìn)行分析 ； （ 7） 提出視頻序列層次性匹配技術(shù) ； （ 8） 顯著性識(shí)別在多種媒體理解據(jù)中的 作用； （ 9）研究面向多義性對(duì)象學(xué)習(xí)的機(jī)器學(xué)習(xí)理論； （ 10）研究綜合考慮未標(biāo)注樣本、非均衡樣本、多視圖等特性的多義性對(duì)象學(xué)習(xí)方法； （ 11）在測(cè)試驗(yàn)證平臺(tái)中對(duì)多義性對(duì)（ 1） 揭示不同層次的視覺皮層間功能上的層次性整合與整體性調(diào)制機(jī)制 ； （ 2） 揭示實(shí)現(xiàn)上述功能的形態(tài)學(xué)基礎(chǔ)； （ 3）有機(jī)結(jié)合實(shí)驗(yàn)數(shù)據(jù)與理論模型，推動(dòng)兩者之間的相互驗(yàn)證； （ 4）提出解決在工程化應(yīng)用中為實(shí)現(xiàn)視覺認(rèn)知層次性與整體性的關(guān)鍵技術(shù)問題的實(shí)現(xiàn)方法 ； （ 5） 提出基于層次化理解的計(jì)算機(jī)視覺理論與方法 ； （ 6） 完成基于層次化與多特征結(jié)合的視頻分析框 架 ； （ 7） 提出基于層次性的視頻匹配算法 ； （ 8）建立面向多義性對(duì)象學(xué)習(xí)的機(jī)器學(xué)習(xí)理論； （ 9）提出同時(shí)利用未標(biāo)注樣本和多視圖特性并能處理非均衡樣本的多義性對(duì)象學(xué)習(xí)方法； （ 10）給出多模態(tài)異構(gòu)數(shù)據(jù)的關(guān)聯(lián)性定義與描述方法； （ 11）建立多模態(tài)特征的共生矩陣表示，實(shí)現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)年度 研究?jī)?nèi)容 預(yù)期目標(biāo) 象學(xué)習(xí)理論與方法進(jìn)行驗(yàn)證； （ 12）分析多種媒體的同級(jí)層次特征的關(guān)聯(lián)關(guān)系，研究其描述方法； （ 13）研究多模態(tài)特征的共生矩陣表示模型，利用同構(gòu)子空間描述映多模態(tài)特征關(guān)聯(lián)關(guān)系； （ 14）對(duì)多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法進(jìn)行綜合測(cè)試與評(píng)估。 第 四 年 （ 1） 研究多種復(fù)雜的 Gestalt 范式刺激在初級(jí)和高級(jí)視覺皮層的功能組織模式 ； （ 2）研究同一腦區(qū)復(fù)雜刺激功能圖與基本特征功能圖的相互關(guān)系； （ 3）研究對(duì)特定復(fù)雜刺激敏感的細(xì)胞在多種功能圖中的樹突與軸突野分布 ； （ 4）從結(jié)構(gòu)與功能相適應(yīng)的角度分析皮層功能柱陣列的表征與計(jì)算效能 ； （ 1） 揭示整體性優(yōu)先的視覺刺激在不同層次腦區(qū)的表現(xiàn)模式 ； （ 2） 闡述在同一皮層整體性與層次性在功能上的有機(jī)結(jié)合機(jī)制； （ 3）在細(xì)胞和網(wǎng)絡(luò)水平上揭示整體性與層次性的結(jié)構(gòu)基 礎(chǔ)； （ 4）建立對(duì)皮層功能柱陣列進(jìn)行表征與計(jì)算效能分析的方法 ； （ 5）建立對(duì)視皮層仿真計(jì)算模型進(jìn)行優(yōu)化設(shè)計(jì)的策略與評(píng)價(jià)準(zhǔn)則 ； （ 6） 獲取視頻序列中顯著部分并對(duì)年度 研究?jī)?nèi)容 預(yù)期目標(biāo) （ 5）研究對(duì)視皮層仿真計(jì)算模型進(jìn)行設(shè)計(jì)優(yōu)化的途徑和評(píng)價(jià)準(zhǔn)則 。 第 三 年 （ 1） 研究初級(jí)視覺皮層方位選擇性細(xì)胞的樹突和軸突野分布 ； （ 2） 研究高級(jí)視覺皮層對(duì)基本視 覺特征的功能組織模式 ； （ 3）研究從初級(jí)到高級(jí)視覺皮層多種基本功能圖的演化； （ 4） 基于 視皮層功能柱陣列神經(jīng)機(jī)制的計(jì)算模型 ； ? （ 5）研究視皮層功能柱陣列模型在獲得視覺認(rèn)知層次性與整體性上的必要性。 第 二 年 （ 1） 將雙光子成像系統(tǒng)與內(nèi)源信號(hào)光學(xué)成像系統(tǒng)等其他生理記錄系統(tǒng)配套整合； （ 2） 研究初級(jí)視覺皮層方位功能圖中特定細(xì)胞形態(tài)的分布模式； （ 3）研究基于視覺皮層的神經(jīng)機(jī)制的仿真模擬策略 ，以及 層次性與整體性在計(jì)算上的實(shí)現(xiàn)策略 ； （ 3）多種功能圖的自組織計(jì)算模型，以及視皮層功能 柱型結(jié)構(gòu)的 建模理論與計(jì)算方法； ? （ 4）視覺認(rèn)知層次性與整體性在視皮層各級(jí)處理層次上的關(guān)系 。 （ 2）智能視頻監(jiān)控應(yīng)用示范 研究基于內(nèi)容分析的異常檢測(cè)與報(bào)警、多特征融合的目標(biāo)跟蹤與識(shí)別，以及事件的分類統(tǒng)計(jì)與摘要生成等技術(shù)，構(gòu)建適應(yīng)性好、魯棒性高、實(shí)時(shí)性強(qiáng)的智能視頻監(jiān)控應(yīng)用示范平臺(tái)，解決智能交通、邊海防偵察監(jiān)視、公共安全防衛(wèi)等 系統(tǒng)中存在的使用環(huán)境受限、誤報(bào)漏報(bào)多、響應(yīng)速度慢等問題。在特征層，采用多模態(tài)特征融合的語(yǔ)義建模來(lái)挖掘不同模態(tài)特征的潛在語(yǔ)義相關(guān)性；在對(duì)象層，采用混合媒體圖來(lái)描述復(fù)雜媒體對(duì)象的廣義時(shí)空關(guān)聯(lián)性；在文件層，利用媒體信息的上下文關(guān)聯(lián)來(lái)實(shí)現(xiàn)媒體內(nèi)容的語(yǔ)義理解。 承擔(dān)單位 ：北京航空航天大 學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：李波 經(jīng)費(fèi)比例 ： % 課題 跨媒體分析的理論和方法 預(yù)期目標(biāo)： 本課題將圍繞媒體內(nèi)容的多態(tài)性特點(diǎn)，建立有效的跨媒體表示模型，使之能夠表達(dá)特征到特征、特征到語(yǔ)義、語(yǔ)義到語(yǔ)義等不同層次的關(guān)聯(lián)。同時(shí)將強(qiáng)調(diào)局部幾何特征到整體拓?fù)涮卣鞯?Marr 理論與重視對(duì)象之間拓?fù)潢P(guān)系 /整體意義的 Gestalt 理論結(jié)合起來(lái)，解決全局和局部特征提取的難點(diǎn)問題。 （ 2）面向多義性對(duì)象的計(jì)算學(xué)習(xí)理論和高效算法 基于多義性對(duì)象的表示與建模，研究適于多義性對(duì)象的學(xué)習(xí)機(jī)制， 建立針對(duì)多義性對(duì)象的計(jì)算學(xué)習(xí)理論，克服對(duì)多義性對(duì)象進(jìn)行高效學(xué)習(xí)的障礙，提出面向多義性對(duì)象的高效算法。 （ 4）基于整體性感知的顯著性分析 針對(duì)空間層次不分明的媒體對(duì)象，研究顯著性檢測(cè)和顯著性識(shí)別的整體性感知理論，研究融合顯著性檢測(cè)的結(jié)果部分及其周圍的形狀信息以及視覺信息字典庫(kù)中的語(yǔ)義相關(guān)信息，對(duì)顯著性物體進(jìn)行綜合識(shí)別。 承擔(dān)單位 ：復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：俞洪波 經(jīng)費(fèi)比例 ： 12% 課題 媒體認(rèn)知的層次化計(jì)算理論與模型 預(yù)期目標(biāo)： 圍繞認(rèn)知的整體性和層次性特點(diǎn)，研究媒體對(duì)象的層次化表示理論，建立整體性感知的計(jì)算模型，提出基于層次性描述的語(yǔ)義標(biāo)注方法，并綜合考慮媒體對(duì)象的顯著性，研究基于顯著性檢測(cè)和顯著性識(shí)別的層次化描述方法，完善媒體對(duì)象的層次化表 示與描述框架。 研究?jī)?nèi)容： （ 1）視覺基本特征在視覺皮層的功能組織模式 研究包括方位、方向、空間頻率、眼優(yōu)勢(shì)、空間拓?fù)?、顏色等基本視覺特征在不同層次視覺皮層的空間組織模式，多種基本特征功能柱如何共存于同一媒 媒 1 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒媒 媒 2 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 3 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒媒 媒 4 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 5 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒驗(yàn) 證 平 臺(tái) 與 應(yīng) 用 示 范融 合 機(jī) 制 與 學(xué) 習(xí) 算 法表 示 框 架 與 特 征 描 述認(rèn) 知 機(jī) 理 與 計(jì) 算 模 型四 個(gè) 方 面 的 研 究 內(nèi) 容 設(shè) 置 課 題媒 媒媒 媒媒媒媒媒媒媒媒 媒 媒 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 6 媒媒 媒 媒 媒 媒 媒 媒 媒 媒 媒媒 媒 媒 媒 圖 2 課題 研究?jī)?nèi)容及其相互 間的關(guān)系 片皮層空間，從而實(shí)現(xiàn)多種特征表達(dá)的最優(yōu)化，建立基于皮層自組織模式的數(shù)學(xué)模型。這六個(gè)課題分別研究視覺認(rèn)知的層次性與整體性機(jī)制、媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的學(xué)習(xí)理論和方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析的理論和方法、數(shù)字媒體理解驗(yàn)證平臺(tái)與應(yīng)用示范。 （二）研究?jī)?nèi)容的創(chuàng)新與特色 （ 1）針對(duì) 媒體認(rèn)知具有的層次性、整體性 ，研究視覺皮層的層次性與整體性處理機(jī)制和相應(yīng)的計(jì)算模型，建立 符合媒體理解層次性和整體性的理論框架 。 在表示框架與特征描述方面，將重點(diǎn)突破 多模態(tài)、 高維、 異構(gòu)媒體 數(shù)據(jù) 分析的 核心 技術(shù)。 通過整合 各單位現(xiàn)有資源 ，建立具有國(guó)際先進(jìn)水平的 、 面向媒體 理解算法測(cè)試的 驗(yàn)證平臺(tái)，提供 有效 的測(cè)試手段和試驗(yàn)環(huán)境。 （ 2）加強(qiáng)理論研究與應(yīng)用驗(yàn)證相互促進(jìn)。 探索媒體認(rèn)知的層次性和整體性機(jī)理，揭示形成媒體對(duì)象多義性的內(nèi)在規(guī)律，研究高維多模態(tài)異構(gòu)數(shù)據(jù)的協(xié)同機(jī)制；在此基礎(chǔ)上，開展媒體認(rèn)知的層次化計(jì)算理論與模型、面向多義性對(duì)象的機(jī)器學(xué)習(xí)理論與方法、多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法、跨媒體分析理論與方法等共性關(guān)鍵技術(shù)攻關(guān)，提出一批適用面廣、智能性強(qiáng)、 處理速 度快的媒體理解新算法，建立具有國(guó)際先進(jìn)水平的 、 面向媒體 理解測(cè)試分析 的驗(yàn)證平臺(tái) ， 將成果應(yīng)用于 安全穩(wěn)定、信息服務(wù) 等重大應(yīng)用 領(lǐng)域，以此為典型示范促進(jìn)媒體應(yīng)用和產(chǎn)業(yè) 的 發(fā)展 。 考慮到融合機(jī)制是利 用多模態(tài)信息的基本手段，學(xué)習(xí)算法是分析復(fù)雜對(duì)象的核心技術(shù)，而 傳統(tǒng)方法 學(xué)習(xí)算法、融合機(jī)制相互獨(dú)立，難以滿足媒體理解的計(jì)算要求 。 考慮到高層描述在一定程度上揭示了媒體對(duì)象的可能語(yǔ)義，底層特征是刻畫媒體對(duì)象的主要手段，而 傳統(tǒng)方法 僅通過加強(qiáng)底層特征的表達(dá)能力，難以充分刻畫多義性 、有效利用多態(tài)性 。 考慮到認(rèn) 知科學(xué)在底層、局部性認(rèn)知機(jī)理的研究方面已有較多進(jìn)展，而對(duì)高層、整體性認(rèn)知的形成過程的探索 仍 是 其 重要目標(biāo)之一，也就是說， 認(rèn)知和計(jì)算都面臨解決層次性和整體性探索割裂的問題。 （ 4）高層次 人才培養(yǎng) 結(jié)合本項(xiàng)目的實(shí)施，促進(jìn)我國(guó)數(shù)字媒體理解方面的優(yōu)秀 人才培養(yǎng)。 （ 2）關(guān)鍵技術(shù)突破 解決 媒體計(jì)算的協(xié)同性 與 高效性 問題，包括突破全局和局部特征的提取、高維異構(gòu)數(shù)據(jù)的描述與處理、上下文關(guān)聯(lián)的特征融合、底層特征與高層語(yǔ)義的多粒度映射、跨媒體的結(jié)構(gòu)化語(yǔ)義描述與層次化語(yǔ)義分析等關(guān)鍵技術(shù)，提出一批 適用面廣、智能性強(qiáng)、 處理速 度快的 媒體理解新算法，為縮小“語(yǔ)義鴻溝”、解決重大需求中的實(shí)際問題提供技術(shù)保障。 主要研究?jī)?nèi)容 包括 ： （ 1）基于上下文 關(guān)聯(lián) 的多模態(tài)特征融合 （ 2） 海量數(shù)據(jù)的 跨媒體高層語(yǔ)義 分析 （ 3） 視頻內(nèi)容搜索與對(duì)象行為分析 （ 4） 媒體數(shù)據(jù)的標(biāo)注與媒體理解算法的評(píng)測(cè)方法 本項(xiàng)目立足于解決數(shù)字媒體理解中的關(guān)鍵科學(xué)問題，針對(duì)媒體認(rèn)知具有的層次性和整體性、媒體對(duì)象固有的多義性和多態(tài)性、媒體計(jì)算應(yīng)有的協(xié)同性和高效性，研究面向數(shù)字媒體理解的認(rèn)知機(jī)理與計(jì)算模型、表示 框架與特征描述、融合機(jī)制與學(xué)習(xí)算法，建立數(shù)字媒體理解的驗(yàn)證平臺(tái)與典型應(yīng)用示范，取得原始創(chuàng)新與 關(guān)鍵 技術(shù)突破。 為此，本項(xiàng)目將 媒體計(jì)算應(yīng)有的協(xié)同性、高效性 凝煉為第三個(gè)關(guān)鍵科學(xué) 問題 ，將研究 媒體的計(jì)算技術(shù) 。 關(guān)鍵科學(xué)問題之三：媒體計(jì)算應(yīng)有的協(xié)同性、高效性 ── 如何滿足媒體計(jì)算的需求？ 媒體認(rèn)知具有的層次性和媒體對(duì)象固有的多態(tài)性，一方面要求在同一層次上各模態(tài)之間通過橫向 融合 實(shí)現(xiàn)多模態(tài)信息的有 效補(bǔ)充與利用，另一方面要求每種 模態(tài)在不同層次之間通過縱向關(guān)聯(lián) 實(shí)現(xiàn)特征間的映射與支持，從而形成規(guī)?；牧Ⅲw數(shù)據(jù)處理 。例如，一幅圖像包含多個(gè)對(duì)象，不同的對(duì)象或?qū)ο蠼M合可能承載了不同的語(yǔ)義；對(duì)不同的用戶而言，其感興趣并“注意”的內(nèi)容不同，因此，雖然這幅圖像以相同的形貌呈現(xiàn)在用戶面前，但不同用戶對(duì)其語(yǔ)義的理解會(huì)不同。目前涌現(xiàn)出來(lái)了一批新型光學(xué)成像技術(shù)，能夠?qū)崟r(shí)地研究大范圍、多尺度、活體大腦皮層的功能與形態(tài)，提供了將層次性與整體性結(jié)合起來(lái)研究的技術(shù)手段。 Gestalt 心理學(xué)理論在宏觀上強(qiáng)調(diào)知覺組織的整體化效應(yīng)。 項(xiàng)目名稱： 數(shù)字媒體理解的理論與方法研究 首席科學(xué)家： 李波 北京航空航天大學(xué) 起止年限： 2020 年 1 月 2020 年 8 月 依托部門： 中華人民共和國(guó)工業(yè)和信息化部 一、研究?jī)?nèi)容 擬解決的關(guān)鍵科學(xué)問題 針對(duì)數(shù)字媒體理解存在的媒體對(duì)象復(fù)雜性、媒體數(shù)據(jù)規(guī)?；?yīng)用需求多樣化等挑戰(zhàn)問題，本項(xiàng)目根據(jù) 人類媒體 認(rèn)知的特點(diǎn)、媒體對(duì)象固有的特性和媒體計(jì)算應(yīng)有的特征