【正文】 模態(tài)特征的共生矩陣表示，實現(xiàn)多模態(tài)特征之間關(guān)聯(lián)關(guān)年度 研究內(nèi)容 預(yù)期目標(biāo) 象學(xué)習(xí)理論與方法進(jìn)行驗證； （ 12）分析多種媒體的同級層次特征的關(guān)聯(lián)關(guān)系，研究其描述方法； （ 13）研究多模態(tài)特征的共生矩陣表示模型，利用同構(gòu)子空間描述映多模態(tài)特征關(guān)聯(lián)關(guān)系； （ 14）對多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法進(jìn)行綜合測試與評估。 （ 14）研究底層特征、媒體對象和高層語義的多粒度描述 ； （ 15）研究多粒度媒體數(shù)據(jù)之間的關(guān)系映射； （ 16）結(jié)合自然語言處理和機器學(xué)習(xí)算法，研究跨媒體數(shù)據(jù)的層次化語義分析 ； （ 17）繼續(xù)建設(shè)規(guī)模化媒體數(shù)據(jù)庫； （ 18）研究用戶需求描述手段，建立需求感知模型； （ 19）建立面向監(jiān)控應(yīng)用的視頻底層特征、中層特征和高層語義特征結(jié)合理解模型，開展運動目標(biāo)行為分析、其進(jìn)行識別 ； （ 7） 建立基于整體感知的圖像理解框架； （ 8） 根據(jù)層次化理論建立圖像物體模型并據(jù)此進(jìn)行識別分析 ； （ 9） 利用譜圖理論提出新的顯著性分析模型； （ 10）提出有效利用多視圖特性的學(xué)習(xí)方法； （ 11）獲得對典型多義性對象學(xué)習(xí)方法進(jìn)行分析的理論結(jié)果； （ 12）提出利用隨機文法進(jìn)行特征建模的方法； （ 13）建立全局和局部特征結(jié)合的高效索引機制； （ 14） 建立反映底層特征、媒體對象和高層語義有機關(guān)聯(lián)的多粒度描述以及相互之間的關(guān)系映射模型 ； （ 15）建立實體、事件和關(guān)系的語義描述體系，實現(xiàn)跨媒體數(shù)據(jù)的層次化語義分析 ； （ 16）完成 3000 小時以上的媒體數(shù)據(jù)收集與建庫工作； （ 17）建立用戶需求描述與感知模型； （ 18）提出適應(yīng)復(fù)雜場景監(jiān)控應(yīng)用的自適應(yīng)視頻分析算法，解決目前存在的場景整體感知能力弱、行為分析和事件分類不準(zhǔn)確等問題； （ 19）形成可初步實用的用戶行為年度 研究內(nèi)容 預(yù)期目標(biāo) 事件分類的研究； （ 20）研究電視節(jié)目的話題檢測、基于語義的搜索和個性化推薦方法； （ 21）結(jié)合實際應(yīng)用，改進(jìn)完善智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范平臺。 第 四 年 （ 1） 研究多種復(fù)雜的 Gestalt 范式刺激在初級和高級視覺皮層的功能組織模式 ； （ 2）研究同一腦區(qū)復(fù)雜刺激功能圖與基本特征功能圖的相互關(guān)系； （ 3）研究對特定復(fù)雜刺激敏感的細(xì)胞在多種功能圖中的樹突與軸突野分布 ； （ 4）從結(jié)構(gòu)與功能相適應(yīng)的角度分析皮層功能柱陣列的表征與計算效能 ； （ 1） 揭示整體性優(yōu)先的視覺刺激在不同層次腦區(qū)的表現(xiàn)模式 ； （ 2） 闡述在同一皮層整體性與層次性在功能上的有機結(jié)合機制； （ 3）在細(xì)胞和網(wǎng)絡(luò)水平上揭示整體性與層次性的結(jié)構(gòu)基 礎(chǔ)； （ 4）建立對皮層功能柱陣列進(jìn)行表征與計算效能分析的方法 ； （ 5）建立對視皮層仿真計算模型進(jìn)行優(yōu)化設(shè)計的策略與評價準(zhǔn)則 ； （ 6） 獲取視頻序列中顯著部分并對年度 研究內(nèi)容 預(yù)期目標(biāo) （ 5）研究對視皮層仿真計算模型進(jìn)行設(shè)計優(yōu)化的途徑和評價準(zhǔn)則 。 年度 研究內(nèi)容 預(yù)期目標(biāo) （ 13）研究全局和局部特征的本 征屬性分析方法，實現(xiàn)流形嵌入和降維； ? （ 14）利用 各層次特征間的關(guān)系，研究高維特征在應(yīng)用中的降維處理； （ 15） 研究用戶標(biāo)注、評價和訪問等交互屬性信息獲取方法 ； （ 16） 研究媒體對象間的鏈接等上下文信息的獲取與表示 ； ? （ 17） 研究高維、動態(tài)跨媒體多模態(tài)特征的融合機制； （ 18）研究數(shù)字媒體理解算法的性能測試、分析比較和可視化展現(xiàn)手段； （ 19）對比分析測試結(jié)果，改進(jìn)數(shù)字媒體理解算法測試驗證平臺； （ 20）進(jìn)行超分辨率視頻圖像復(fù)原與增強、自適應(yīng)視頻監(jiān)控目標(biāo)分類與識別等算法的研究； ? （ 21）進(jìn)行電視節(jié)目的結(jié)構(gòu)分 析、語義分析技術(shù)的研究 。 第 三 年 （ 1） 研究初級視覺皮層方位選擇性細(xì)胞的樹突和軸突野分布 ； （ 2） 研究高級視覺皮層對基本視 覺特征的功能組織模式 ； （ 3）研究從初級到高級視覺皮層多種基本功能圖的演化； （ 4） 基于 視皮層功能柱陣列神經(jīng)機制的計算模型 ； ? （ 5）研究視皮層功能柱陣列模型在獲得視覺認(rèn)知層次性與整體性上的必要性。 （ 20）研究與開發(fā)智能視頻監(jiān)控、網(wǎng)算模型 ； （ 8） 構(gòu)建視頻語義數(shù)據(jù) 庫為 ； （ 9） 獲得不同情況最能體現(xiàn)顯著性的底層特征 ； （ 10） 提出面向多義性對象的機器學(xué)習(xí)方法； （ 11）提出利用無標(biāo)注樣本進(jìn)行學(xué)習(xí)的方新法 ； （ 12）提出信息量最大子塊的獲取方法，以及媒體對象新的局部特征的提取方法； （ 13）提出媒體對象新的全局特征的提取方法； （ 14）建立全局 特征 指導(dǎo)下 的 局部特征提取方法； （ 15） 實現(xiàn)圖像、視頻中多粒度信息自動抽取； （ 16）建立多粒度媒體對象的基本表示與關(guān)系模型 ； （ 17） 拓展現(xiàn)有表達(dá)方法，建立反映跨媒體特性的統(tǒng)一表達(dá)框架 ； （ 18）完成數(shù)字媒體理解算法測試驗證平臺 原型系統(tǒng)； （ 19）形成初步實用的協(xié)同人工標(biāo)記及標(biāo)簽自動推薦結(jié)合的應(yīng)用工具，并整合到測試驗證平臺中； （ 20）提出視頻運動目標(biāo)的檢測與跟蹤、基于多視頻傳感器全景圖拼接方面的新算法； （ 21）研制智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范原型框架系年度 研究內(nèi)容 預(yù)期目標(biāo) 絡(luò)互動電視搜 索應(yīng)用示范原型系統(tǒng)； 統(tǒng)。 第 二 年 （ 1） 將雙光子成像系統(tǒng)與內(nèi)源信號光學(xué)成像系統(tǒng)等其他生理記錄系統(tǒng)配套整合； （ 2） 研究初級視覺皮層方位功能圖中特定細(xì)胞形態(tài)的分布模式； （ 3）研究基于視覺皮層的神經(jīng)機制的仿真模擬策略 ，以及 層次性與整體性在計算上的實現(xiàn)策略 ； （ 3）多種功能圖的自組織計算模型，以及視皮層功能 柱型結(jié)構(gòu)的 建模理論與計算方法； ? （ 4）視覺認(rèn)知層次性與整體性在視皮層各級處理層次上的關(guān)系 。 承擔(dān)單位 ：中國科學(xué)院電子學(xué)研究所、復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：丁赤飆 經(jīng)費比例 ： % 四、年度計劃 年度 研究內(nèi)容 預(yù)期目標(biāo) 第 一 年 （ 1）搭建具有國際領(lǐng)先水平的整體動物雙光子激光 成像系統(tǒng)； （ 2）研究整體動物初級視覺皮層對多種基本視覺特征的功能組織模式； （ 3）研究初級視覺皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機制 ； （ 5） 研究圖像層次化語義標(biāo)注 ； （ 6） 研究基于整體感知的物體識別模型 ； （ 7）研究描述多義性對象的多義信息的表示方法； （ 8）提出描述多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識能力更強、適應(yīng)性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學(xué)（ 1） 完成調(diào)試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級視覺皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構(gòu)建圖像語義數(shù)據(jù)庫 ； （ 6）提出基于整體感知的物體識別方法 ； （ 7）提出能夠描述多義性對象的多義信息的表示方法； （ 8）建立保持多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示； （ 10）獲得特征提取的最佳尺度，構(gòu)造新的底層特征和中層特征算子； （ 11）建立魯棒、有效的多模態(tài)特征提取與表示方法； （ 12） 針對多模態(tài)數(shù)據(jù)的稀疏性與相關(guān)性，建立交叉聯(lián)合 的特征表示空間； （ 13）研制媒體數(shù)據(jù)庫原型框架系統(tǒng)； （ 14）完成數(shù)字媒體理解算法測試年度 研究內(nèi)容 預(yù)期目標(biāo) 習(xí)方法 ； （ 15）研究多模態(tài)特征集的關(guān)聯(lián)學(xué)習(xí)和表達(dá) ； （ 16）研究數(shù)字媒體理解算法測試驗證平臺的需求、進(jìn)行系統(tǒng)框架設(shè)計； （ 17）研究媒體數(shù)據(jù)庫的建設(shè)方案，定義接口； （ 18）開展智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用的需求，明確存在的關(guān)鍵技術(shù)問題 ； （ 19）研究智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范的系統(tǒng)框架設(shè)計。 （ 2）智能視頻監(jiān)控應(yīng)用示范 研究基于內(nèi)容分析的異常檢測與報警、多特征融合的目標(biāo)跟蹤與識別，以及事件的分類統(tǒng)計與摘要生成等技術(shù)，構(gòu)建適應(yīng)性好、魯棒性高、實時性強的智能視頻監(jiān)控應(yīng)用示范平臺，解決智能交通、邊海防偵察監(jiān)視、公共安全防衛(wèi)等 系統(tǒng)中存在的使用環(huán)境受限、誤報漏報多、響應(yīng)速度慢等問題。 承擔(dān)單位 ：中國科學(xué)院自動化研究所、浙江大學(xué) 課題負(fù)責(zé)人 ：盧漢清 經(jīng)費比例 ： 16% 課題 數(shù)字媒體理解驗證平臺與應(yīng)用示范 預(yù)期目標(biāo)： 利用其他課題的研究成果，研究媒體數(shù)據(jù)的標(biāo)注和算法的評測方法，建立數(shù)字媒體理解算法測試驗證平臺；研究基于對象行為分析與幀間相關(guān)性的視頻理解技術(shù)，電視節(jié)目的內(nèi)容分析與用戶的行為分析，以及數(shù)字媒體理解應(yīng)用系統(tǒng)的實現(xiàn)構(gòu)架，研制具有協(xié)同性、高效性的智能視頻監(jiān)控和 網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)。在特征層，采用多模態(tài)特征融合的語義建模來挖掘不同模態(tài)特征的潛在語義相關(guān)性；在對象層，采用混合媒體圖來描述復(fù)雜媒體對象的廣義時空關(guān)聯(lián)性；在文件層，利用媒體信息的上下文關(guān)聯(lián)來實現(xiàn)媒體內(nèi)容的語義理解。 研究內(nèi)容： （ 1）基于上下文信息的多模態(tài)特征融合 借鑒高層語義的指導(dǎo)性，充分利用媒體數(shù)據(jù)所在媒介環(huán)境的上下文信息，即可能存在的語義相關(guān)性或互補性，通過協(xié)作學(xué)習(xí)方法來 挖掘各種模態(tài)特征所表達(dá)的共有與特有信息，以此建立魯棒的多模態(tài)聯(lián)合特征表示或聯(lián)合空間。 承擔(dān)單位 ：北京航空航天大 學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：李波 經(jīng)費比例 ： % 課題 跨媒體分析的理論和方法 預(yù)期目標(biāo)： 本課題將圍繞媒體內(nèi)容的多態(tài)性特點，建立有效的跨媒體表示模型，使之能夠表達(dá)特征到特征、特征到語義、語義到語義等不同層次的關(guān)聯(lián)。結(jié)合隨機文法和條件隨機場對全局和局部特征進(jìn)行建模，實現(xiàn)其高效索引機制，建立高維異構(gòu)特征的描述方法。同時將強調(diào)局部幾何特征到整體拓?fù)涮卣鞯?Marr 理論與重視對象之間拓?fù)潢P(guān)系 /整體意義的 Gestalt 理論結(jié)合起來，解決全局和局部特征提取的難點問題。 承擔(dān)單位 ：南京大學(xué)、浙江大學(xué) 課題負(fù)責(zé)人 ：周志華 經(jīng)費比例 ： % 課題 多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述方法 預(yù)期目標(biāo)： 研究符合媒體對象特性的全局和局部特征提取方法，挖掘 多模態(tài)異構(gòu)高維特征的內(nèi)在規(guī)律，形成上下文關(guān)聯(lián)的多模態(tài)高維異構(gòu)數(shù)據(jù)描述模型，建立符合認(rèn)知機理的多模態(tài)高維異構(gòu)數(shù)據(jù)的特征提取與描述的理論和方法。 （ 2）面向多義性對象的計算學(xué)習(xí)理論和高效算法 基于多義性對象的表示與建模，研究適于多義性對象的學(xué)習(xí)機制， 建立針對多義性對象的計算學(xué)習(xí)理論，克服對多義性對象進(jìn)行高效學(xué)習(xí)的障礙，提出面向多義性對象的高效算法。 承擔(dān)單位 ：北京航空航天大學(xué)、西安交通大學(xué) 課題負(fù)責(zé)人 ：王蘊紅 經(jīng)費比例 ： % 課題 面向多義性對象的學(xué)習(xí)理論和方法 預(yù)期目標(biāo)： 圍繞媒體數(shù)據(jù)多義性特點，分析 媒體數(shù)據(jù)多義性的形成機理，研究針對媒體對象固有多義性的學(xué)習(xí)機制，建立面向多義性對象的機器學(xué)習(xí)理論與方法，并綜合考慮媒體數(shù)據(jù)的多視圖、非均衡且無標(biāo)注樣本極多等特點，提升對面向多義性對象學(xué)習(xí)的能力。 （ 4）基于整體性感知的顯著性分析 針對空間層次不分明的媒體對象，研究顯著性檢測和顯著性識別的整體性感知理論，研究融合顯著性檢測的結(jié)果部分及其周圍的形狀信息以及視覺信息字典庫中的語義相關(guān)信息，對顯著性物體進(jìn)行綜合識別。 （ 2）整體性感知計算模型 研究整體性感知的計算模型和理論，包括基于不同層次表示基礎(chǔ)上的感知理解模型和基于多層次融合的整體感知模型，建立整體性感知理論框架和計算平臺。 承擔(dān)單位 ：復(fù)旦大學(xué) 課題負(fù)責(zé)人 ：俞洪波 經(jīng)費比例 ： 12% 課題 媒體認(rèn)知的層次化計算理論與模型 預(yù)期目標(biāo)： 圍繞認(rèn)知的整體性和層次性特點，研究媒體對象的層次化表示理論，建立整體性感知的計算模型，提出基于層次性描述的語義標(biāo)注方法，并綜合考慮媒體對象的顯著性，研究基于顯著性檢測和顯著性識別的層次化描述方法，完善媒體對象的層次化表 示與描述框架。 （ 3）視覺皮層間前饋與反饋機制的生理與形態(tài)學(xué)研究 比較層次性的基本特征功能柱與整體性功能柱在同一視覺皮層的組織模式，揭示特異性反應(yīng)細(xì)胞在高級與初級視覺皮層的交互式（自下而上的前饋與自上而下的反饋）作用方式，探討其生理學(xué)