【文章內(nèi)容簡介】 率；研究數(shù)字媒體理解算法的性能測試、分析比較和可視化展現(xiàn)手段；建立具有典型性的規(guī)?；襟w數(shù)據(jù)庫，研制接口規(guī)范、擴展性強的測試驗證平臺。 （ 2）智能視頻監(jiān)控應(yīng)用示范 研究基于內(nèi)容分析的異常檢測與報警、多特征融合的目標跟蹤與識別，以及事件的分類統(tǒng)計與摘要生成等技術(shù)，構(gòu)建適應(yīng)性好、魯棒性高、實時性強的智能視頻監(jiān)控應(yīng)用示范平臺，解決智能交通、邊海防偵察監(jiān)視、公共安全防衛(wèi)等 系統(tǒng)中存在的使用環(huán)境受限、誤報漏報多、響應(yīng)速度慢等問題。 （ 3）網(wǎng)絡(luò)互動電視搜索應(yīng)用示范 研究電視節(jié)目的結(jié)構(gòu)分析、語義分析、話題檢測等，以及用戶行為的分析與建模，語義搜索和個性化推薦；研制海量數(shù)字電視節(jié)目個性化搜索與推薦應(yīng)用示范平臺，解決網(wǎng)絡(luò)互動電視（ iTV）系統(tǒng)中存在的內(nèi)容搜索粒度粗、個性化推薦能力弱等問題。 承擔(dān)單位 ：中國科學(xué)院電子學(xué)研究所、復(fù)旦大學(xué) 課題負責(zé)人 ：丁赤飆 經(jīng)費比例 ： % 四、年度計劃 年度 研究內(nèi)容 預(yù)期目標 第 一 年 （ 1）搭建具有國際領(lǐng)先水平的整體動物雙光子激光 成像系統(tǒng)； （ 2）研究整體動物初級視覺皮層對多種基本視覺特征的功能組織模式； （ 3）研究初級視覺皮層多種功能圖之間的空間組織模式； （ 4） 研究圖像的層次化表示 ， 不同層次特征融合機制 ； （ 5） 研究圖像層次化語義標注 ； （ 6） 研究基于整體感知的物體識別模型 ； （ 7）研究描述多義性對象的多義信息的表示方法； （ 8）提出描述多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）研究多種媒體的多層次特征表示體系； （ 10）研究辨識能力更強、適應(yīng)性更好的新的底層特征和中層特征提取算子； （ 11）研究不同尺度下特征提取算子的表現(xiàn)能力，發(fā) 展新的多尺度不變算子； （ 12） 研究多模態(tài)特征集的組成； （ 13）提出多模態(tài)特征顯著性分析方法 ； （ 14）研究多模態(tài)特征集稀疏性的學(xué)（ 1） 完成調(diào)試雙光子成像系統(tǒng)的硬件與配套軟件 ； （ 2） 獲得在同 一初級視覺皮層的多種功能圖； （ 3）提出多種功能圖的空間分布理論； （ 4） 建立圖像層次化表示模型，建立層次化特征融合模型 ； （ 5） 構(gòu)建圖像語義數(shù)據(jù)庫 ； （ 6）提出基于整體感知的物體識別方法 ； （ 7）提出能夠描述多義性對象的多義信息的表示方法； （ 8）建立保持多義性對象內(nèi)在結(jié)構(gòu)的建模方法； （ 9）建立視頻、圖像、文本等媒體的多層次特征表示； （ 10）獲得特征提取的最佳尺度，構(gòu)造新的底層特征和中層特征算子； （ 11）建立魯棒、有效的多模態(tài)特征提取與表示方法； （ 12） 針對多模態(tài)數(shù)據(jù)的稀疏性與相關(guān)性，建立交叉聯(lián)合 的特征表示空間； （ 13）研制媒體數(shù)據(jù)庫原型框架系統(tǒng)； （ 14）完成數(shù)字媒體理解算法測試年度 研究內(nèi)容 預(yù)期目標 習(xí)方法 ； （ 15）研究多模態(tài)特征集的關(guān)聯(lián)學(xué)習(xí)和表達 ； （ 16）研究數(shù)字媒體理解算法測試驗證平臺的需求、進行系統(tǒng)框架設(shè)計； （ 17）研究媒體數(shù)據(jù)庫的建設(shè)方案，定義接口； （ 18）開展智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用的需求，明確存在的關(guān)鍵技術(shù)問題 ； （ 19）研究智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范的系統(tǒng)框架設(shè)計。 驗證平臺需求說明文檔，研制數(shù)字媒體理解算法測試驗證平臺原型框架系統(tǒng)； （ 15）完成智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范需求說明文檔。 第 二 年 （ 1） 將雙光子成像系統(tǒng)與內(nèi)源信號光學(xué)成像系統(tǒng)等其他生理記錄系統(tǒng)配套整合； （ 2） 研究初級視覺皮層方位功能圖中特定細胞形態(tài)的分布模式； （ 3）研究基于視覺皮層的神經(jīng)機制的仿真模擬策略 ，以及 層次性與整體性在計算上的實現(xiàn)策略 ； （ 3）多種功能圖的自組織計算模型，以及視皮層功能 柱型結(jié)構(gòu)的 建模理論與計算方法； ? （ 4）視覺認知層次性與整體性在視皮層各級處理層次上的關(guān)系 。 （ 5） 借助認知理論研究相關(guān)層次性感知模型 ； （ 6） 提出不同層次理解的視覺計算模型 ； （ 1） 改造已有設(shè)備，實現(xiàn)整體動物皮層在功能與形態(tài)上的同步實時記錄； （ 2）建立與實驗結(jié)果相互驗證的多種功能圖的自組織模型； （ 3） 建立 視皮層功能柱型結(jié)構(gòu)的特征表征與提取 模型； （ 4） 建立 基于視覺皮層神經(jīng)機制的仿真 理論與方法 ， 提出符合可形式化、可計算要求的體現(xiàn)視覺認知層次性和整體性的算法設(shè)計方向 ； （ 5）從算法角度獲得關(guān)于視覺認知整體性如何經(jīng)層次性加工逐級表現(xiàn)出來的初步認識 ； （ 6） 實現(xiàn)層次性感知模型，進行圖像層次性分析 ； （ 7）建立 不同層次理解的視覺計年度 研究內(nèi)容 預(yù)期目標 （ 7） 研究視頻數(shù)據(jù)時間層次性語義標注 ； ? （ 8） 分析各種不同底層特征對顯著性檢測的影響 ； （ 9） 研究面向多義性對象的機器學(xué)習(xí)方法； （ 10）研究有效利用無標注樣本進行學(xué)習(xí)的方法； （ 11）分析特征包含的信息量，研究媒體數(shù)據(jù)中信息量最大子塊的提取方法； （ 12）研究基于信息量最大子塊的局部特征和全局特征提取方法； （ 13）研究局部特征到幾 何特征、整體拓撲特征的整合 ,以及全局特征對局部特征提取的調(diào)控方法； （ 14）研究圖像和視頻信息的多粒度信息抽取與表示； （ 15）研究基于矩陣、張量和圖模型等的跨媒體表達框架 ； （ 16）研究矩陣、張量和圖模型等復(fù)雜結(jié)構(gòu)的處理方法； （ 17）研制數(shù)字媒體理解算法測試驗證平臺原型系統(tǒng)； （ 18）研究對數(shù)據(jù)進行分布式協(xié)同人工標記及標簽自動推薦的方法； （ 19）進行復(fù)雜場景下視頻運動目標的檢測與跟蹤、基于多視頻傳感器的全景視頻圖像動態(tài)拼接、電視節(jié)目結(jié)構(gòu)分析等算法的研究。 （ 20）研究與開發(fā)智能視頻監(jiān)控、網(wǎng)算模型 ； （ 8） 構(gòu)建視頻語義數(shù)據(jù) 庫為 ； （ 9） 獲得不同情況最能體現(xiàn)顯著性的底層特征 ； （ 10） 提出面向多義性對象的機器學(xué)習(xí)方法； （ 11）提出利用無標注樣本進行學(xué)習(xí)的方新法 ； （ 12）提出信息量最大子塊的獲取方法，以及媒體對象新的局部特征的提取方法； （ 13）提出媒體對象新的全局特征的提取方法； （ 14）建立全局 特征 指導(dǎo)下 的 局部特征提取方法； （ 15） 實現(xiàn)圖像、視頻中多粒度信息自動抽??； （ 16）建立多粒度媒體對象的基本表示與關(guān)系模型 ； （ 17） 拓展現(xiàn)有表達方法，建立反映跨媒體特性的統(tǒng)一表達框架 ； （ 18）完成數(shù)字媒體理解算法測試驗證平臺 原型系統(tǒng)； （ 19）形成初步實用的協(xié)同人工標記及標簽自動推薦結(jié)合的應(yīng)用工具，并整合到測試驗證平臺中； （ 20）提出視頻運動目標的檢測與跟蹤、基于多視頻傳感器全景圖拼接方面的新算法； （ 21）研制智能視頻監(jiān)控、網(wǎng)絡(luò)互動電視搜索應(yīng)用示范原型框架系年度 研究內(nèi)容 預(yù)期目標 絡(luò)互動電視搜 索應(yīng)用示范原型系統(tǒng)； 統(tǒng)。 前兩年部分成果：建立具有國際領(lǐng)先水平的整體動物光學(xué)成像研究平臺，在本領(lǐng)域重要的國際學(xué)術(shù)刊物和一流國際學(xué)術(shù)會議發(fā)表論文50 篇以上 發(fā)表，申請發(fā)明專利 20項以上。 第 三 年 （ 1） 研究初級視覺皮層方位選擇性細胞的樹突和軸突野分布 ； （ 2） 研究高級視覺皮層對基本視 覺特征的功能組織模式 ； （ 3）研究從初級到高級視覺皮層多種基本功能圖的演化； （ 4） 基于 視皮層功能柱陣列神經(jīng)機制的計算模型 ； ? （ 5）研究視皮層功能柱陣列模型在獲得視覺認知層次性與整體性上的必要性。 （ 6） 研究視頻序列時間層次性表示 ； （ 7） 提出多層次融合與整體感知框架 ； （ 8） 研究圖像在不同層次下的物體檢測 ； （ 9） 提出基于時間層次性的顯著性識別； （ 10） 研究面向多義性對象的高效學(xué)習(xí)算法； ? （ 11）研究能夠有效處理非均衡樣本的方法； （ 12）研究高維異構(gòu)媒體特征的流形表示； （ 1） 闡述視覺皮層方位選擇性的形態(tài)學(xué)機制； （ 2） 揭示高級視覺皮層對基本視覺特征的功能組織模式 ； （ 3）揭示視覺皮層自下而上的層次性整合框架； （ 4） 建立 基于視皮層功能柱陣列神經(jīng)機制的算法原型 ； （ 5）獲得利用視皮層功能柱 陣列模型實現(xiàn)視覺認知層次性和整體性的前、后銜接環(huán)節(jié)及其實現(xiàn)策略； ? （ 6） 建立視頻時間層次性理解模型； ? （ 7） 揭示層次性與整體感知在媒體理解中的關(guān)系 ； ? （ 8） 利用層次性理解模型提出新的圖像物體檢測方法 ； （ 9） 提出基于層次性的視頻顯著性識別模型和方法； （ 10） 提出 面向多義性對象的高效學(xué)習(xí)算法； （ 11）提出非均衡樣本的有效處理方法。 年度 研究內(nèi)容 預(yù)期目標 （ 13）研究全局和局部特征的本 征屬性分析方法，實現(xiàn)流形嵌入和降維； ? （ 14）利用 各層次特征間的關(guān)系，研究高維特征在應(yīng)用中的降維處理； （ 15） 研究用戶標注、評價和訪問等交互屬性信息獲取方法 ； （ 16） 研究媒體對象間的鏈接等上下文信息的獲取與表示 ； ? （ 17） 研究高維、動態(tài)跨媒體多模態(tài)特征的融合機制； （ 18）研究數(shù)字媒體理解算法的性能測試、分析比較和可視化展現(xiàn)手段； （ 19）對比分析測試結(jié)果，改進數(shù)字媒體理解算法測試驗證平臺； （ 20）進行超分辨率視頻圖像復(fù)原與增強、自適應(yīng)視頻監(jiān)控目標分類與識別等算法的研究； ? （ 21）進行電視節(jié)目的結(jié)構(gòu)分 析、語義分析技術(shù)的研究 。 （ 12）提出本征屬性分析方法，實現(xiàn)高維異構(gòu)特征流形嵌入和降維； （ 13）利用同種媒體各層次特征間的聯(lián)系，建立高維異構(gòu)媒體特征的結(jié)構(gòu)化表示； ? （ 14） 建立媒體對象之間的上下文關(guān)系網(wǎng)絡(luò)表示； （ 15） 基于遷移學(xué)習(xí)和組合學(xué)習(xí)機制，實現(xiàn)跨媒體多模態(tài)特征融合； （ 16）形成可初步實用的數(shù)字媒體理解算法性能測試、分析比較和可視化展現(xiàn)應(yīng)用工具，并整合到數(shù)字媒體理解算法測試驗證平臺中； （ 17）提出超分辨率視頻圖像復(fù)原與增強、自適應(yīng)視頻監(jiān)控目標分類與識 別等新算法； （ 18）形成可初步實用的電視節(jié)目結(jié)構(gòu)分析、語義分析工具，并整合到網(wǎng)絡(luò)互動電視搜索應(yīng)用示范系統(tǒng)中 。 第 四 年 （ 1） 研究多種復(fù)雜的 Gestalt 范式刺激在初級和高級視覺皮層的功能組織模式 ； （ 2）研究同一腦區(qū)復(fù)雜刺激功能圖與基本特征功能圖的相互關(guān)系； （ 3）研究對特定復(fù)雜刺激敏感的細胞在多種功能圖中的樹突與軸突野分布 ； （ 4）從結(jié)構(gòu)與功能相適應(yīng)的角度分析皮層功能柱陣列的表征與計算效能 ； （ 1） 揭示整體性優(yōu)先的視覺刺激在不同層次腦區(qū)的表現(xiàn)模式 ； （ 2） 闡述在同一皮層整體性與層次性在功能上的有機結(jié)合機制； （ 3）在細胞和網(wǎng)絡(luò)水平上揭示整體性與層次性的結(jié)構(gòu)基 礎(chǔ)； （ 4）建立對皮層功能柱陣列進行表征與計算效能分析的方法 ； （ 5）建立對視皮層仿真計算模型進行優(yōu)化設(shè)計的策略與評價準則 ； （ 6） 獲取視頻序列中顯著部分并對年度 研究內(nèi)容 預(yù)期目標 （ 5）研究對視皮層仿真計算模型進行設(shè)計優(yōu)化的途徑和評價準則 。 （ 6） 進行視頻序列時間層次性顯著性分析 ； （ 7） 提出圖像在不同層次下的物體模型 ； （ 8） 研究譜圖理論在顯著性分析中的作用； （ 9）對典型的多義性對象學(xué)習(xí)方法進行理論分析； （ 10）研究有效利用多視圖特性的學(xué)習(xí)方法； （ 11）利用隨機文法和條件隨機場，研究降維后全局和局部特征的建模； （ 12）研究全局和局部特征的高效索引機制； （ 13）研究結(jié)合高效索引機制的特征組合利用方法。 （ 14）研究底層特征、媒體對象和高層語義的多粒度描述 ； （ 15）研究多粒度媒體數(shù)據(jù)之間的關(guān)系映射； （ 16）結(jié)合自然語言處理和機器學(xué)習(xí)算法，研究跨媒體數(shù)據(jù)的層次化語義分析 ； （ 17）繼續(xù)建設(shè)規(guī)模化媒體數(shù)據(jù)庫； （ 18）研究用戶需求描述手段，建立需求感知模型； （ 19）建立面向監(jiān)控應(yīng)用的視頻底層特征、中層特征和高層語義特征結(jié)合理解模型，開展運動目標行為分析、其進行識別 ； （ 7） 建立基于整體感知的圖像理解框架； （ 8） 根據(jù)層次化理論建立圖像物體模型并據(jù)此進行識別分析 ； （ 9） 利用譜圖理論提出新的顯著性分析模型； （ 10）提出有效利用多視圖特性的學(xué)習(xí)方法； （ 11）獲得對典型多義性對象學(xué)習(xí)方法進行分析的理論結(jié)果； （ 12）提出利用隨機文法進行特征建模的方法；