【正文】 術(shù) 如 Google MapReduce 及其 HadoopMapReduce 尚未對海量數(shù)據(jù)建立索引及其在 MapReduce 處理過程中，尤其是在其 Shuffle 階段調(diào)度性能差的問題 進行相關(guān)技術(shù)研究，實現(xiàn)對 低時延的多條件、多維度復雜分析的 支持更為優(yōu)秀 的 MapReduce++調(diào)度策略和其相應的調(diào)度算法，實現(xiàn)單點或者多點故障的高效恢復。先后開發(fā)了海量數(shù)字資源管理系統(tǒng) DRMS、 CNGI（下一代互聯(lián)網(wǎng)智能網(wǎng)絡存儲系統(tǒng)）存儲節(jié)點管理系統(tǒng)、基于云服務的清華科技史數(shù)字圖書館（包括建筑、數(shù)學、機械、水利等多個主題），北京市數(shù)字視頻資源編目和檢索系統(tǒng)，中文海量網(wǎng) 絡資源庫（ 30TB） ,基于列存儲的國產(chǎn)關(guān)系型數(shù)據(jù)庫華鼎等系統(tǒng)。 中心從 1999 年開始從事海量數(shù)字資源管理系統(tǒng)（ DRMS）的研究，此后一直持續(xù)研究這方面的基礎理論和關(guān)鍵技術(shù)問題，主要 成果包括基于 SOA 和 OSS 提出了支持海量數(shù)字資源服務和管理的多層體系結(jié)構(gòu)框架，構(gòu)建了自主知識 產(chǎn)權(quán)的通用軟件支撐平臺 ； 研究了基于 THVDM 模型的視頻管理技術(shù) ； 基于信息過濾的個性化服務技術(shù) ； 面向存儲區(qū)域網(wǎng)的性能分析與仿真建模方法 ； 基于全生命周期的長期保存和歸檔 ； 基于中國數(shù)字對象標識（ CDOI）的內(nèi)容分類、聚合、搜索和數(shù)字版權(quán)等支撐技術(shù) ； 以及海量網(wǎng)上資源的聚焦采集、標引和挖掘 ，其中融合了多年的理論研究成果。多年來一直承擔國家重要課題的研究，科研力量雄厚，科研成果顯著，有豐富的從事科學研究和科研管理經(jīng)驗，為本項目的研究提供堅實的保證。目前正在主持 973 計劃“面向復雜應用環(huán)境的數(shù)據(jù)存儲系統(tǒng)理論與技術(shù)基礎”項目中“海量數(shù)據(jù)組織與資源共享的方法研究”課題的研究，該課題主要圍繞云數(shù)據(jù)管理關(guān)鍵技術(shù)進行研發(fā)。 與國內(nèi)外同類產(chǎn)品、技術(shù)對比分析 1 海量數(shù)據(jù)檢索 隨著計算機技術(shù)和 Inter 技術(shù)的迅猛發(fā)展，全球化時代已經(jīng)到來，各類信息急劇增長，在航空航天情報領域，數(shù)據(jù)的級別也同樣呈指數(shù)級增長，目前已經(jīng)達到每天幾十 GB 數(shù)據(jù)，而數(shù)據(jù)的類型也各種各樣，如何在海量數(shù)據(jù)中快速查找有效的信息，是情報系統(tǒng)首先需要解決的問題。目前通用的檢索如 google、 baidu 通常基于簡單的匹配策略，雖然基于倒排索引，在查詢效率上有了顯著提高，然而支持語言匹配的能力極差，經(jīng)常 14 返回大量無意義的信息，準確率極低，無法滿足情報系統(tǒng)中快速準確的需求。而基于云存儲的方式可以里德綜合管理，實現(xiàn)數(shù)據(jù)在云中的透明遷移，最大限度地減少系統(tǒng)擴展帶來的影響，大大降低成本，節(jié)省資源。 .與已有數(shù)據(jù)管理技術(shù)相比，數(shù)據(jù)空間在數(shù)據(jù)模型、數(shù)據(jù)操作、數(shù)據(jù)對象、數(shù)據(jù)關(guān)系以及構(gòu)建成本上都有明顯的不同，首先數(shù)據(jù)空間的數(shù)據(jù)類型可以來自多個不同的數(shù)據(jù)源，數(shù)據(jù)格式多種多樣，一個數(shù)據(jù)空間中可能包含關(guān)系表、文本、電子郵件、圖像、音頻、視頻等多種異質(zhì)的數(shù)據(jù)。在情報系統(tǒng)中，通常，系統(tǒng)數(shù)據(jù)源非常復雜，關(guān)系 無法固定，需要在運行中發(fā)現(xiàn)并動態(tài)建立這種關(guān)聯(lián)，因此，基于數(shù)據(jù)空間這種管理方式更適合航天航空情報管理的需求。因此，數(shù)據(jù)對象 之間關(guān)聯(lián)是復雜的、動態(tài)的、演化的，而傳統(tǒng)的數(shù)據(jù)管理技術(shù)，數(shù)據(jù)關(guān)聯(lián)建立在表一級，這種關(guān)聯(lián)往往是穩(wěn)定的，而且類型也相對單一，無法表達許多情報內(nèi)容之間的關(guān)聯(lián)關(guān)系。而且這種變更對用戶使用是完全透明的，大大減輕了 系統(tǒng)管理和升級帶來的壓力。情報領域作為一個特殊領域，其查詢必須做到準確、高效，因此，構(gòu)建領域本體，實現(xiàn)基于語義的準確查詢支持，能夠綜合各類查詢方式的優(yōu)點，幫助用戶在海量數(shù)據(jù)中快速提取有效信息，顯著提高情報人員的工作效率，大海中迅速撈到“針”。全文檢索的特點是把用戶查詢的請求與全文中的詞一一比較，考慮查詢請求語義上的匹配，雖然全文檢索可以保證查全率，但查詢效率極低。 此外，中心從“十一五”開始積極參與并承擔了我國國防重要科研項目：軍隊“核高基”、總 裝預研、空裝預研、軍隊科研、航空基金、航天支撐技術(shù)基金以及航空航天院所的合作項目。這些項目都與海量數(shù)字資源的存儲、管理、索引、服務相關(guān)。教育部組織專家鑒定認為， DRMS是具有我國自主知識產(chǎn)權(quán)的面向數(shù)字圖書館和電子政務數(shù)字資源管理的通用軟件支撐 13 平臺，系統(tǒng)總體設計和 關(guān)鍵實現(xiàn)技術(shù)達到了國際先進水平。發(fā)表學術(shù)論文 120 余篇，其中 SCI33 篇、 EI54 篇，獲得發(fā)明專利 5 項，國家標準 3 項和行業(yè)標準 5項。作為清華大學信息科學技術(shù)學院（以下簡稱：信息學院）和清華信息科學與技術(shù)國家實驗室（以下簡稱：信息國家實驗室）的重要組成部分。提高構(gòu)件檢索的查全率和查準率，并以目標情報信息的入庫、檢索等工作奠定基礎。 5 分布式數(shù)據(jù)的劃分與處理 本研究主要針 對 MapReduce在 Shuffle階段的瓶頸，改進 Shuffle階段的處理算法，設計一個新的互聯(lián)網(wǎng)海量數(shù)據(jù)處理框架 MapReduce++，如圖 4 所示。在系統(tǒng)中將連接驅(qū)動和相關(guān)的解析模塊以插件等式提供，依賴與插件平臺實 現(xiàn)動態(tài)的加載和更新。 4 多源數(shù)據(jù)動態(tài) 加載技術(shù) 在 數(shù)據(jù)源 抽象描述方面，方案基于 XML 類型數(shù)據(jù)源類型描述和數(shù)據(jù)源連接描述，系統(tǒng)通過對基于 XML 抽象描述信息和相關(guān)配置信息的解析，實現(xiàn)動態(tài)適配。在本課題中， 10 信息的將通過數(shù)據(jù)空間的數(shù)據(jù)集成來實現(xiàn)。對情報信息系統(tǒng)領域內(nèi)概念以及概念間關(guān)系的精確描述，通過對領域中知識和概念的分析，確定他們之間的關(guān)系和可能的約束規(guī)則，選擇一定的知識本體構(gòu)建方法和知識本體建模工具，形成情報系統(tǒng)知識本 體。主要負 責偵聽客戶端和塊數(shù)據(jù)服務器端的請求時間與處理、文件到文件塊的映射以及文件塊到文件服務器的映射、名字空間管理、文件管理等功能。在單點故 9 障技術(shù)方面，擬基于 P2P 構(gòu)建數(shù)據(jù)共享網(wǎng)絡，消除單點失效，保證較好的拓展性和 可靠性。配置管理實現(xiàn)數(shù)據(jù)空間的參數(shù)配置管理，是數(shù)據(jù)空間的操作更加高效。另一方面，研究數(shù)據(jù)的查詢技術(shù)，通過基于語義的數(shù)據(jù)查詢技術(shù)提高系統(tǒng)的查詢能力和效率，通過查詢轉(zhuǎn)換實現(xiàn)多數(shù)據(jù)源的查詢。本課題擬采用的具體實施方案如下： 1 數(shù)據(jù)空間技術(shù) 在數(shù)據(jù)空間模 型方面，提取情報信息數(shù)據(jù)的共性，建立統(tǒng)一的數(shù)據(jù)表示方