【文章內(nèi)容簡介】 的一個(gè)重要發(fā)展方向。它利用最先進(jìn)的信息技術(shù)和網(wǎng)絡(luò)技術(shù)將各種天文研究資源,包括天文數(shù)據(jù)、天文文獻(xiàn)、計(jì)算資源、存儲資源、各種軟件工具,甚至天文望遠(yuǎn)鏡等觀測設(shè)備,以統(tǒng)一的服務(wù)模式透明的匯集在統(tǒng)一的系統(tǒng)中。因此,導(dǎo)致了世界范圍內(nèi)天文觀測的數(shù)據(jù)量以指數(shù)級別迅速增長。國家天文臺聯(lián)合上海天文臺、紫金山天文臺共同建設(shè)八個(gè)中國科學(xué)院科學(xué)數(shù)據(jù)主題庫中的天文科學(xué)數(shù)據(jù)主題庫,目前天文數(shù)據(jù)總共約90TB,包含有國內(nèi)的郭守敬望遠(yuǎn)鏡科學(xué)試觀測數(shù)據(jù)、上海天文臺天體多體與流體數(shù)值模擬數(shù)據(jù)、紫金山天文臺亞毫米波射電天文數(shù)據(jù)、南極天文臺CSTAR天體測光數(shù)據(jù)、BATC天體星表星圖數(shù)據(jù),鏡像的國外數(shù)據(jù):SDSS光譜星表、CDS星表、UCAC天體照相星表、2MASS星表等。中國科學(xué)院國家天文臺正在研制的空間太陽望遠(yuǎn)鏡(SST)項(xiàng)目,在24小時(shí)內(nèi)觀測所獲得的原始科學(xué)數(shù)據(jù)總量高達(dá)8640GB?？臻g科學(xué)數(shù)據(jù)網(wǎng)格數(shù)據(jù)資源覆蓋日地空間物理和行星科學(xué)兩大空間科學(xué)學(xué)科方向,數(shù)據(jù)資源總量近2TB。在高能物理學(xué)領(lǐng)域(),歐洲原子能研究機(jī)構(gòu)CERN是世界最大的粒子物理研究中心,擁有世界最大的正負(fù)電子對撞機(jī)LEP (Large ElectronPositron Collider),原始數(shù)據(jù)的產(chǎn)生速率為IMB/sec,。而于2005年投入使用的大型強(qiáng)子對撞機(jī)LHC (Large Hadron Collider)其原始數(shù)據(jù)產(chǎn)生速度將達(dá)到lOOMB/s,導(dǎo)致每年約1PB的數(shù)據(jù)總量。這個(gè)數(shù)據(jù)量將是目前CERN所有設(shè)備產(chǎn)生的數(shù)據(jù)量的總和還要多一到兩個(gè)數(shù)量級。通過對各個(gè)領(lǐng)域海量數(shù)據(jù)的分析,我們發(fā)現(xiàn)海量數(shù)據(jù)有以下幾個(gè)共同的特點(diǎn):(1)數(shù)據(jù)量過大——海量。由上述海量數(shù)據(jù)的分析可以看出,目前許多領(lǐng)域所要面對的數(shù)據(jù)其數(shù)據(jù)量已經(jīng)達(dá)到TB級,并且將很快達(dá)到PB級。這給現(xiàn)存的大容量、高性能存儲設(shè)備,海量數(shù)據(jù)分析處理提出了巨大的挑戰(zhàn)。(2)數(shù)據(jù)的多源性和異構(gòu)性。不同的領(lǐng)域、不同的行業(yè)在數(shù)據(jù)獲取階段所采用的設(shè)備、手段和方式都千差萬別,取得的數(shù)據(jù)在數(shù)據(jù)形態(tài)、數(shù)據(jù)結(jié)構(gòu)上也各不相同。例如遙感領(lǐng)域的實(shí)驗(yàn)數(shù)據(jù)大部分是以圖像的形式存在；而在流體力學(xué)的分析中,數(shù)據(jù)則由上百個(gè)表示不同屬性的參數(shù)組成,例如時(shí)間、溫度、壓力等；即使同一領(lǐng)域也可能包含有來自多種數(shù)據(jù)源的數(shù)據(jù)。數(shù)據(jù)多源性導(dǎo)致數(shù)據(jù)有不同的分類,不同的分類具有不同的數(shù)據(jù)格式,最終導(dǎo)致結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)并存,造成了數(shù)據(jù)資源的異構(gòu)性。(3)高分布性和不確定性。數(shù)據(jù)量的增長速度已經(jīng)遠(yuǎn)遠(yuǎn)超過了存儲能力的增長速度,現(xiàn)有的存儲設(shè)備已經(jīng)不能滿足海量數(shù)據(jù)的存儲需求。即使在目前的狀況下,高性能計(jì)算機(jī)可以滿足部分領(lǐng)域海量數(shù)據(jù)的存儲需求,但是其價(jià)格相當(dāng)昂貴,運(yùn)行成本,維護(hù)成本也非常高,操作復(fù)雜,難以被推廣應(yīng)用。相比于高性能計(jì)算機(jī),磁盤、磁帶等存儲設(shè)備雖然存儲容量較低,但易于購買、維護(hù),而且價(jià)格也容易讓人接受。因此大部分機(jī)構(gòu)選擇磁盤或磁帶作為主要的存儲設(shè)備,將數(shù)據(jù)由早期的集中式存儲改為分布式存儲。在同一領(lǐng)域,甚至跨領(lǐng)域之間的合作已經(jīng)越來越普遍,數(shù)據(jù)或信息之間的共享與交換變得非常頻繁。因此無論是從技術(shù)角度、成本角度,還是使用角度,都決定了海量數(shù)據(jù)資源的高分布性已經(jīng)成為一種必然。不確定性可能是原始數(shù)據(jù)本來就不準(zhǔn)確或是采用了粗粒度的數(shù)據(jù)集合,也可能是原始數(shù)據(jù)是為了滿足特殊應(yīng)用目的或是經(jīng)過處理缺失值或者數(shù)據(jù)集成而生成的。處理過程中的數(shù)據(jù)本身的不確定性、語義匹配的不確定性和查詢分析的不確定性等。為了獲得客觀對象的準(zhǔn)確信息,需要去粗取精、去偽存真,以便人們更全面地進(jìn)行表達(dá)和推理等?，F(xiàn)代通信和傳播技術(shù),大大提高了信息傳播的速度和廣度。隨著信息技術(shù)和互聯(lián)網(wǎng)的迅速發(fā)展,網(wǎng)絡(luò)中數(shù)據(jù)量的急劇增加,信息時(shí)代出現(xiàn)了數(shù)據(jù)爆炸,信息泛濫及噪音化趨勢,人們獲取所需信息也變得越來越困難。隨著網(wǎng)絡(luò)中數(shù)據(jù)的爆炸式增長,人們的需求己經(jīng)不只是簡單的查詢信息,而是希望能夠?qū)@些數(shù)據(jù)進(jìn)行較高層次的處理和分析,從而發(fā)現(xiàn)數(shù)據(jù)中潛在的知識,以便更好地利用這些數(shù)據(jù)。目前的大多數(shù)據(jù)庫系統(tǒng)只提供數(shù)據(jù)錄入,查詢,統(tǒng)計(jì)等功能,很難發(fā)現(xiàn)數(shù)據(jù)中存在關(guān)系和規(guī)則,無法根據(jù)己有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢,不能挖掘出數(shù)據(jù)背后隱藏的知識,導(dǎo)致了數(shù)據(jù)爆炸,但知識貧乏的現(xiàn)象。數(shù)據(jù)統(tǒng)合處理即資源整合過程,是指將某一范圍內(nèi)的,原本離散的、多元的、異構(gòu)的、分布的信息資源通過邏輯的或物理的方式組織為一個(gè)整體,使之有利于管理、利用和服務(wù)。我們也可以這樣來理解數(shù)據(jù)統(tǒng)合處理,就是把分散的資源集中起來,把無序的資源變?yōu)橛行颉＿@也是廣義的信息數(shù)據(jù)統(tǒng)合概念,它包含了信息采集、組織、加工以及服務(wù)等過程。資源的種類越來越豐富,數(shù)據(jù)庫和信息資源檢索系統(tǒng)越來越多,檢索方式、檢索手段各式各樣。造成了數(shù)據(jù)冗余、相互關(guān)聯(lián)程度低,大量的信息孤島出現(xiàn),同時(shí)用戶的檢索負(fù)擔(dān)也日益加重。因此,需要有一種手段把這些信息集中、整序、關(guān)聯(lián)起來,把檢索系統(tǒng)集成起來,使用戶知道到哪里可以找到所需要的信息,怎樣去查找這些信息,如何篩選檢索結(jié)果,這就是數(shù)據(jù)統(tǒng)合處理的最終目的。數(shù)據(jù)統(tǒng)合的必要性:數(shù)據(jù)和信息系統(tǒng)分散信息資源利用程度較低支持管理決策能力較低對于大量的數(shù)據(jù)不能提供一個(gè)統(tǒng)一的數(shù)據(jù)接口,不能釆用一種通用的標(biāo)準(zhǔn)和規(guī)范,無法獲得共享通用的數(shù)據(jù)源,于是不同的應(yīng)用系統(tǒng)之間必然會形成彼此隔離的信息孤島。信息孤島是當(dāng)前信息化建設(shè)中亟待解決的主要癥結(jié),因此如何徹底的消除信息孤島,有效的整合現(xiàn)有及未來的業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)資源已成為當(dāng)前信息化建設(shè)的重中之重。信息資源的整合方法、途徑和手段多種多樣,但一般來說包括三個(gè)層面:其一是數(shù)據(jù)層(又稱資源層),即把有關(guān)信息資源集中為一體；第二是操作層(又稱作服務(wù)層或中間層),即通過軟件或平臺對有關(guān)信息資源進(jìn)行統(tǒng)一利用；第三是系統(tǒng)層(又稱應(yīng)用層),即包含數(shù)據(jù)內(nèi)容、軟件系統(tǒng)以及基礎(chǔ)設(shè)置的全面整合。數(shù)據(jù)統(tǒng)合是一個(gè)系統(tǒng)工程,如何在理論的指導(dǎo)和經(jīng)驗(yàn)的驅(qū)使下,使信息資源的整合工程做到最優(yōu)。信息數(shù)據(jù)統(tǒng)合不僅僅是把信息資源聚集在一起,而是涉及到對信息描述、組織、處理、整序、檢索、服務(wù)等方方面面,這些方面都需要有一定的技術(shù)來支撐。具體技術(shù)主要包括如下幾個(gè)方面。數(shù)據(jù)的組織、轉(zhuǎn)換相關(guān)技術(shù)數(shù)據(jù)的組織技術(shù)主要解決不同類型、不同結(jié)構(gòu)的數(shù)據(jù)如何組織在一起；如信息資源涉及到的分類控制方法:行業(yè)分類表、地區(qū)分類表、中圖法范疇分類體系、用戶自定義分類體系等資源多分類組織技術(shù)。數(shù)據(jù)轉(zhuǎn)換技術(shù)主要解決將不同格式、不同平臺下的數(shù)據(jù)轉(zhuǎn)換問題,MARC、DOC、PDF、TXT等不同格式的文件的格式分析,數(shù)據(jù)交換或轉(zhuǎn)換技術(shù),數(shù)據(jù)的查重去重技術(shù)等。此外還包括數(shù)據(jù)封裝技術(shù),如XML技術(shù)。索引技術(shù)索引技術(shù)的研究,主要解決整合后的索引如何構(gòu)造的問題,這些索引要滿足不同檢索算法和檢索需求,如,全文檢索、同義詞檢索、排除檢索、擴(kuò)檢和縮檢、集成(整合、跨庫、一站式)檢索技術(shù)(涉及到關(guān)鍵詞、主題詞、分類導(dǎo)航、元搜索、TOPK集成檢索等整合檢索)、跨語言的信息檢索技術(shù)、概念檢索技術(shù)(利用同義詞詞典、概念詞典)等進(jìn)行基于概念(或基于語義、基于本體)的檢索。數(shù)據(jù)描述技術(shù)信息源的語義內(nèi)容描述、語義的識別能力及信息重復(fù)率,覆蓋度等研究,也包括如何用元數(shù)據(jù)來表達(dá)整合后的數(shù)字信息,信息標(biāo)引中所使用的元數(shù)據(jù)標(biāo)準(zhǔn)(如DC),元數(shù)據(jù)之間(如DC與MARC的兼容互換、不同分類體系之間(如DDC號與中圖分類號)的自動映射技術(shù)等。信息自動化處理技術(shù)信息的自動標(biāo)引(包括智能分詞、信息抽取、信息過濾、話題跟蹤、關(guān)鍵詞標(biāo)引、主題標(biāo)引、概念標(biāo)引及其它元數(shù)據(jù)的自動標(biāo)引)、自動分類(分類也是一種整合)、自動文摘、自動篇章分析、機(jī)器翻譯(多語種的資源進(jìn)行整合時(shí))等。智能信息處理中所應(yīng)用的方法,如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理技術(shù)、本體工程等。個(gè)性化服務(wù)技術(shù)個(gè)性化可以劃分為界面風(fēng)格的個(gè)性化(包括面向各個(gè)用戶的個(gè)性化風(fēng)格、提供資源服務(wù)的風(fēng)格界面與其它Web應(yīng)用系統(tǒng)的界面的一致性風(fēng)格等)、提供個(gè)性化的資源(就圖書館整體來說,提供特色資源,就用戶個(gè)體來說,提供個(gè)人化的資源)。后者涉及到的核心技術(shù)有用戶檢索行為的獲取、分析與利用、用戶反饋檢索、用戶檢索歷史的應(yīng)用、個(gè)性化推薦服務(wù)、信息協(xié)同過濾等、定題信息提供(SDI)等。信息數(shù)據(jù)統(tǒng)合涉及到的其他的關(guān)鍵技術(shù)主要包括:信息數(shù)據(jù)統(tǒng)合的相關(guān)標(biāo)準(zhǔn)、協(xié)議,如元數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)及檢索協(xié)議；此外,還包括動態(tài)信息發(fā)布技術(shù),分布式軟件體系,網(wǎng)絡(luò)安全控制技術(shù)等。信息數(shù)據(jù)統(tǒng)合引發(fā)的網(wǎng)絡(luò)服務(wù)變革,數(shù)據(jù)統(tǒng)合后,信息服務(wù)部門的信息資源將成為一個(gè)整體,過去在不同資源中來回切換的訪問變成了一站式服務(wù),過去的等待服務(wù)轉(zhuǎn)變成了主動服務(wù),服務(wù)的深度加強(qiáng)了,服務(wù)的范圍擴(kuò)大了,人們已經(jīng)意識到信息數(shù)據(jù)統(tǒng)合將為網(wǎng)絡(luò)服務(wù)帶來新的變革。從信息服務(wù)到內(nèi)容服務(wù)的轉(zhuǎn)變數(shù)據(jù)整合以后,信息資源管理單位擁有統(tǒng)一的用戶交互接口,提高了資源的獲取效率并方便了用戶使用。更重要的是,整合后的資源其間關(guān)聯(lián)更加緊密,許多隱藏在信息中的知識逐漸顯現(xiàn)或能夠被挖掘出來,人們對知識服務(wù)的需求已經(jīng)可以得到滿足。因此,從信息服務(wù)到內(nèi)容服務(wù)、知識服務(wù)的轉(zhuǎn)變,已成為一種必然。從等待服務(wù)到主動服務(wù)的轉(zhuǎn)變信息服務(wù)部門大多以等待服務(wù)或被動服務(wù)為主的服務(wù)形式,由于用戶對資源缺乏了解和對系統(tǒng)使用技能的掌握,使之不能得到及時(shí)和有效的服務(wù)。但是,在傳統(tǒng)的信息服務(wù)系統(tǒng)下,要做到或者說要做好主動的信息提供是非常困難的。網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)統(tǒng)合系統(tǒng)則可以使主動的信息提供很方便的做到和做好。基于知識共享的服務(wù)網(wǎng)絡(luò)通過信息數(shù)據(jù)統(tǒng)合,知識達(dá)到充分共享的程度,知識價(jià)值得到充分體現(xiàn)。今后的信息服務(wù)機(jī)構(gòu)的資源將會向整合化方向發(fā)展,提供的服務(wù)由最初提供單一的物理實(shí)體服務(wù),向多層次、多元化、數(shù)字化的知識共享服務(wù)方向發(fā)展。如緒論中所述,云計(jì)算是分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(Network Storage Technologies)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)、面向服務(wù)架構(gòu)(ServiceOriented Architecture,簡稱為SOA)等計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算(Cloud Computing)是在2007年第3季度才誕生的新名詞,但僅僅過了半年多,其受到關(guān)注的程度就超過了網(wǎng)格計(jì)算,分布式計(jì)算,并行計(jì)算,。 云計(jì)算、網(wǎng)格計(jì)算等在Google中的搜索趨勢云計(jì)算模式是一種通過第三方網(wǎng)絡(luò)服務(wù)方式提供高性能計(jì)算和海量存儲的商業(yè)計(jì)算模型,能夠屏蔽IT基礎(chǔ)設(shè)施、軟件平臺的復(fù)雜性,實(shí)現(xiàn)自動管理,提供高可靠性、高可擴(kuò)展性、可配置以及按需服務(wù)的網(wǎng)絡(luò)化服務(wù)能力。其特點(diǎn)如下:(1)超大規(guī)?！霸啤本哂邢喈?dāng)?shù)囊?guī)模,Google云計(jì)算已經(jīng)擁有100多萬臺服務(wù)器,Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務(wù)器。企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器?！霸啤蹦苜x予用戶前所未有的計(jì)算能力。(2)虛擬化云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”,而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行,但實(shí)際上用戶無需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。只需要一臺筆記本或者一個(gè)手機(jī),就可以通過網(wǎng)絡(luò)服務(wù)來實(shí)現(xiàn)我們需要的一切,甚至包括超級計(jì)算這樣的任務(wù)。(3)高可擴(kuò)展性和高可靠性“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的高可靠性,使用云計(jì)算比使用本地計(jì)算機(jī)可靠。對互聯(lián)網(wǎng)應(yīng)用來說,其用戶數(shù)量和資源需求量的變化都非常大,很難事先有個(gè)準(zhǔn)確的系統(tǒng)容量估算。而對于傳統(tǒng)應(yīng)用來說,不同時(shí)間段中用戶使用應(yīng)用的模式也有很大的差異。云計(jì)算平臺的高可擴(kuò)展可以很好地滿足應(yīng)用負(fù)載和需求變化的要求。云計(jì)算平臺的資源池相對于單個(gè)用戶的需求而言是比較大的,考慮到會有大量不同用戶共用一個(gè)資源池,他們之間的資源使用模式一般存在一定的互補(bǔ)性,所以對于某個(gè)用戶的需求而言,云計(jì)算具有很高的擴(kuò)展性,其資源幾乎是無限的。另外,云計(jì)算平臺在做架構(gòu)設(shè)計(jì)的時(shí)候,都需要考慮到如何讓用戶可以平滑擴(kuò)展他們的資源需求,比如計(jì)算資源、存儲資源等。(4)按需服務(wù)云計(jì)算是把信息技術(shù)作為服務(wù)(IT as a Service )提供的一種方式。這種服務(wù)的概念都是從消費(fèi)方(用戶)角度出發(fā)、而不是從服務(wù)提供方出發(fā)來考慮問題,因此一個(gè)基本特點(diǎn)是要求按需服務(wù),即用戶可以根據(jù)需求即時(shí)得到服務(wù)。從這個(gè)角度講,云計(jì)算就像我們公共服務(wù)中的自來水、電和煤氣一樣,集中供應(yīng)并按需服務(wù)和計(jì)費(fèi)。對用戶來說這種按需服務(wù)的方式可以降低他們使用服務(wù)的進(jìn)入和退出門濫,從而降低服務(wù)綁定的可能性和投資風(fēng)險(xiǎn)。(5)經(jīng)濟(jì)性由于“云”的特殊容錯(cuò)措施可以釆用極其廉價(jià)的節(jié)點(diǎn)來構(gòu)成云,“云”的自動化集中式管理使大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,用戶可以充分享受“云”的低成本優(yōu)勢,經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬美元、數(shù)月時(shí)間才能完成的任務(wù)。(6)資源池化云計(jì)算帶來的一個(gè)好處是能夠提高資源的利用率,一般需要通過共享的方式來達(dá)到這個(gè)目的,而共享需要先把資源集中到一個(gè)公共的資源池中。因此,云計(jì)算需要把計(jì)算資源集中到一個(gè)資源池中通過多主租用的方式來為不同用戶提供服務(wù)。對用戶來說,具體物理資源的位置對他們而言是透明的,用戶一般也不能控制具體資源的位置。但是,有時(shí)候出于法規(guī)遵循和數(shù)據(jù)傳輸性能的考慮,云計(jì)算服務(wù)商會提供一些高層次的位置信息,比如在哪個(gè)國家和地區(qū)或在哪個(gè)數(shù)據(jù)中心。根據(jù)這個(gè)資源池中資源的類別,我們把云計(jì)算的服務(wù)模型分為三大類,即所謂的Sn模型SaaS,PaaS和laaS。所以,云計(jì)算是分布式計(jì)算、互聯(lián)網(wǎng)技術(shù)、大規(guī)模資源管理等技術(shù)的融合與發(fā)展,其研究和應(yīng)用是一個(gè)系統(tǒng)工程,涵蓋了數(shù)據(jù)中心管理、資源虛擬化、海量數(shù)據(jù)處理、計(jì)算機(jī)安全等重要問題閱,。云計(jì)算目前在國際上應(yīng)用的現(xiàn)狀。大概可以分成三個(gè)層面:第一個(gè)層面是公共層面,比較典型的例子是雅虎和谷歌搜索,以及谷歌所提供的Gmail。這些是公共商業(yè)服務(wù),基本模式是免費(fèi)的,用廣告支撐。當(dāng)然也有付費(fèi)的,按照基本上是以公眾服務(wù)為主。這就是云計(jì)算互