【正文】 Ad’Center投入使用。絕大部分實(shí)現(xiàn)在程序初始化時(shí)生成一組固定的通信進(jìn)程。MPI是一種工業(yè)標(biāo)準(zhǔn)的API規(guī)范,專為在多處理器計(jì)算機(jī)、計(jì)算機(jī)集群和超級(jí)計(jì)算機(jī)上進(jìn)行高性能計(jì)算而設(shè)計(jì)。所謂數(shù)據(jù)處理是指對(duì)各種類型的數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分類、計(jì)算、加工、檢索和傳輸?shù)倪^程,也就是如何快速地從這些海量數(shù)據(jù)中抽取出關(guān)鍵的信息,然后提供給用戶隨著計(jì)算機(jī)硬件和軟件技術(shù)的不斷發(fā)展,數(shù)據(jù)處理技術(shù)也隨之不斷前進(jìn)和創(chuàng)新。該實(shí)驗(yàn)室以海量文字信息處理及云計(jì)算方向?yàn)楹诵?涵蓋其在網(wǎng)絡(luò)信息處理等領(lǐng)域的應(yīng)用。Amazon通過推出的AWS (Amazon Web Services) GovCloud使政府能夠放心的、安全的享受云服務(wù)。在互聯(lián)網(wǎng)快速發(fā)展的背景下,網(wǎng)絡(luò)上的數(shù)據(jù)內(nèi)容呈幾何級(jí)的增長(zhǎng),而其中增長(zhǎng)最快并且最容易給技術(shù)架構(gòu)帶來(lái)挑戰(zhàn)的就是數(shù)目龐大的小文件。具體如圖 所示。39。云計(jì)算是多種技術(shù)融合的產(chǎn)物,由于其商業(yè)實(shí)現(xiàn)及研究成果不同的側(cè)重,因此,針對(duì)云計(jì)算的定義目前有很多種形式。Google首席執(zhí)行官埃里克?施密特(Eric Schmidt)在2006年全球搜索引擎大會(huì)上(SES San Jose 2006)首次提出云計(jì)算(Cloud Computing)的概念。云計(jì)算技術(shù)擁有分布式計(jì)算,超大規(guī)模,虛擬化,高可靠性,高彈性,可擴(kuò)展,按需服務(wù)等特點(diǎn),能夠?yàn)楹Ａ繑?shù)據(jù)處理提供更為高效的分析以及更好的計(jì)算能力。其應(yīng)用范圍也非常有限。對(duì)于這些大規(guī)模、多態(tài)性、分布式、非(半)結(jié)構(gòu)化等特性的海量數(shù)據(jù),如何對(duì)其進(jìn)行有效地分析與處理,并且從中挖掘出有價(jià)值的信息,實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理,以使其發(fā)揮出最大的效益,是目前實(shí)際應(yīng)用中迫切需要解決的問題。目錄1緒論 2 3 6 6 8 9 11 11 12 132海量數(shù)據(jù)處理技術(shù)分析 15 15 15 18 21 21 24 26 27 28 28 29 29 323云計(jì)算環(huán)境下海量小文件處理模型CMSFPM 33 33 34 36 36 36 38 CMSFPM模型 43 43 48 50 514基于CMSFPM的數(shù)據(jù)處理 52 52 52 MapReduce 編程模型 52 XML的數(shù)據(jù)模型 57 60 62 PDF格式文檔 62 66 68 71 72 75 76 78 805海量數(shù)據(jù)存儲(chǔ)機(jī)制研究 81 81 82 85 85 87 92 96 96 97 99 1011緒論隨著信息時(shí)代的到來(lái),在許多科學(xué)領(lǐng)域中,數(shù)據(jù)信息呈現(xiàn)出爆炸式的增長(zhǎng)。傳統(tǒng)的海量數(shù)據(jù)處理方法主要是釆用并行計(jì)算的方式。目前,這種處理方式主要應(yīng)用于科學(xué)計(jì)算方面,例如,軍事、氣象、生物、核科學(xué)、高能物理等領(lǐng)域。目前,云計(jì)算平臺(tái)主要有亞馬遜云計(jì)算平臺(tái)、谷歌云計(jì)算平臺(tái)、IBM “藍(lán)云”計(jì)算平臺(tái)、Eucalyptus、Hadoop等。隨著Google云計(jì)算核心技術(shù)GFS、MapReduce和BigTable的公開,越來(lái)越多的企業(yè)認(rèn)同并廣泛應(yīng)用了云計(jì)算技術(shù)。中國(guó)網(wǎng)格計(jì)算、云計(jì)算專家劉鵬:云計(jì)算將計(jì)算任務(wù)發(fā)布在大量計(jì)算機(jī)構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和各種軟件服務(wù)。^^“網(wǎng)格之父”美國(guó)Argonne國(guó)家實(shí)驗(yàn)室的資深科學(xué)家Foster這樣定義云計(jì)算:云計(jì)算是由規(guī)模經(jīng)濟(jì)拖動(dòng),為互聯(lián)網(wǎng)上的用戶提供一組抽象的,虛擬化的,動(dòng)態(tài)可擴(kuò)展的,可管理的計(jì)算資源能力、存儲(chǔ)能力、平臺(tái)和服務(wù)的一種大規(guī)模分布式計(jì)算的聚合體。.近十幾年來(lái),隨著科學(xué)技術(shù)的發(fā)展,計(jì)算機(jī)應(yīng)用系統(tǒng)的不斷發(fā)展和完善,在各個(gè)領(lǐng)域產(chǎn)生了大量的數(shù)據(jù),例如,美國(guó)紐約證券交易所每天會(huì)產(chǎn)生大約1TB (TeraByte)的交易數(shù)據(jù),互聯(lián)網(wǎng)檔案館(The Iniemet Aichive)存儲(chǔ)著約2PB數(shù)據(jù),并以每月至少20TB的速度增長(zhǎng)。隨著數(shù)據(jù)的急劇增長(zhǎng),對(duì)存儲(chǔ)資源、計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)資源等都提出了極高的性能要求,給以往的數(shù)據(jù)處理技術(shù)帶來(lái)了的挑戰(zhàn)。NASA已經(jīng)在使用AWS GovCloud的云服務(wù),還有超過100家的政府部門已經(jīng)在某些地方使用AWS GovCloud。海量數(shù)據(jù)的處理和應(yīng)用研究已向分布式,高性能并行處理方向發(fā)展,數(shù)據(jù)規(guī)模巨大(在TB級(jí)以上)的海量信息處理系統(tǒng)也隨之出現(xiàn)。將大量數(shù)據(jù)分散到多個(gè)節(jié)點(diǎn)上,將計(jì)算并行化,利用多機(jī)的計(jì)算資源,從而加快數(shù)據(jù)處理的速度。該標(biāo)準(zhǔn)是由大量計(jì)算機(jī)供應(yīng)商和軟件開發(fā)商于1994年共同設(shè)計(jì)完成。這些進(jìn)程在不同的節(jié)點(diǎn)上運(yùn)行(通常一個(gè)處理器一個(gè)進(jìn)程),執(zhí)行著相同或不同的程序,以點(diǎn)對(duì)點(diǎn)通信或者集合通信的方式進(jìn)行進(jìn)程間交互,共同協(xié)作完成同一個(gè)計(jì)算任務(wù)。Dryad通過將計(jì)算任務(wù)移動(dòng)到相應(yīng)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)或靠近的節(jié)點(diǎn),讓計(jì)算就地或者就近完成,從而減輕網(wǎng)絡(luò)上傳輸?shù)膲毫Αap(映射)和Reduce(化簡(jiǎn))的概念,以及他們的主要思想,都來(lái)自于函數(shù)式語(yǔ)言。國(guó)內(nèi)外很多學(xué)者提出了很多方法來(lái)提高海量數(shù)據(jù)處理的效率。Qin和Wang等給出了一種基于粗糙集的海量數(shù)據(jù)處理方法,該方法將類分布鏈表存儲(chǔ)在磁盤,串行方法處理海量數(shù)據(jù)。數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。雅虎(Yahoo)公司也是云計(jì)算的實(shí)踐者,它參與贊助了Apache自由軟件基金會(huì)的云計(jì)算項(xiàng)目Hadoop。Hadoop在可伸縮性,健壯性,計(jì)算性能和成本上具有很好的優(yōu)勢(shì),同時(shí)它是免費(fèi)開源旳,所以成為了當(dāng)前互聯(lián)網(wǎng)企業(yè)主流的大數(shù)據(jù)分析平臺(tái)。云數(shù)據(jù)庫(kù)也是有海量的數(shù)據(jù)庫(kù)群所構(gòu)成,而這些數(shù)據(jù)庫(kù)一部分是固定存儲(chǔ)在云中,還有一部分是由中小服務(wù)商的服務(wù)器構(gòu)成,需合理安全的把存儲(chǔ)任務(wù)分配到這些云數(shù)據(jù)庫(kù)中,以使云存儲(chǔ)系統(tǒng)達(dá)到負(fù)載均衡。對(duì)于釆用列存儲(chǔ)的方式管理數(shù)據(jù),如何提高數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)讀速率是未來(lái)的數(shù)據(jù)管理技術(shù)必須解決的問題。陳海波[33]研究了云計(jì)算平臺(tái)可信性增強(qiáng)技術(shù),從計(jì)算機(jī)硬件,操作系統(tǒng)與應(yīng)用級(jí)對(duì)計(jì)算機(jī)系統(tǒng)可信性的增強(qiáng)著手研究,提高云計(jì)算平臺(tái)的可用性,可維護(hù)性,可信性,安全性與容錯(cuò)性等。而Liu提出了GridBatch系統(tǒng),該系統(tǒng)可以解決云基礎(chǔ)設(shè)施環(huán)境下達(dá)規(guī)模數(shù)據(jù)批處理問題。上述的定制化系統(tǒng)都經(jīng)歷了實(shí)踐的檢驗(yàn),并被證明是能夠有效的支持?jǐn)?shù)以億計(jì)的小對(duì)象或者是結(jié)構(gòu)化數(shù)據(jù)。美國(guó)的高校如斯坦福,麻省理工學(xué)院,以及卡內(nèi)基梅隆等都已經(jīng)在文本分類方面取得了一定的成果。到上個(gè)世紀(jì)九十年代,隨著網(wǎng)絡(luò)的迅猛發(fā)展和機(jī)器學(xué)習(xí)的興起,形成了各種文本自動(dòng)分類(Automatic Text Categorization, ATC)技術(shù)。針對(duì)分布式文件系統(tǒng),結(jié)合WebGIS的應(yīng)用模式,該論文提出了小文件優(yōu)化策略。當(dāng)用戶請(qǐng)求某頁(yè)P(yáng)PT時(shí),其他相關(guān)的PPT可能在接下來(lái)的時(shí)間內(nèi)也會(huì)被查看,因而文件的訪問具有相關(guān)性和本地性。在原有處理基礎(chǔ)上添加一個(gè)小文件處理模塊,當(dāng)一個(gè)文件到達(dá)時(shí),判斷該文件是否屬于小文件,如果是,則交給小文件處理模塊處理。本論文從海量數(shù)據(jù)的組織與管理,海量數(shù)據(jù)分類方法,數(shù)據(jù)處理模型,數(shù)據(jù)的內(nèi)容依賴的映射檢索,存儲(chǔ)調(diào)度服務(wù)及算法等方面進(jìn)行了研究,主要內(nèi)容包括:(1)分析和總結(jié)了目前海量數(shù)據(jù)處理平臺(tái)和所涉及的關(guān)鍵技術(shù),包括數(shù)據(jù)統(tǒng)合機(jī)制,云計(jì)算相關(guān)的虛擬化技術(shù),存儲(chǔ)資源分配技術(shù),編程方式,異構(gòu)數(shù)據(jù)訪問,數(shù)據(jù)存儲(chǔ)技術(shù)等；(2)設(shè)計(jì)了基于云計(jì)算的海量小文件處理模型CMSFPM,包括現(xiàn)有云平臺(tái)的分析,基于Hadoop的小文件劃分和預(yù)處理等；(3)設(shè)計(jì)釆用HKDtree (HybridKDimensional tree)混合索引結(jié)構(gòu)和文件的合并算法,該混合索引結(jié)構(gòu)具有高效并行處理,可擴(kuò)展性好等特點(diǎn),適于并行的云計(jì)算平臺(tái)；(4)研究基于CMSFPM的PDF格式文檔內(nèi)容映射查詢處理,構(gòu)建了基于XML和多Value的改進(jìn)MapReduce模型；設(shè)計(jì)云平臺(tái)下車載信息系統(tǒng),引入資源池策略解決數(shù)據(jù)傳輸時(shí),數(shù)據(jù)包丟失問題。本研究主要目的是針對(duì)海量數(shù)據(jù)處理的應(yīng)用需求,研究云計(jì)算環(huán)境下的數(shù)據(jù)統(tǒng)合機(jī)制及關(guān)鍵技術(shù),從而為更深層次的高性能計(jì)算應(yīng)用提供服務(wù)。充分利用MapReduce分布式編程模式在海量數(shù)據(jù)處理上的優(yōu)勢(shì),重新描述KNN分類過程,同時(shí),在KNN中融入特征向量比較,順序重新構(gòu)造兩個(gè)特征詞相同的特征向量,以提高分類算法的效率。并通過處理海量PDF文檔的信息處理進(jìn)行模型驗(yàn)證。這兩種算法大幅提高了存儲(chǔ)節(jié)點(diǎn)的利用率和優(yōu)化了系統(tǒng)的負(fù)載均衡。麥肯錫全球研究院(MGI)估計(jì),2010年,全球企業(yè)在硬盤上存儲(chǔ)了超過7EB (1EB等于10億GB)的新數(shù)據(jù),消費(fèi)者在PC和筆記本等設(shè)備上存儲(chǔ)了超過6EB新數(shù)據(jù)。相比之下,其他地區(qū)中的人均數(shù)據(jù)密度就低得多了。它包括各種空間數(shù)據(jù)、報(bào)表統(tǒng)計(jì)數(shù)據(jù)、文字、聲音、圖像、超文本等各種環(huán)境和文化數(shù)據(jù)信息。在國(guó)內(nèi),滬深兩市每天4個(gè)小時(shí)的交易時(shí)間會(huì)產(chǎn)生3億條以上逐筆成交數(shù)據(jù),隨著時(shí)間的積累數(shù)據(jù)規(guī)模非常可觀,與一般日志數(shù)據(jù)不同的是這些數(shù)據(jù)在金融工程領(lǐng)域有較高的分析價(jià)值,金融投資研究機(jī)構(gòu)需要經(jīng)常對(duì)歷史和實(shí)時(shí)數(shù)據(jù)進(jìn)行挖掘創(chuàng)新,以創(chuàng)造和改進(jìn)數(shù)量化交易模型,并將之應(yīng)用在基于計(jì)算機(jī)模型的實(shí)時(shí)證券交易過程中。,每秒產(chǎn)生1000張短帖。它利用最先進(jìn)的信息技術(shù)和網(wǎng)絡(luò)技術(shù)將各種天文研究資源,包括天文數(shù)據(jù)、天文文獻(xiàn)、計(jì)算資源、存儲(chǔ)資源、各種軟件工具,甚至天文望遠(yuǎn)鏡等觀測(cè)設(shè)備,以統(tǒng)一的服務(wù)模式透明的匯集在統(tǒng)一的系統(tǒng)中?？臻g科學(xué)數(shù)據(jù)網(wǎng)格數(shù)據(jù)資源覆蓋日地空間物理和行星科學(xué)兩大空間科學(xué)學(xué)科方向,數(shù)據(jù)資源總量近2TB。通過對(duì)各個(gè)領(lǐng)域海量數(shù)據(jù)的分析,我們發(fā)現(xiàn)海量數(shù)據(jù)有以下幾個(gè)共同的特點(diǎn):(1)數(shù)據(jù)量過大——海量。不同的領(lǐng)域、不同的行業(yè)在數(shù)據(jù)獲取階段所采用的設(shè)備、手段和方式都千差萬(wàn)別,取得的數(shù)據(jù)在數(shù)據(jù)形態(tài)、數(shù)據(jù)結(jié)構(gòu)上也各不相同。數(shù)據(jù)量的增長(zhǎng)速度已經(jīng)遠(yuǎn)遠(yuǎn)超過了存儲(chǔ)能力的增長(zhǎng)速度,現(xiàn)有的存儲(chǔ)設(shè)備已經(jīng)不能滿足海量數(shù)據(jù)的存儲(chǔ)需求。在同一領(lǐng)域,甚至跨領(lǐng)域之間的合作已經(jīng)越來(lái)越普遍,數(shù)據(jù)或信息之間的共享與交換變得非常頻繁。為了獲得客觀對(duì)象的準(zhǔn)確信息,需要去粗取精、去偽存真,以便人們更全面地進(jìn)行表達(dá)和推理等。目前的大多數(shù)據(jù)庫(kù)系統(tǒng)只提供數(shù)據(jù)錄入,查詢,統(tǒng)計(jì)等功能,很難發(fā)現(xiàn)數(shù)據(jù)中存在關(guān)系和規(guī)則,無(wú)法根據(jù)己有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì),不能挖掘出數(shù)據(jù)背后隱藏的知識(shí),導(dǎo)致了數(shù)據(jù)爆炸,但知識(shí)貧乏的現(xiàn)象。資源的種類越來(lái)越豐富,數(shù)據(jù)庫(kù)和信息資源檢索系統(tǒng)越來(lái)越多,檢索方式、檢索手段各式各樣。信息孤島是當(dāng)前信息化建設(shè)中亟待解決的主要癥結(jié),因此如何徹底的消除信息孤島,有效的整合現(xiàn)有及未來(lái)的業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)資源已成為當(dāng)前信息化建設(shè)的重中之重。具體技術(shù)主要包括如下幾個(gè)方面。索引技術(shù)索引技術(shù)的研究,主要解決整合后的索引如何構(gòu)造的問題,這些索引要滿足不同檢索算法和檢索需求,如,全文檢索、同義詞檢索、排除檢索、擴(kuò)檢和縮檢、集成(整合、跨庫(kù)、一站式)檢索技術(shù)(涉及到關(guān)鍵詞、主題詞、分類導(dǎo)航、元搜索、TOPK集成檢索等整合檢索)、跨語(yǔ)言的信息檢索技術(shù)、概念檢索技術(shù)(利用同義詞詞典、概念詞典)等進(jìn)行基于概念(或基于語(yǔ)義、基于本體)的檢索。個(gè)性化服務(wù)技術(shù)個(gè)性化可以劃分為界面風(fēng)格的個(gè)性化(包括面向各個(gè)用戶的個(gè)性化風(fēng)格、提供資源服務(wù)的風(fēng)格界面與其它Web應(yīng)用系統(tǒng)的界面的一致性風(fēng)格等)、提供個(gè)性化的資源(就圖書館整體來(lái)說,提供特色資源,就用戶個(gè)體來(lái)說,提供個(gè)人化的資源)。從信息服務(wù)到內(nèi)容服務(wù)的轉(zhuǎn)變數(shù)據(jù)整合以后,信息資源管理單位擁有統(tǒng)一的用戶交互接口,提高了資源的獲取效率并方便了用戶使用。但是,在傳統(tǒng)的信息服務(wù)系統(tǒng)下,要做到或者說要做好主動(dòng)的信息提供是非常困難的。如緒論中所述,云計(jì)算是分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)、面向服務(wù)架構(gòu)(ServiceOriented Architecture,簡(jiǎn)稱為SOA)等計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器。應(yīng)用在“云”中某處運(yùn)行,但實(shí)際上用戶無(wú)需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。而對(duì)于傳統(tǒng)應(yīng)用來(lái)說,不同時(shí)間段中用戶使用應(yīng)用的模式也有很大的差異。(4)按需服務(wù)云計(jì)算是把信息技術(shù)作為服務(wù)(IT as a Service )提供的一種方式。(5)經(jīng)濟(jì)性由于“云”的特殊容錯(cuò)措施可以釆用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云,“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本,“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升,用戶可以充分享受“云”的低成本優(yōu)勢(shì),經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬(wàn)美元、數(shù)月時(shí)間才能完成的任務(wù)。但是,有時(shí)候出于法規(guī)遵循和數(shù)據(jù)傳輸性能的考慮,云計(jì)算服務(wù)商會(huì)提供一些高層次的位置信息,比如在哪個(gè)國(guó)家和地區(qū)或在哪個(gè)數(shù)據(jù)中心。大概可以分成三個(gè)層面:第一個(gè)層面是公共層面,比較典型的例子是雅虎和谷歌搜索,以及谷歌所提供的Gmail。第二個(gè)層面,就是軟件作為服務(wù)最主要的典型,或者是資源作為服務(wù),這里面比較重要的兩個(gè)典型,一是斯達(dá)康,CRM典型的經(jīng)營(yíng)商。不過通過租用亞馬遜的資源,可以為得到你所需的存儲(chǔ)資源,網(wǎng)絡(luò)消息服務(wù)和交易服務(wù)的資源。企業(yè)級(jí)的應(yīng)用不僅僅針對(duì)互聯(lián)網(wǎng)企業(yè),像傳統(tǒng)的大企業(yè),工業(yè)企業(yè),比如說寶潔公司,通用電器,波音,這樣的企業(yè),他們也需要有大容量的計(jì)算需求,也許波音公司正在設(shè)計(jì)一個(gè)新的公司,它要模擬飛機(jī)翅膀的運(yùn)行需要一萬(wàn)臺(tái)電腦,但是完成這個(gè)項(xiàng)目以后,就不需要這一萬(wàn)臺(tái)電腦,買一萬(wàn)臺(tái)電腦是很大的浪費(fèi)。云計(jì)算是并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算等的商業(yè)實(shí)現(xiàn),它可以將計(jì)算任務(wù)分布在大量廉價(jià)的計(jì)算機(jī)上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算資源、存儲(chǔ)資源和其他服務(wù)資源。2004年,Google公司最先提出MapReduce技術(shù)作為面向大數(shù)據(jù)分析和處理的并行計(jì)算模型,主要包含3個(gè)層面的內(nèi)容: (1)分布式文件系統(tǒng)；(2)并行編程模型；(3)并行執(zhí)行引擎。2006年,他們將MapReduce和NDFS (Nutch的分布式文件系統(tǒng))移出Nutc