【文章內(nèi)容簡(jiǎn)介】 點(diǎn)上并行讀寫(xiě)，這樣隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和IO性能將呈線(xiàn)性增長(zhǎng)。同時(shí)，云存儲(chǔ)采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。無(wú)限容量可以出來(lái)海量的環(huán)境監(jiān)測(cè)數(shù)據(jù)，可支撐的容量接近無(wú)限，經(jīng)推算，理論容量為102410241024 PB (1G個(gè)PB容量)。在線(xiàn)伸縮云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無(wú)需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時(shí)，無(wú)需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì)重新備份到其他節(jié)點(diǎn)上。通用易用云存儲(chǔ)系統(tǒng)提供專(zhuān)用的API接口，供開(kāi)發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺(tái)，所有的管理工作均由數(shù)據(jù)立方一體機(jī)管理模塊自動(dòng)完成，使用人員無(wú)需任何專(zhuān)業(yè)知識(shí)便可以輕松管理整個(gè)系統(tǒng)。通過(guò)管理平臺(tái)，可以對(duì)數(shù)據(jù)立方中的所有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控，用戶(hù)通過(guò)監(jiān)控界面可以清楚地了解到每一個(gè)節(jié)點(diǎn)的負(fù)載、存儲(chǔ)和運(yùn)行情況。 ，云存儲(chǔ)系統(tǒng)，面向 Jobkeeper分布式調(diào)度。在本次云建設(shè)中，分布式文件系統(tǒng)屬于基礎(chǔ)平臺(tái)支撐層，以用于數(shù)據(jù)集中存儲(chǔ)和共享，實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫(kù)層，用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪(fǎng)問(wèn)；分布式計(jì)算和Hive則基于云存儲(chǔ)進(jìn)行大規(guī)模的高性能的并發(fā)計(jì)算和數(shù)據(jù)的挖掘。下面具體說(shuō)明各系統(tǒng)的基本組成和主要功能。，為管理人員提供完善的操作平臺(tái)，同時(shí)，為其他普通人員定制基于B/S結(jié)構(gòu)的瀏覽模塊。系統(tǒng)通過(guò)權(quán)限訪(fǎng)問(wèn)，提高系統(tǒng)運(yùn)行的安全性。系統(tǒng)可實(shí)時(shí)、準(zhǔn)確、并對(duì)數(shù)據(jù)整編入庫(kù)、分析處理，形成結(jié)果，供決策人員使用。，數(shù)據(jù)直接通過(guò)云計(jì)算技術(shù)的監(jiān)測(cè)技術(shù)直接入庫(kù)，為以后環(huán)境質(zhì)量數(shù)據(jù)，以及后期環(huán)境質(zhì)量的趨勢(shì)分析做詳實(shí)準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。，海量數(shù)據(jù)分析模塊，同時(shí)結(jié)合地理信息針對(duì)環(huán)境污染位置明確責(zé)任，建立績(jī)效考核機(jī)制最大范圍提高環(huán)境執(zhí)法人員的工作能動(dòng)性。，當(dāng)數(shù)據(jù)達(dá)到設(shè)定報(bào)警值時(shí)，預(yù)警系統(tǒng)會(huì)自動(dòng)啟動(dòng)，決定預(yù)警級(jí)別及范圍。并根據(jù)系統(tǒng)設(shè)定，啟動(dòng)報(bào)警通過(guò)郵件，APP推送或者是短信等方式直接發(fā)送給相關(guān)人員。該圖只能靜態(tài)展示相關(guān)的頁(yè)面，動(dòng)態(tài)的效果需要實(shí)時(shí)演示。圖31 基于數(shù)據(jù)立方的云平臺(tái)，可以完全進(jìn)行海量歷史數(shù)據(jù)分析。，，從監(jiān)測(cè)污染、定位污染到找到污染原因并且治理污染。圖32 分布式文件系統(tǒng)被設(shè)計(jì)為將海量文件存儲(chǔ)在一個(gè)大集群的多臺(tái)計(jì)算機(jī)上。分布式文件系統(tǒng)將每一個(gè)文件以分塊序列的形式進(jìn)行存儲(chǔ)，一個(gè)文件的所有分塊除去最后一個(gè)分塊外都是等大小的。為了實(shí)現(xiàn)容錯(cuò)將文件分塊進(jìn)行自動(dòng)復(fù)制。文件分塊的塊大小和復(fù)制比例都是可以按照單個(gè)文件進(jìn)行配置的。分布式文件系統(tǒng)中的所有文件都是“只寫(xiě)一次”并且嚴(yán)格限定在任何時(shí)候只有一個(gè)寫(xiě)文件操作者。 分布式文件系統(tǒng)是云計(jì)算框架的分布式并行文件系統(tǒng)，是分布式計(jì)算的存儲(chǔ)基石。負(fù)責(zé)數(shù)據(jù)分布式存儲(chǔ)及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)。分布式文件系統(tǒng)的基本特征如下：(l)對(duì)于整個(gè)集群有單一的命名空間。(2)文件會(huì)被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)有復(fù)制的文件塊來(lái)保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫(xiě)入多次讀取的模型，客戶(hù)端在成功創(chuàng)建文件之后，才能看到文件的存在。(4)云計(jì)算，包括分布式文件系統(tǒng)，非常適合在廉價(jià)機(jī)器上的分布式存儲(chǔ)和分布式處理。它是容錯(cuò)的、可伸縮的、非常易于擴(kuò)展。并且，以簡(jiǎn)單性和適用性著稱(chēng)的分布式計(jì)算是云計(jì)算不可缺少的重要組成部分。(5)分布式文件系統(tǒng)的默認(rèn)配置適合于大多數(shù)安裝的應(yīng)用。通常情況下，只有在一個(gè)非常大規(guī)模的集群上才需要修改默認(rèn)配置。(6)支持shell命令行風(fēng)格的分布式文件系統(tǒng)目錄交互。(7)分布式文件系統(tǒng)是用java編寫(xiě)的，可廣泛運(yùn)行在多種軟硬件平臺(tái)上。(8)分布式文件系統(tǒng)經(jīng)常性地實(shí)現(xiàn)新的特性和改進(jìn)。(9)Namenode和DataNode都內(nèi)建了Web服務(wù)器，可以方便地查看集群的狀態(tài)。 分布式文件系統(tǒng)的體系框架是Master/Slave結(jié)構(gòu)，一個(gè)典型的分布式文件系統(tǒng)通常由單個(gè)Namenode和多個(gè)DataNode組成。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)文件系統(tǒng)的名字空間的操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄，它負(fù)責(zé)維護(hù)文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護(hù)數(shù)據(jù)塊副本的個(gè)數(shù)。集群中的DataNode一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。分布式文件系統(tǒng)暴露了文件系統(tǒng)的名字空間，用戶(hù)能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組DataNode上。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶(hù)端的讀寫(xiě)請(qǐng)求。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。 所有對(duì)目錄樹(shù)的更新和文件名和數(shù)據(jù)塊關(guān)系的修改，都必須能夠持久化，文件在分布式文件系統(tǒng)中存儲(chǔ)圖如圖33。圖33 分布式文件系統(tǒng)結(jié)構(gòu)圖分布式文件系統(tǒng)涉及到Namenode、DataNode和客戶(hù)端們之間的交互。本質(zhì)上，客戶(hù)端與Namenode通訊是通過(guò)獲取或者修改文件的元數(shù)據(jù)，與 DataNode進(jìn)行實(shí)際的I/O操作。如圖13所示，在分布式文件系統(tǒng)中有三個(gè)重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。這里通過(guò)三個(gè)操作來(lái)說(shuō)明他們之間的交互關(guān)系：(l)文件寫(xiě)入。首先Client向Namenode發(fā)起文件寫(xiě)入的請(qǐng)求，Namenode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請(qǐng)求，Namenode返回文件存儲(chǔ)的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復(fù)制。Namenode發(fā)現(xiàn)部分文件的Block不符合最小復(fù)制數(shù)或者部分DataNode失效，通知DataNode相互復(fù)制Block。DataNode收到通知后開(kāi)始直接相互復(fù)制。圖34 Namenode、DataNode和client之間的交互 Jobkeeper的系統(tǒng)架構(gòu)如下圖35所示。圖35 Jobkeeper的系統(tǒng)架構(gòu)虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。存儲(chǔ)層：