【文章內容簡介】 點上并行讀寫，這樣隨著存儲節(jié)點數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，云存儲采用負載均衡技術，自動均衡各服務器負載，使得各存儲節(jié)點的性能調節(jié)到最高，實現(xiàn)資源優(yōu)化配置。無限容量可以出來海量的環(huán)境監(jiān)測數(shù)據(jù)，可支撐的容量接近無限，經推算，理論容量為102410241024 PB (1G個PB容量)。在線伸縮云存儲資源管理系統(tǒng)擴容非常方便，支持不停止服務的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即實現(xiàn)擴容；同時，無需人為干預，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點上的數(shù)據(jù)將會重新備份到其他節(jié)點上。通用易用云存儲系統(tǒng)提供專用的API接口，供開發(fā)人員調用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由數(shù)據(jù)立方一體機管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對數(shù)據(jù)立方中的所有節(jié)點實行實時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點的負載、存儲和運行情況。 ，云存儲系統(tǒng)，面向 Jobkeeper分布式調度。在本次云建設中，分布式文件系統(tǒng)屬于基礎平臺支撐層，以用于數(shù)據(jù)集中存儲和共享，實現(xiàn)對數(shù)據(jù)的統(tǒng)一管理和高效應用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于結構化和非結構化數(shù)據(jù)的高性能訪問；分布式計算和Hive則基于云存儲進行大規(guī)模的高性能的并發(fā)計算和數(shù)據(jù)的挖掘。下面具體說明各系統(tǒng)的基本組成和主要功能。，為管理人員提供完善的操作平臺，同時，為其他普通人員定制基于B/S結構的瀏覽模塊。系統(tǒng)通過權限訪問，提高系統(tǒng)運行的安全性。系統(tǒng)可實時、準確、并對數(shù)據(jù)整編入庫、分析處理，形成結果，供決策人員使用。，數(shù)據(jù)直接通過云計算技術的監(jiān)測技術直接入庫，為以后環(huán)境質量數(shù)據(jù)，以及后期環(huán)境質量的趨勢分析做詳實準確的數(shù)據(jù)基礎。，海量數(shù)據(jù)分析模塊，同時結合地理信息針對環(huán)境污染位置明確責任，建立績效考核機制最大范圍提高環(huán)境執(zhí)法人員的工作能動性。，當數(shù)據(jù)達到設定報警值時，預警系統(tǒng)會自動啟動，決定預警級別及范圍。并根據(jù)系統(tǒng)設定，啟動報警通過郵件，APP推送或者是短信等方式直接發(fā)送給相關人員。該圖只能靜態(tài)展示相關的頁面，動態(tài)的效果需要實時演示。圖31 基于數(shù)據(jù)立方的云平臺，可以完全進行海量歷史數(shù)據(jù)分析。，，從監(jiān)測污染、定位污染到找到污染原因并且治理污染。圖32 分布式文件系統(tǒng)被設計為將海量文件存儲在一個大集群的多臺計算機上。分布式文件系統(tǒng)將每一個文件以分塊序列的形式進行存儲，一個文件的所有分塊除去最后一個分塊外都是等大小的。為了實現(xiàn)容錯將文件分塊進行自動復制。文件分塊的塊大小和復制比例都是可以按照單個文件進行配置的。分布式文件系統(tǒng)中的所有文件都是“只寫一次”并且嚴格限定在任何時候只有一個寫文件操作者。 分布式文件系統(tǒng)是云計算框架的分布式并行文件系統(tǒng)，是分布式計算的存儲基石。負責數(shù)據(jù)分布式存儲及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。分布式文件系統(tǒng)的基本特征如下：(l)對于整個集群有單一的命名空間。(2)文件會被分割成多個文件塊，每個文件塊被分配存儲到數(shù)據(jù)節(jié)點上，而且根據(jù)配置會有復制的文件塊來保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在成功創(chuàng)建文件之后，才能看到文件的存在。(4)云計算，包括分布式文件系統(tǒng)，非常適合在廉價機器上的分布式存儲和分布式處理。它是容錯的、可伸縮的、非常易于擴展。并且，以簡單性和適用性著稱的分布式計算是云計算不可缺少的重要組成部分。(5)分布式文件系統(tǒng)的默認配置適合于大多數(shù)安裝的應用。通常情況下，只有在一個非常大規(guī)模的集群上才需要修改默認配置。(6)支持shell命令行風格的分布式文件系統(tǒng)目錄交互。(7)分布式文件系統(tǒng)是用java編寫的，可廣泛運行在多種軟硬件平臺上。(8)分布式文件系統(tǒng)經常性地實現(xiàn)新的特性和改進。(9)Namenode和DataNode都內建了Web服務器，可以方便地查看集群的狀態(tài)。 分布式文件系統(tǒng)的體系框架是Master/Slave結構，一個典型的分布式文件系統(tǒng)通常由單個Namenode和多個DataNode組成。Namenode是一個中心服務器，負責文件系統(tǒng)的名字空間的操作，比如打開、關閉、重命名文件或目錄，它負責維護文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護數(shù)據(jù)塊副本的個數(shù)。集群中的DataNode一般是一個節(jié)點一個，負責管理它所在節(jié)點上的存儲。分布式文件系統(tǒng)暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組DataNode上。DataNode負責處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制。 所有對目錄樹的更新和文件名和數(shù)據(jù)塊關系的修改，都必須能夠持久化，文件在分布式文件系統(tǒng)中存儲圖如圖33。圖33 分布式文件系統(tǒng)結構圖分布式文件系統(tǒng)涉及到Namenode、DataNode和客戶端們之間的交互。本質上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與 DataNode進行實際的I/O操作。如圖13所示，在分布式文件系統(tǒng)中有三個重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應用程序。這里通過三個操作來說明他們之間的交互關系：(l)文件寫入。首先Client向Namenode發(fā)起文件寫入的請求，Namenode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序寫入到每一個DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請求，Namenode返回文件存儲的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復制。Namenode發(fā)現(xiàn)部分文件的Block不符合最小復制數(shù)或者部分DataNode失效，通知DataNode相互復制Block。DataNode收到通知后開始直接相互復制。圖34 Namenode、DataNode和client之間的交互 Jobkeeper的系統(tǒng)架構如下圖35所示。圖35 Jobkeeper的系統(tǒng)架構虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務集群。存儲層：