【文章內(nèi)容簡介】 準sql和編程接口，方便用戶及應用系統(tǒng)訪問，減少與應用集成或開發(fā)工作量，實現(xiàn)系統(tǒng)快速部署與集成。系統(tǒng)平臺總體架構(gòu)圖如下圖所示通過前端采集設備采集的空氣特征參數(shù)可以將優(yōu)異性能云存儲采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲或讀取實際上是與各個存儲節(jié)點上并行讀寫，這樣隨著存儲節(jié)點數(shù)目的增多，整個系統(tǒng)的吞吐量和IO性能將呈線性增長。同時，云存儲采用負載均衡技術(shù)，自動均衡各服務器負載，使得各存儲節(jié)點的性能調(diào)節(jié)到最高，實現(xiàn)資源優(yōu)化配置。無限容量可以出來海量的環(huán)境監(jiān)測數(shù)據(jù)，可支撐的容量接近無限，經(jīng)推算，理論容量為102410241024 PB (1G個PB容量)。在線伸縮云存儲資源管理系統(tǒng)擴容非常方便，支持不停止服務的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即實現(xiàn)擴容；同時，無需人為干預，也可以摘下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點上的數(shù)據(jù)將會重新備份到其他節(jié)點上。通用易用云存儲系統(tǒng)提供專用的API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由數(shù)據(jù)立方一體機管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。通過管理平臺，可以對數(shù)據(jù)立方中的所有節(jié)點實行實時監(jiān)控，用戶通過監(jiān)控界面可以清楚地了解到每一個節(jié)點的負載、存儲和運行情況。在本次云建設中，分布式文件系統(tǒng)屬于基礎平臺支撐層，以用于數(shù)據(jù)集中存儲和共享，實現(xiàn)對數(shù)據(jù)的統(tǒng)一管理和高效應用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪問；分布式計算和Hive則基于云存儲進行大規(guī)模的高性能的并發(fā)計算和數(shù)據(jù)的挖掘。下面具體說明各系統(tǒng)的基本組成和主要功能。1分布式文件系統(tǒng)分布式文件系統(tǒng)被設計為將海量文件存儲在一個大集群的多臺計算機上。分布式文件系統(tǒng)將每一個文件以分塊序列的形式進行存儲，一個文件的所有分塊除去最后一個分塊外都是等大小的。為了實現(xiàn)容錯將文件分塊進行自動復制。文件分塊的塊大小和復制比例都是可以按照單個文件進行配置的。分布式文件系統(tǒng)中的所有文件都是“只寫一次”并且嚴格限定在任何時候只有一個寫文件操作者。 分布式文件系統(tǒng)是云計算框架的分布式并行文件系統(tǒng)，是分布式計算的存儲基石。負責數(shù)據(jù)分布式存儲及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。分布式文件系統(tǒng)的基本特征如下：(l)對于整個集群有單一的命名空間。(2)文件會被分割成多個文件塊，每個文件塊被分配存儲到數(shù)據(jù)節(jié)點上，而且根據(jù)配置會有復制的文件塊來保證數(shù)據(jù)安全性。(3)數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在成功創(chuàng)建文件之后，才能看到文件的存在。(4)云計算，包括分布式文件系統(tǒng)，非常適合在廉價機器上的分布式存儲和分布式處理。它是容錯的、可伸縮的、非常易于擴展。并且，以簡單性和適用性著稱的分布式計算是云計算不可缺少的重要組成部分。(5)分布式文件系統(tǒng)的默認配置適合于大多數(shù)安裝的應用。通常情況下，只有在一個非常大規(guī)模的集群上才需要修改默認配置。(6)支持shell命令行風格的分布式文件系統(tǒng)目錄交互。(7)分布式文件系統(tǒng)是用java編寫的，可廣泛運行在多種軟硬件平臺上。(8)分布式文件系統(tǒng)經(jīng)常性地實現(xiàn)新的特性和改進。(9)Namenode和DataNode都內(nèi)建了Web服務器，可以方便地查看集群的狀態(tài)。分布式文件系統(tǒng)的體系框架是Master/Slave結(jié)構(gòu)，一個典型的分布式文件系統(tǒng)通常由單個Namenode和多個DataNode組成。Namenode是一個中心服務器，負責文件系統(tǒng)的名字空間的操作，比如打開、關(guān)閉、重命名文件或目錄，它負責維護文件路徑到數(shù)據(jù)塊的映射，數(shù)據(jù)塊到DataNode的映射，以及監(jiān)控DataNode的心跳和維護數(shù)據(jù)塊副本的個數(shù)。集群中的DataNode一般是一個節(jié)點一個，負責管理它所在節(jié)點上的存儲。分布式文件系統(tǒng)暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組DataNode上。DataNode負責處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復制。 所有對目錄樹的更新和文件名和數(shù)據(jù)塊關(guān)系的修改，都必須能夠持久化，文件在分布式文件系統(tǒng)中存儲圖如圖： 分布式文件系統(tǒng)結(jié)構(gòu)分布式文件系統(tǒng)涉及到Namenode、DataNode和客戶端們之間的交互。本質(zhì)上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與 DataNode進行實際的I/O操作。如圖13所示，在分布式文件系統(tǒng)中有三個重要的角色：Namenode、DataNode和Client，其中Client就是需要獲取分布式文件系統(tǒng)文件的應用程序。這里通過三個操作來說明他們之間的交互關(guān)系：(l)文件寫入。首先Client向Namenode發(fā)起文件寫入的請求，Namenode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。(2)文件讀取。Client向Namenode發(fā)起文件讀取的請求，Namenode返回文件存儲的DataNode的信息。Client根據(jù)返回的信息讀取DataNode上的文件信息。(3)文件Block復制。Namenode發(fā)現(xiàn)部分文件的Block不符合最小復制數(shù)或者部分DataNode失效，通知DataNode相互復制Block。DataNode收到通知后開始直接相互復制。分布式文件系統(tǒng) Namenode、DataNode和客戶端們之間的交互Jobkeeper的系統(tǒng)架構(gòu)如下圖所示：上圖中對Jobkeeper進行了分層，對每層進行具體闡述216。 虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務集群。216。 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。216。 數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺進行統(tǒng)一的配置管理。216。 業(yè)務層：對于應用層的相關(guān)功能的業(yè)務化，數(shù)字化處理，用于將應用層的需求任務進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。216。 應用層：一組用于管理和結(jié)果反饋的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎承載。JobKeeper的任務分發(fā)流程如下圖所示：JobKeeper任務分發(fā)流程圖當用戶在應用層下發(fā)任務給管理節(jié)點，管理節(jié)點調(diào)度機器采集機器節(jié)點的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點并分發(fā)任務，接下來具體的處理節(jié)點接收到任務并處理同時將結(jié)果返回給管理節(jié)點，管理節(jié)點整理匯總處理結(jié)果，而后返回給應用層。服務器節(jié)點組：負責對處理節(jié)點的系統(tǒng)信息以及任務處理信息進行實時的跟蹤和保存，對應的信息鏡像存儲在基于cStor或者NFS服務的存儲系統(tǒng)上。處理節(jié)點組：通過RPC的遠程調(diào)用獲取各自節(jié)點的任務處理目標，并實時的和處理節(jié)點上的任務處理目標進行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。分布式數(shù)據(jù)立方，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用分布式數(shù)據(jù)立方技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。其目的是處理龐大的表，可以用普通的計算機處理10億行數(shù)據(jù)，并且有數(shù)百萬列元素組成的數(shù)據(jù)表這張表的索引是行關(guān)鍵字。分布式數(shù)據(jù)立方可以直接使用本地的文件系統(tǒng)和云計算作為數(shù)據(jù)存儲方式，不過為了提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，發(fā)揮分布式數(shù)據(jù)立方處理大數(shù)據(jù)量等功能，需要使用云計算作為文件系統(tǒng)。數(shù)據(jù)模式 分布式數(shù)據(jù)立方類似Bigtable的分布式數(shù)據(jù)庫，是一個稀疏的，長期存儲的，多維的，列關(guān)鍵字和時間戳。每個值是一個不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。用戶在表格中存儲數(shù)據(jù)，每一行都是一個可排序的主鍵和任意多的列。由于是稀疏存儲的，所以同一張表里面的每一行數(shù)據(jù)都可以有截然不同的列。列名字的格式是family:lable,都是由字符串組成，每一張表有一個family集合，這個集合是固定不變的，相當于表的結(jié)構(gòu)，只能通過改變表的結(jié)構(gòu)來改變。但是lable值相對于每一行來說都是可以改變的。分布式數(shù)據(jù)立方把同一個family里面的數(shù)據(jù)存儲在同一個目錄底下，而分布式數(shù)據(jù)立方的寫操作時鎖行的，每一個都是一個原子元素都可以加鎖。所有數(shù)據(jù)庫的更新都是一個時間戳標記，每個更新都是一個新的版本，而分布式數(shù)據(jù)立方會保留一定數(shù)量的版本，這個值是可以設定的?？蛻舳丝梢垣@取距離某個時間最近的版本，或者一次獲取所有版本。 概念視圖分布式數(shù)據(jù)立方以表的形式存儲數(shù)據(jù)。表有行和列組成。列劃分為若干個列族(row fam