【正文】 綜合上述，空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)架構(gòu)云計算海量數(shù)據(jù)處理平臺，存儲本區(qū)域海量數(shù)據(jù)，積累長期監(jiān)測資料，為研究環(huán)境容量、實(shí)施總量控制、目標(biāo)管理、預(yù)測預(yù)報環(huán)境質(zhì)量、環(huán)境治理提供數(shù)據(jù)。搶占不會導(dǎo)致被搶占的作業(yè)失敗,因為云計算作業(yè)容忍任務(wù)丟失。當(dāng)集群上出現(xiàn)空閑計算槽時，調(diào)度按兩步進(jìn)行，首先空閑計算槽在作業(yè)池之間分配，其次在作業(yè)池內(nèi)的作業(yè)間分配。主要的調(diào)整其實(shí)就是一個操作，將一個數(shù)據(jù)塊從一個服務(wù)器搬遷到另一個服務(wù)器 上。在這里說的負(fù)載均衡，是寬泛意義上的均衡過程， 主要涵蓋兩個階段的事務(wù)，一個是在任務(wù)初始分配的時候盡可能合理分配，另一個是在事后時刻監(jiān)督及時調(diào)整。單點(diǎn)容錯如圖： l 當(dāng)某一臺負(fù)載均衡機(jī)宕機(jī)后：圖表3負(fù)載均衡機(jī)宕機(jī)預(yù)案第一步 Master節(jié)點(diǎn)能過鏈接心跳得知宕機(jī)負(fù)載均衡機(jī)。HLog(WAL log)WAL 意為Write ahead log()，類似mysql中的binlog,用來做災(zāi)難恢復(fù)只用，Hlog記錄數(shù)據(jù)的所有變更,一旦數(shù)據(jù)修改，就可以從log中進(jìn)行恢復(fù)。Data Block Index 段–Data Block的索引。最小單元就表示不同的Hregion可以分布在不同的HRegion server上。每個 cell中，不同版本的數(shù)據(jù)按照時間倒序排序，即最新的數(shù)據(jù)排在最前面。例如courses:history，courses:math 都屬于courses 這個列族?？蛻舳丝梢垣@取距離某個時間最近的版本，或者一次獲取所有版本。數(shù)據(jù)模式 分布式數(shù)據(jù)立方類似Bigtable的分布式數(shù)據(jù)庫，是一個稀疏的，長期存儲的，多維的，列關(guān)鍵字和時間戳。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。216。(2)文件讀取。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請求。(7)分布式文件系統(tǒng)是用java編寫的，可廣泛運(yùn)行在多種軟硬件平臺上。(3)數(shù)據(jù)一致性。分布式文件系統(tǒng)將每一個文件以分塊序列的形式進(jìn)行存儲，一個文件的所有分塊除去最后一個分塊外都是等大小的。無限容量可以出來海量的環(huán)境監(jiān)測數(shù)據(jù)，可支撐的容量接近無限，經(jīng)推算，理論容量為102410241024 PB (1G個PB容量)。圖4 部署在電線桿上前端設(shè)備針對本次環(huán)保局主要是監(jiān)測大氣中的環(huán)境數(shù)據(jù)，要做到實(shí)時性強(qiáng)，數(shù)據(jù)量大，還有總能做到海量歷史數(shù)據(jù)挖掘的可擴(kuò)展性，監(jiān)測數(shù)據(jù)主要存儲結(jié)構(gòu)化數(shù)據(jù)。同時進(jìn)行對電池進(jìn)行電壓監(jiān)測，檢測供電電壓是否正常，電源供電是否正常。在太陽能供電不能滿足供電需求的時候，利用蓄電池進(jìn)行供電。前端設(shè)備的通信主要是通過GPRS進(jìn)行數(shù)據(jù)的無線傳輸。該測定方法的原理是：空氣中的顆粒物濃度越高，對光的散射就越強(qiáng)。雖然空氣中不同大小的顆粒物均能降低能見度，不過相比于粗顆粒物，更為細(xì)小的空氣質(zhì)量降低能見度的能力更強(qiáng)。則：如果獲取到的L ，則： P=*L*100*10(ug/m3)。標(biāo)準(zhǔn)工作相對濕度： 65%177。 V（3）有機(jī)溶劑氣體傳感器適宜于醇類、酮類、醛類、芳族化合物等有機(jī)溶劑的探測。處理系統(tǒng)，存儲分析系統(tǒng)及顯示服務(wù)系統(tǒng)的軟件做相應(yīng)的工作以滿足用戶需求。3. 隨插隨用的傳感器和結(jié)點(diǎn)每一個在網(wǎng)絡(luò)中的結(jié)點(diǎn)可以插入多個不同種類的傳感器，只要傳感器的接口是標(biāo)準(zhǔn)的ESB (Environmental Sensor Bus) ，無需任何改動，插入即可使用。（4）數(shù)據(jù)管理系統(tǒng)在實(shí)際使用中，可能用戶會對某一時間段或者類型的數(shù)據(jù)特別關(guān)心，就可以通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。2．系統(tǒng)設(shè)計前端設(shè)備采集到相關(guān)的信息，通過GPRS進(jìn)行無線數(shù)據(jù)傳輸，在有公網(wǎng)IP的服務(wù)器上進(jìn)行數(shù)據(jù)接收和初步的處理，然后數(shù)據(jù)存入數(shù)據(jù)立方進(jìn)行存儲和計算，并且通過WEB服務(wù)器進(jìn)行數(shù)據(jù)的最后處理和公布，通過web頁面和移動終端可以實(shí)時的查看pm25實(shí)時和歷史數(shù)據(jù)。結(jié)合先進(jìn)的云平臺技術(shù)架構(gòu)優(yōu)勢，根據(jù)本次項目建設(shè)的實(shí)際容量需求設(shè)計，同時充分考慮應(yīng)用發(fā)展需求，實(shí)現(xiàn)系統(tǒng)可彈性在線平滑升級。在進(jìn)行系統(tǒng)設(shè)計時，充分考慮數(shù)據(jù)高可靠存儲，采用高度可靠的軟硬件容錯設(shè)計，進(jìn)行有效的安全訪問控制，實(shí)現(xiàn)故障屏蔽、自動冗余重建等智能化安全可靠措施，提供統(tǒng)一的系統(tǒng)管理和監(jiān)控平臺，進(jìn)行有效的故障定位、預(yù)警。 (2) 根據(jù)污染分布情況，追蹤尋找污染源，為實(shí)現(xiàn)監(jiān)督管理、控制污染提供依據(jù)。目前許多城市的環(huán)境監(jiān)測中心站點(diǎn)較少，分布分散，環(huán)境監(jiān)測的數(shù)據(jù)僅從宏觀上反映城市的整體的空氣質(zhì)量，但是不能從微觀上反映局部區(qū)域、特定區(qū)域的空氣質(zhì)量的好壞，這就需要建設(shè)更多的環(huán)境監(jiān)測站點(diǎn)，提供更多的實(shí)時的環(huán)境監(jiān)測數(shù)據(jù)。國外一套空氣質(zhì)量環(huán)境監(jiān)測儀器價格在10萬美金，國產(chǎn)價格在10萬人民幣，價格昂貴。 (3) 構(gòu)建云計算海量數(shù)據(jù)處理平臺，存儲本區(qū)域海量數(shù)據(jù)，積累長期監(jiān)測資料，為研究環(huán)境容量、實(shí)施總量控制、目標(biāo)管理、預(yù)測預(yù)報環(huán)境質(zhì)量提供數(shù)據(jù)。成熟性原則為確保整個系統(tǒng)能夠穩(wěn)定工作，軟件平臺將使用先進(jìn)、完善、易于管理和穩(wěn)定可靠的云存儲資源管理系統(tǒng)，對于與應(yīng)用的集成接口，提供統(tǒng)一的通用穩(wěn)定訪問接口。通過軟件實(shí)現(xiàn)在較廉價普通服務(wù)器上實(shí)現(xiàn)高度容錯，同時能夠在較低冗余度的情況下實(shí)現(xiàn)高度可靠容錯，大大節(jié)約和降低系統(tǒng)建設(shè)的硬件成本。具體的系統(tǒng)總體架構(gòu)詳見下圖。，國內(nèi)最多50m,Corssbow 為150m. 而我們在節(jié)點(diǎn)間無阻擋時理論距離為30000m, 有阻擋為500～1000m, 具有極高的性價比. 2. 能耗低，國外同類產(chǎn)品發(fā)射電流消耗為20mA, 。4. 網(wǎng)絡(luò)的可擴(kuò)張性只要加結(jié)點(diǎn)，網(wǎng)絡(luò)就擴(kuò)張?？諝赓|(zhì)量前端設(shè)備主要是由電源模塊、采集模塊和通信模塊三大模塊組成，前端采集設(shè)備內(nèi)部架構(gòu)具體詳見圖實(shí)際的空氣質(zhì)量監(jiān)測設(shè)備詳見圖2。加熱功耗小于900毫瓦使用溫度20℃50℃儲存溫度20℃70℃相對濕度小于95% RH探測范圍：1ppm100ppm 苯10ppm100ppm甲苯5ppm100ppm甲醇30ppm300ppm酒精10ppm300ppm丙酮1ppm10ppm甲醛注：此傳感器只測混和氣體濃度。5% Vh: 177。= L ，則： P=( ((L*100 – 8)/ + ))*10( ug/m3)。能見度的降低其本質(zhì)上是可見光的傳播受到阻礙。測定光的散射后，就可以算出顆粒物濃度。具體的數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)示意圖詳見圖10。利用20W的太陽能板，在一定的環(huán)境中，可以滿足設(shè)備的供電要求。鋰電池是12V電壓，50Ah的規(guī)格，可以在沒有充電或者沒有市電互補(bǔ)的情況下持續(xù)10*24h的供電。建設(shè)適合存儲容量數(shù)據(jù)平臺，吞吐量需求為滿足現(xiàn)在多個監(jiān)測終端實(shí)時上傳數(shù)據(jù)的需要和應(yīng)用整體吞吐帶寬和高并發(fā)需要，確保數(shù)據(jù)訪問流暢，系統(tǒng)需提供多用戶或應(yīng)用高并發(fā)訪問、高吞吐帶寬設(shè)計，系統(tǒng)能夠有效利用各機(jī)器的物理資源，性能可通過規(guī)模增加實(shí)現(xiàn)平滑增長。在線伸縮云存儲資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點(diǎn)，無需任何操作，即實(shí)現(xiàn)擴(kuò)容；同時，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，存儲在此節(jié)點(diǎn)上的數(shù)據(jù)將會重新備份到其他節(jié)點(diǎn)上。為了實(shí)現(xiàn)容錯將文件分塊進(jìn)行自動復(fù)制。適合一次寫入多次讀取的模型，客戶端在成功創(chuàng)建文件之后，才能看到文件的存在。(8)分布式文件系統(tǒng)經(jīng)常性地實(shí)現(xiàn)新的特性和改進(jìn)。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。Client向Namenode發(fā)起文件讀取的請求，Namenode返回文件存儲的DataNode的信息。 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。JobKeeper的任務(wù)分發(fā)流程如下圖所示：JobKeeper任務(wù)分發(fā)流程圖當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器采集機(jī)器節(jié)點(diǎn)的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點(diǎn)并分發(fā)任務(wù)，接下來具體的處理節(jié)點(diǎn)接收到任務(wù)并處理同時將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理匯總處理結(jié)果，而后返回給應(yīng)用層。每個值是一個不解釋的字符數(shù)組，數(shù)據(jù)都是字符串，沒類型。 概念視圖分布式數(shù)據(jù)立方以表的形式存儲數(shù)據(jù)。時間戳分布式數(shù)據(jù)立方中通過row和columns確定的為一個存貯單元稱為cell。Cell由{row key, column(=family + label), version} 唯一確定的單元。但一個Hregion是不會拆分到多個server上的。每條索引的key是被索引的block的第一條記錄的key。每個Region Server維護(hù)一個Hlog,而不是每個Region一個。第二步 Master節(jié)點(diǎn)從所有均衡機(jī)中選出負(fù)載小的負(fù)載均衡機(jī)，啟動虛擬IP及相關(guān)進(jìn)程第三步 啟動虛擬IP接收原始數(shù)據(jù)，進(jìn)行負(fù)載均衡