【正文】 大約在1萬人民幣，能夠解決資金投入問題，同時滿足一定的測量精度，和現(xiàn)有的空氣環(huán)境自動監(jiān)測系統(tǒng)形成互補(bǔ)，為環(huán)保部門服務(wù)。針對本次工程的實(shí)際情況,充分考慮環(huán)保局環(huán)境監(jiān)測云平臺系統(tǒng)建設(shè)的建設(shè)發(fā)展需求，以實(shí)現(xiàn)系統(tǒng)統(tǒng)一管理、高效應(yīng)用、平滑擴(kuò)展為目標(biāo)，以“先進(jìn)、安全、成熟、開放、經(jīng)濟(jì)”為總體設(shè)計原則。遵循規(guī)范的通用接口標(biāo)準(zhǔn)，使全系統(tǒng)中的硬件、通信、軟件、操作平臺之間的互聯(lián)共享。 云計算海量數(shù)據(jù)處理技術(shù) 架構(gòu)云計算海量數(shù)據(jù)處理平臺，采用先進(jìn)的云計算處理技術(shù)，對環(huán)境監(jiān)測的數(shù)據(jù)入庫和關(guān)聯(lián)查詢快速響應(yīng)，支持自動容錯和動態(tài)擴(kuò)展，具有實(shí)時性、高可靠性、可伸縮性、高性價比等特點(diǎn)。（1）實(shí)時數(shù)據(jù)入庫系統(tǒng)實(shí)時數(shù)據(jù)入庫系統(tǒng)主要負(fù)責(zé)全市所有空氣質(zhì)量監(jiān)測點(diǎn)產(chǎn)生的各類空氣因子數(shù)據(jù)實(shí)時存到空氣質(zhì)量監(jiān)測平臺數(shù)據(jù)存儲中心。6. 系統(tǒng)可靠性高，由于我們采用了碰撞避免機(jī)制，同時為需要固定帶寬的通訊業(yè)務(wù)與留了專業(yè)時隙，避免了發(fā)射數(shù)據(jù)時的競爭和沖突，而且節(jié)點(diǎn)模塊之間具有自動動態(tài)組網(wǎng)的功能，信息在整個網(wǎng)絡(luò)中通過自由路由的方式進(jìn)行傳輸，從而保證了信息的可靠性；，我們針對時延敏感的運(yùn)用做了優(yōu)化，通訊時延和從休眠狀態(tài)激活的時延非常短。結(jié)點(diǎn)間距在2 公里內(nèi)，就可以互相通訊。使用溫度范圍 ﹣20℃～+50℃使用壓力范圍 標(biāo)準(zhǔn)大氣壓177。 （4）可燃?xì)怏w傳感器用于液化氣，天然氣，煤氣的監(jiān)測。不分別給出各組份的含量。 ，也稱為可入肺顆粒物（暫無標(biāo)準(zhǔn)中文名）。而粒徑在這個尺寸附近的顆粒物正是空氣質(zhì)量的主要組成部分。本次設(shè)備使用的是紅外光散射法來進(jìn)行測試相關(guān)的數(shù)據(jù)。注意:每個前端設(shè)備有一個供應(yīng)商的SIM卡進(jìn)行數(shù)據(jù)通信，該SIM卡需要有GPRS業(yè)務(wù)，同時使用的地點(diǎn)必須有供應(yīng)商的信號。該供電方式同時提供電壓監(jiān)測功能。圖11鋰電池供電方式的前端設(shè)備實(shí)物圖在城市的不同區(qū)域布局并有效使用空氣質(zhì)量的監(jiān)測系統(tǒng)，從而能夠比較全面地掌握城市不同區(qū)域，在不同時間段、不同氣候特點(diǎn)（包括氣溫、風(fēng)向、季節(jié)）下的空氣質(zhì)量的實(shí)時監(jiān)測數(shù)據(jù)。低成本需求要求系統(tǒng)能夠以低硬件成本、低維護(hù)成本實(shí)現(xiàn)高可靠高性能應(yīng)用要求，充分提高資源利用率，簡化管理，并能靈活、可持續(xù)擴(kuò)展。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由數(shù)據(jù)立方一體機(jī)管理模塊自動完成，使用人員無需任何專業(yè)知識便可以輕松管理整個系統(tǒng)。分布式文件系統(tǒng)中的所有文件都是“只寫一次”并且嚴(yán)格限定在任何時候只有一個寫文件操作者。它是容錯的、可伸縮的、非常易于擴(kuò)展。分布式文件系統(tǒng)的體系框架是Master/Slave結(jié)構(gòu)，一個典型的分布式文件系統(tǒng)通常由單個Namenode和多個DataNode組成。本質(zhì)上，客戶端與Namenode通訊是通過獲取或者修改文件的元數(shù)據(jù)，與 DataNode進(jìn)行實(shí)際的I/O操作。(3)文件Block復(fù)制。 數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper調(diào)度平臺進(jìn)行統(tǒng)一的配置管理。處理節(jié)點(diǎn)組：通過RPC的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對比，控制程序的執(zhí)行和結(jié)束。由于是稀疏存儲的，所以同一張表里面的每一行數(shù)據(jù)都可以有截然不同的列。列劃分為若干個列族(row family)Row Keycolumnfamily1columnfamily2columnfamily3column1column2column1column2column3column1key1t1:abc　t4:dfads　　　t2:gdxdft3:hello　t2:worldkey2t3:abc　t4:dfads　t2:dfdsfa　t1:gdxdft3:hellot3:dfdfkey3　t2:dfadfasd　　　t2:dfxxdfasd t1:dfdasddsft1: Row Key與nosql數(shù)據(jù)庫們一樣,row key是用來檢索記錄的主鍵。版本通過時間戳來索引。物理存儲1 Table中的所有行都按照row key的字典序排列。事實(shí)上，HRegion由一個或者多個Store組成，每個store保存一個columns family。Trailer–這一段是定長的。帶來的麻煩是，如果一臺region server下線，為了恢復(fù)其上的region，需要將region server上的log進(jìn)行拆分，然后分發(fā)到其它region server上進(jìn)行恢復(fù)。圖表5查詢處理單點(diǎn)失效容錯處理第一步：任務(wù)處理機(jī)宕機(jī)， 負(fù)載均衡機(jī)得知任務(wù)處理機(jī)宕機(jī)，緩存數(shù)據(jù).同時Master得知任務(wù)處理宕機(jī)后, 將任務(wù)處理機(jī)信息刪除待分配列表。其算法基本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫入者的速度，讓多份備份分配到不同的機(jī)架去。當(dāng)單獨(dú)一個作業(yè)在運(yùn)行時，它將使用整個集群。在缺省的情況下，作業(yè)池權(quán)值的設(shè)定是基于優(yōu)先級的，即優(yōu)先級每升高一級，那么相應(yīng)的權(quán)值就增加一倍即所分配的計算槽是次一級的兩倍。池內(nèi)計算槽的分配池內(nèi)作業(yè)間計算槽的分配，可以按照池間公平分配算法或按照云計算默認(rèn)的FIFO進(jìn)行。 至強(qiáng) E5606系列芯片組 2GHz以上 4核8線程 L3緩存12MB2內(nèi)存8GB DDR38內(nèi)置硬盤”500G/7200RPM/32M/SATA(系統(tǒng)盤)1硬盤”2000G/7200RPM SATA 熱插拔4網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽1　　網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽13web服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜11CPU英特爾174。而由于較差的數(shù)據(jù)本地性，公平調(diào)度策略又提供了一個輔助的池內(nèi)作業(yè)間的等待調(diào)度算法（Delay Scheduling），雖然犧牲了一定程度的公平性，但由于考慮到了云計算平臺的數(shù)據(jù)本地性，使得小作業(yè)的響應(yīng)時間有了較大的改善并提高了集群的吞吐率。通常情況下一個作業(yè)池的最小份額小于公平份額。這個特性讓短作業(yè)在合理的時間內(nèi)完成的同時又保證了長作業(yè)的服務(wù)質(zhì)量。此外，分布式文件系統(tǒng)的Balancer類， 是為了實(shí)現(xiàn)動態(tài)的負(fù)載調(diào)整而存在的。第三步： 負(fù)載均衡機(jī)將原始數(shù)據(jù)發(fā)向新任務(wù)處理機(jī)，進(jìn)行查詢 負(fù)載的均衡，就是要讓大家各盡其力齊心干活，發(fā)揮各自獨(dú)特的優(yōu)勢，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。HLog Sequece File的Value是分布式數(shù)據(jù)立方的KeyValue對象，即對應(yīng)HFile中的KeyValue，可參見上文描述。DataBlock Index采用LRU機(jī)制淘汰。如圖：StoreFile以HFile格式保存在分布式文件系統(tǒng)上。3 region按大小分割的，每個表一開始只有一個region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一個閥值的時候，Hregion就會等分會兩個新的Hregion。時間戳可以由分布式數(shù)據(jù)立方(在數(shù)據(jù)寫入時自動 )賦值，此時時間戳是精確到毫秒的當(dāng)前系統(tǒng)時間。列族分布式數(shù)據(jù)立方表中的每個列，都?xì)w屬與某個列族。但是lable值相對于每一行來說都是可以改變的。分布式數(shù)據(jù)立方，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用分布式數(shù)據(jù)立方技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。DataNode收到通知后開始直接相互復(fù)制。這里通過三個操作來說明他們之間的交互關(guān)系：(l)文件寫入。集群中的DataNode一般是一個節(jié)點(diǎn)一個，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲。(5)分布式文件系統(tǒng)的默認(rèn)配置適合于大多數(shù)安裝的應(yīng)用。負(fù)責(zé)數(shù)據(jù)分布式存儲及數(shù)據(jù)的管理，并能提供高吞吐量的數(shù)據(jù)訪問。在本次云建設(shè)中，分布式文件系統(tǒng)屬于基礎(chǔ)平臺支撐層，以用于數(shù)據(jù)集中存儲和共享，實(shí)現(xiàn)對數(shù)據(jù)的統(tǒng)一管理和高效應(yīng)用；分布式數(shù)據(jù)立方屬于分布式數(shù)據(jù)庫層，用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高性能訪問；分布式計算和Hive則基于云存儲進(jìn)行大規(guī)模的高性能的并發(fā)計算和數(shù)據(jù)的挖掘。接口需求要求能夠提供通用的標(biāo)準(zhǔn)sql和編程接口，方便用戶及應(yīng)用系統(tǒng)訪問，減少與應(yīng)用集成或開發(fā)工作量，實(shí)現(xiàn)系統(tǒng)快速部署與集成。目前環(huán)境監(jiān)測站的監(jiān)測設(shè)備一般部署在離地面高度20m25m之間，而云創(chuàng)存儲的空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)環(huán)境