【正文】 l 當(dāng)Master節(jié)點(diǎn)宕機(jī)后：圖表4 Master節(jié)點(diǎn)宕機(jī)預(yù)案第一步Master節(jié)點(diǎn)宕機(jī)， 負(fù)載均衡節(jié)點(diǎn)及存儲(chǔ)計(jì)算節(jié)點(diǎn)能過鏈接心跳得知Master宕機(jī)第二步所有負(fù)載均衡節(jié)點(diǎn)，重選舉出Master節(jié)點(diǎn)，并通知存儲(chǔ)計(jì)算節(jié)點(diǎn)新Master節(jié)點(diǎn) 所有存儲(chǔ)計(jì)算節(jié)點(diǎn)，根據(jù)負(fù)載均衡IP列表，請(qǐng)求新Master節(jié)點(diǎn)，后向新Master節(jié)點(diǎn)上報(bào)負(fù)載狀態(tài)。 分布式文件系統(tǒng)中，ReplicationTargetChooser類， 是負(fù)責(zé)實(shí)現(xiàn)為新分配的數(shù)據(jù)塊尋找婆家的。Balancer會(huì)向相關(guān)的目標(biāo)數(shù)據(jù)服務(wù)器發(fā)出一個(gè) 息，接收到這個(gè)消息的數(shù)據(jù)服務(wù)器，會(huì)將數(shù)據(jù)塊寫入本地，成功后，通知主控服務(wù)器，刪除早先的那個(gè)數(shù)據(jù)服務(wù)器上的同一塊數(shù)據(jù)塊。最小份額和公平份額最小份額確保作業(yè)池總能獲取到足夠的資源，由用戶設(shè)定。每個(gè)作業(yè)池中有運(yùn)行作業(yè)數(shù)量限制。5配置清單序號(hào)名稱類型技術(shù)規(guī)格數(shù)量臺(tái)數(shù)1數(shù)據(jù)立方名稱節(jié)點(diǎn)和備份名稱節(jié)點(diǎn)服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜12CPU英特爾174。如果作業(yè)由于數(shù)據(jù)本地性未被分配計(jì)算槽超過一定時(shí)間，則此作業(yè)被允許分配一個(gè)計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)在同一機(jī)架內(nèi)，若再過一定時(shí)間后此作業(yè)仍然在等待，則允許分配一個(gè)計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)不在同一機(jī)架內(nèi)。3) 公平調(diào)度算法中為每個(gè)作業(yè)池維護(hù)著兩個(gè)變量，最小份額時(shí)限T和公平份額時(shí)限T，當(dāng)作業(yè)池在T時(shí)間內(nèi)沒達(dá)到最小份額或T時(shí)間內(nèi)沒達(dá)到公平份額的一半時(shí)，公平調(diào)度器將殺死最近開始運(yùn)行的任務(wù)占用其計(jì)算槽,以最小化被浪費(fèi)的計(jì)算。在節(jié)點(diǎn)的TaskTracker上設(shè)置有同時(shí)運(yùn)行的Map任務(wù)和Reduce任務(wù)個(gè)數(shù)上限，若未達(dá)到上限，則就產(chǎn)生了空閑計(jì)算槽，包括Map和Reduce空閑計(jì)算槽。它運(yùn)行有NamenodeProtocol和ClientProtocol兩 個(gè)協(xié)議，與主控服務(wù)器進(jìn)行通信，獲取各個(gè)數(shù)據(jù)服務(wù)器的負(fù)載狀況，從而進(jìn)行調(diào)整。 比如，在分布式文件系統(tǒng)中，總共三百個(gè)數(shù)據(jù)塊，平均分配到十個(gè)數(shù)據(jù)服務(wù)器上，就算均衡了么？其實(shí)不一定，因?yàn)槊恳粋€(gè)數(shù)據(jù)塊需要若干個(gè)備份，各個(gè)備份的分布 應(yīng)該充分考慮到機(jī)架的位置，同一個(gè)機(jī)架的服務(wù)器間通信速度更快，而分布在不同機(jī)架則更具有安全性，不會(huì)在一棵樹上吊死。Zookeeper1 保證任何時(shí)候，集群中只有一個(gè)master2 存貯所有Region的尋址入口3 實(shí)時(shí)監(jiān)控Region Server的狀態(tài)，將Region server的上線和下線信息實(shí)時(shí)通知給Master4 存儲(chǔ)分布式數(shù)據(jù)立方的schema,包括有哪些table，每個(gè)table有哪些column familyMaster1 為Region server分配region2 負(fù)責(zé)region server的負(fù)載均衡3 發(fā)現(xiàn)失效的region server并重新分配其上的region4 GFS上的垃圾文件回收5 處理schema更新請(qǐng)求Region Server1 Region server維護(hù)Master分配給它的region，處理對(duì)這些region的IO請(qǐng)求2 Region server負(fù)責(zé)切分在運(yùn)行過程中變得過大的region通過前端多種高性能的空氣因子采集設(shè)備采集的數(shù)據(jù)通過空氣質(zhì)量監(jiān)測(cè)平臺(tái)將監(jiān)測(cè)數(shù)據(jù)入庫(kù)，查詢構(gòu)架如圖：圖表1數(shù)據(jù)接入，查詢架構(gòu)3負(fù)載均衡機(jī)分布如圖： 圖表2負(fù)載均衡機(jī)分布圖全量原始數(shù)據(jù)接入交換機(jī)，將數(shù)據(jù)發(fā)向指IP的負(fù)載均衡機(jī)，負(fù)載均衡機(jī)向負(fù)載均衡Master節(jié)點(diǎn)請(qǐng)求任務(wù)處理機(jī)，Master返回存任務(wù)處理機(jī)IP端口信息，負(fù)載均衡機(jī)根據(jù)任務(wù)處理機(jī)的IP端口信息將數(shù)據(jù)發(fā)向任務(wù)處理機(jī)。目標(biāo)Hfile的壓縮支持兩種方式：Gzip，Lzo。File Info 段–Hfile的元信息，不被壓縮，用戶也可以在這一部分添加自己的元信息。4 Hregion是分布式數(shù)據(jù)立方中分布式存儲(chǔ)和負(fù)載均衡的最小單元。如果應(yīng)用程序要避免數(shù)據(jù)版本沖突，就必須自己生成具有唯一性的時(shí)間戳。列名都以列族作為前綴。所有數(shù)據(jù)庫(kù)的更新都是一個(gè)時(shí)間戳標(biāo)記，每個(gè)更新都是一個(gè)新的版本，而分布式數(shù)據(jù)立方會(huì)保留一定數(shù)量的版本，這個(gè)值是可以設(shè)定的。分布式數(shù)據(jù)立方可以直接使用本地的文件系統(tǒng)和云計(jì)算作為數(shù)據(jù)存儲(chǔ)方式，不過為了提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，發(fā)揮分布式數(shù)據(jù)立方處理大數(shù)據(jù)量等功能，需要使用云計(jì)算作為文件系統(tǒng)。 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。 虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組DataNode上。(6)支持shell命令行風(fēng)格的分布式文件系統(tǒng)目錄交互。(2)文件會(huì)被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)有復(fù)制的文件塊來保證數(shù)據(jù)安全性。1分布式文件系統(tǒng)分布式文件系統(tǒng)被設(shè)計(jì)為將海量文件存儲(chǔ)在一個(gè)大集群的多臺(tái)計(jì)算機(jī)上。同時(shí)，云存儲(chǔ)采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù)載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。詳細(xì)見圖4。或者是市電和鋰電池進(jìn)行互補(bǔ)方式進(jìn)行供電。太陽(yáng)能供電是利用蓄電池和太陽(yáng)能互補(bǔ)的方式進(jìn)行供電，通過太陽(yáng)能控制器來進(jìn)行互補(bǔ)。將相關(guān)的顆粒濃度轉(zhuǎn)換成相關(guān)的數(shù)據(jù)通過無線通信進(jìn)行數(shù)據(jù)傳輸。除了以上三種測(cè)試方法外，還有利用光散射的原理測(cè)定顆粒物濃度的方法。根據(jù)《2010年灰霾試點(diǎn)監(jiān)測(cè)報(bào)告》，在灰霾天，空氣質(zhì)量的濃度明顯比平時(shí)高，空氣質(zhì)量的濃度越高，能見度就越低。 通道的LOW Pluse的占空比設(shè)定為L(zhǎng)，測(cè)試的采樣值為P。2℃ Vc:177。5% Vh: 5V177。6. 系統(tǒng)軟件的高可靠性和大規(guī)模高速處理能力海量的傳感信號(hào)數(shù)據(jù)通過網(wǎng)絡(luò)送到數(shù)據(jù)服務(wù)器的數(shù)據(jù)庫(kù)。2. 實(shí)時(shí)的數(shù)據(jù)傳達(dá)和報(bào)警單個(gè)的傳感器的數(shù)據(jù)可用來設(shè)成觸發(fā)點(diǎn)來觸發(fā)手機(jī)短信的發(fā)送，的發(fā)送。空氣質(zhì)量歷史查詢處理時(shí)，由于空氣質(zhì)量數(shù)據(jù)量巨大，需要調(diào)度使用多臺(tái)服務(wù)器節(jié)點(diǎn)進(jìn)行并行處理。采集的數(shù)據(jù)經(jīng)過精確的校準(zhǔn)，且靈敏度很高，和環(huán)保部分發(fā)布的空氣質(zhì)量數(shù)據(jù)及趨勢(shì)接近，數(shù)據(jù)真實(shí)有效。因此在建設(shè)系統(tǒng)存儲(chǔ)架構(gòu)時(shí)，應(yīng)從長(zhǎng)遠(yuǎn)的角度考慮，建設(shè)一個(gè)長(zhǎng)期的存儲(chǔ)架構(gòu)，除了可以應(yīng)對(duì)存儲(chǔ)硬件設(shè)備的升級(jí)速度外，還必須考慮到對(duì)前期存儲(chǔ)設(shè)備的投資保護(hù)，在保證不斷提供功能和性能提高的同時(shí)，存儲(chǔ)架構(gòu)在較長(zhǎng)的時(shí)間內(nèi)能夠保持相對(duì)穩(wěn)定。同時(shí)配置安全的備份系統(tǒng)，對(duì)應(yīng)用數(shù)據(jù)進(jìn)行更加安全的數(shù)據(jù)保護(hù)，降低人為操作失誤或病毒襲擊給系統(tǒng)造成的數(shù)據(jù)丟失。具體可歸納為: (1) 根據(jù)環(huán)境質(zhì)量標(biāo)準(zhǔn)，評(píng)價(jià)環(huán)境質(zhì)量。通過海量數(shù)據(jù)的科學(xué)數(shù)據(jù)分析對(duì)比得到主要的反映局部區(qū)域的相關(guān)參考值，從而和宏觀上反映城市的整體的空氣質(zhì)量的監(jiān)測(cè)站點(diǎn)的監(jiān)測(cè)方式形成互補(bǔ)。建設(shè)更多的環(huán)境監(jiān)測(cè)站點(diǎn)需要巨大的資金投入，成本太高。 (4) 為保護(hù)人類健康、保護(hù)環(huán)境、合理使用自然資源、制訂環(huán)境法規(guī)、標(biāo)準(zhǔn)、規(guī)劃等服務(wù)。開放性原則系統(tǒng)建設(shè)具有開放性的標(biāo)準(zhǔn)體系，提供開放的應(yīng)用API編程接口，提供人性化的應(yīng)用和管理界面，以滿足用戶需求。價(jià)格低廉，大規(guī)模部署空氣質(zhì)量環(huán)境監(jiān)測(cè)設(shè)備只有國(guó)際通用的幾分之一，即可滿足空氣質(zhì)量監(jiān)測(cè)、數(shù)據(jù)傳輸功能，無需國(guó)外昂貴的監(jiān)測(cè)設(shè)備，和現(xiàn)有的環(huán)境監(jiān)測(cè)點(diǎn)形成有利互補(bǔ)，對(duì)空氣質(zhì)量數(shù)據(jù)發(fā)布有參考意義。圖1空氣質(zhì)量云監(jiān)控平臺(tái)總體架構(gòu)空氣質(zhì)量監(jiān)測(cè)云平臺(tái)需要提供的主要功能描述如下。3. 節(jié)點(diǎn)數(shù)多，囯外一般150個(gè), 我們可以256個(gè), 還可擴(kuò)充至1000個(gè)以上.4. 系統(tǒng)精度高，比同類產(chǎn)品高一個(gè)數(shù)量級(jí)；5. 安全系數(shù)高，由于我們提供了數(shù)據(jù)完整性的檢查和鑒權(quán)功能，加密算法采用了＂AES128”,即具有高度的保密性。結(jié)點(diǎn)間的結(jié)網(wǎng)是自動(dòng)的。圖2 前端設(shè)備的架構(gòu)我們將按其節(jié)點(diǎn)向所傳輸?shù)木嚯x，采用美國(guó)最新研制的微處理器及采用 Zigbee 等技術(shù)做無線傳輸，并將最新的系統(tǒng)集成技術(shù)，應(yīng)用軟件和網(wǎng)絡(luò)傳輸，射頻技術(shù)和底層軟硬件控制技術(shù)相結(jié)和通過該特征因子傳感器可以監(jiān)測(cè)大氣中的環(huán)境監(jiān)測(cè)的特征因子：（1）硫化氫氣體傳感器檢測(cè)范圍 0—100ppm最大測(cè)量限 150ppm靈敏度 177。不分別給出各組份的含量。注：此傳感器只測(cè)混和氣體濃度。 通過相關(guān)的采樣，可以采樣得到傳感器的兩個(gè)通道的值，一個(gè)通道是1um以上的粒子的值P1，另外一個(gè)通道是可以進(jìn)行設(shè)置的。當(dāng)顆粒物的直徑和可見光的波長(zhǎng)接近的時(shí)候，顆粒對(duì)光的散射消光能力最強(qiáng)。該測(cè)試方式測(cè)定速度快，自動(dòng)化程度高，操作簡(jiǎn)單。圖10GPRS數(shù)據(jù)傳輸數(shù)據(jù)在前端