【正文】 得知任務(wù)處理宕機(jī)后, 將任務(wù)處理機(jī)信息刪除待分配列表。第二步：負(fù)載均衡機(jī)向Master請(qǐng)求任務(wù)處理機(jī)，Master重新分配任務(wù)處理機(jī)給負(fù)載均衡機(jī)。第三步： 負(fù)載均衡機(jī)將原始數(shù)據(jù)發(fā)向新任務(wù)處理機(jī)，進(jìn)行查詢 負(fù)載的均衡，就是要讓大家各盡其力齊心干活，發(fā)揮各自獨(dú)特的優(yōu)勢(shì)，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。而且，負(fù)載均衡也是一個(gè)復(fù)雜的問(wèn)題，什么是均衡，是一個(gè)很模糊的概念。 比如，在分布式文件系統(tǒng)中，總共三百個(gè)數(shù)據(jù)塊，平均分配到十個(gè)數(shù)據(jù)服務(wù)器上，就算均衡了么？其實(shí)不一定，因?yàn)槊恳粋€(gè)數(shù)據(jù)塊需要若干個(gè)備份，各個(gè)備份的分布 應(yīng)該充分考慮到機(jī)架的位置，同一個(gè)機(jī)架的服務(wù)器間通信速度更快，而分布在不同機(jī)架則更具有安全性，不會(huì)在一棵樹(shù)上吊死。在這里說(shuō)的負(fù)載均衡，是寬泛意義上的均衡過(guò)程， 主要涵蓋兩個(gè)階段的事務(wù)，一個(gè)是在任務(wù)初始分配的時(shí)候盡可能合理分配，另一個(gè)是在事后時(shí)刻監(jiān)督及時(shí)調(diào)整。 分布式文件系統(tǒng)中，ReplicationTargetChooser類， 是負(fù)責(zé)實(shí)現(xiàn)為新分配的數(shù)據(jù)塊尋找婆家的?；旧蟻?lái)說(shuō)，數(shù)據(jù)塊的分配工作和備份的數(shù)量、申請(qǐng)的客戶端地址（也就是寫入者）、已注冊(cè)的數(shù)據(jù)服務(wù)器位置，密切相 關(guān)。其算法基本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫入者的速度，讓多份備份分配到不同的機(jī)架去。具體算法，自行參見(jiàn)源碼。此外，分布式文件系統(tǒng)的Balancer類， 是為了實(shí)現(xiàn)動(dòng)態(tài)的負(fù)載調(diào)整而存在的。Balancer類派生于Tool類，這說(shuō)明，它是以一個(gè)獨(dú)立的進(jìn)程存在的，可以 獨(dú)立的運(yùn)行和配置。它運(yùn)行有NamenodeProtocol和ClientProtocol兩 個(gè)協(xié)議，與主控服務(wù)器進(jìn)行通信，獲取各個(gè)數(shù)據(jù)服務(wù)器的負(fù)載狀況，從而進(jìn)行調(diào)整。主要的調(diào)整其實(shí)就是一個(gè)操作，將一個(gè)數(shù)據(jù)塊從一個(gè)服務(wù)器搬遷到另一個(gè)服務(wù)器 上。Balancer會(huì)向相關(guān)的目標(biāo)數(shù)據(jù)服務(wù)器發(fā)出一個(gè) 息，接收到這個(gè)消息的數(shù)據(jù)服務(wù)器，會(huì)將數(shù)據(jù)塊寫入本地，成功后，通知主控服務(wù)器，刪除早先的那個(gè)數(shù)據(jù)服務(wù)器上的同一塊數(shù)據(jù)塊。 分布式計(jì)算負(fù)載平衡用的是公平調(diào)度算法，公平調(diào)度是一種多用戶的賦予作業(yè)（job）資源的策略，它的目的是讓所有的作業(yè)隨著時(shí)間的推移，都能獲取與權(quán)值相應(yīng)的共享資源。當(dāng)單獨(dú)一個(gè)作業(yè)在運(yùn)行時(shí)，它將使用整個(gè)集群。當(dāng)有其它作業(yè)被提交上來(lái)時(shí)，系統(tǒng)會(huì)將任務(wù)（task）空閑計(jì)算槽（slot）賦給這些新的作業(yè)，以使得每一個(gè)作業(yè)都大概獲取到與權(quán)值相應(yīng)的計(jì)算時(shí)間。這個(gè)特性讓短作業(yè)在合理的時(shí)間內(nèi)完成的同時(shí)又保證了長(zhǎng)作業(yè)的服務(wù)質(zhì)量。公平調(diào)度器按資源池（pool）來(lái)組織作業(yè)，默認(rèn)情況下，每一個(gè)用戶擁有一個(gè)獨(dú)立的資源池。在節(jié)點(diǎn)的TaskTracker上設(shè)置有同時(shí)運(yùn)行的Map任務(wù)和Reduce任務(wù)個(gè)數(shù)上限，若未達(dá)到上限，則就產(chǎn)生了空閑計(jì)算槽，包括Map和Reduce空閑計(jì)算槽。當(dāng)集群上出現(xiàn)空閑計(jì)算槽時(shí)，調(diào)度按兩步進(jìn)行，首先空閑計(jì)算槽在作業(yè)池之間分配，其次在作業(yè)池內(nèi)的作業(yè)間分配。最小份額和公平份額最小份額確保作業(yè)池總能獲取到足夠的資源，由用戶設(shè)定。作業(yè)池的公平份額的計(jì)算是根據(jù)作業(yè)的權(quán)值將集群的資源總量劃分給各個(gè)運(yùn)行的作業(yè)池。在缺省的情況下，作業(yè)池權(quán)值的設(shè)定是基于優(yōu)先級(jí)的，即優(yōu)先級(jí)每升高一級(jí)，那么相應(yīng)的權(quán)值就增加一倍即所分配的計(jì)算槽是次一級(jí)的兩倍。例如：平臺(tái)上有甲乙兩個(gè)作業(yè)池，甲優(yōu)先級(jí)為high，乙低一級(jí)為normal，則甲被分配計(jì)算槽總數(shù)的，則乙被分配計(jì)算槽總數(shù)的。通常情況下一個(gè)作業(yè)池的最小份額小于公平份額。池間的公平分配算法描述如下： 1) 若存在沒(méi)有達(dá)到最小份額的作業(yè)池，則設(shè)c為池內(nèi)已分配到的計(jì)算槽，m為作業(yè)池的最小份額，值為最小的作業(yè)池將被優(yōu)先分配計(jì)算槽，2) 若每個(gè)池都已得到最小份額，設(shè)w為計(jì)算槽的權(quán)重，則值為最小的作業(yè)池將被優(yōu)先分配計(jì)算槽。3) 公平調(diào)度算法中為每個(gè)作業(yè)池維護(hù)著兩個(gè)變量，最小份額時(shí)限T和公平份額時(shí)限T，當(dāng)作業(yè)池在T時(shí)間內(nèi)沒(méi)達(dá)到最小份額或T時(shí)間內(nèi)沒(méi)達(dá)到公平份額的一半時(shí)，公平調(diào)度器將殺死最近開(kāi)始運(yùn)行的任務(wù)占用其計(jì)算槽,以最小化被浪費(fèi)的計(jì)算。搶占不會(huì)導(dǎo)致被搶占的作業(yè)失敗,因?yàn)樵朴?jì)算作業(yè)容忍任務(wù)丟失。每個(gè)作業(yè)池中有運(yùn)行作業(yè)數(shù)量限制。若達(dá)到作業(yè)池上限，則后續(xù)作業(yè)將在調(diào)度隊(duì)列中等待，直到早先的作業(yè)執(zhí)行完成并釋放計(jì)算槽。池內(nèi)計(jì)算槽的分配池內(nèi)作業(yè)間計(jì)算槽的分配，可以按照池間公平分配算法或按照云計(jì)算默認(rèn)的FIFO進(jìn)行。當(dāng)采取公平分配算法時(shí)，池內(nèi)的作業(yè)也被設(shè)置最小份額并按權(quán)值被統(tǒng)計(jì)公平份額，作業(yè)間的公平分配與作業(yè)池間的公平分配基本類似。而由于較差的數(shù)據(jù)本地性，公平調(diào)度策略又提供了一個(gè)輔助的池內(nèi)作業(yè)間的等待調(diào)度算法（Delay Scheduling），雖然犧牲了一定程度的公平性，但由于考慮到了云計(jì)算平臺(tái)的數(shù)據(jù)本地性，使得小作業(yè)的響應(yīng)時(shí)間有了較大的改善并提高了集群的吞吐率。算法描述如下：在作業(yè)池內(nèi)，當(dāng)出現(xiàn)空閑計(jì)算槽時(shí)，按公平分配或FIFO排序的作業(yè)隊(duì)列，頭結(jié)點(diǎn)作業(yè)所需數(shù)據(jù)不在此計(jì)算槽所在的節(jié)點(diǎn)上時(shí)，則將此槽分配給下一個(gè)節(jié)點(diǎn)，以此類推。如果作業(yè)由于數(shù)據(jù)本地性未被分配計(jì)算槽超過(guò)一定時(shí)間，則此作業(yè)被允許分配一個(gè)計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)在同一機(jī)架內(nèi)，若再過(guò)一定時(shí)間后此作業(yè)仍然在等待，則允許分配一個(gè)計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)不在同一機(jī)架內(nèi)。 綜合上述，空氣質(zhì)量環(huán)境監(jiān)測(cè)系統(tǒng)架構(gòu)云計(jì)算海量數(shù)據(jù)處理平臺(tái)，存儲(chǔ)本區(qū)域海量數(shù)據(jù)，積累長(zhǎng)期監(jiān)測(cè)資料，為研究環(huán)境容量、實(shí)施總量控制、目標(biāo)管理、預(yù)測(cè)預(yù)報(bào)環(huán)境質(zhì)量、環(huán)境治理提供數(shù)據(jù)。5配置清單序號(hào)名稱類型技術(shù)規(guī)格數(shù)量臺(tái)數(shù)1數(shù)據(jù)立方名稱節(jié)點(diǎn)和備份名稱節(jié)點(diǎn)服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜12CPU英特爾174。 至強(qiáng) E2600系列芯片組 2GHz以上6核12線程 L3緩存12MB2內(nèi)存8GB DDR38內(nèi)置硬盤”500G/7200RPM/32M/SATA(系統(tǒng)盤)1硬盤”1000G/7200RPM SATA 熱插拔2網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺(tái)1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個(gè)RDIMM內(nèi)存插槽12數(shù)據(jù)立方處理節(jié)點(diǎn)服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜15CPU英特爾174。 至強(qiáng) E5606系列芯片組 2GHz以上 4核8線程 L3緩存12MB2內(nèi)存8GB DDR38內(nèi)置硬盤”500G/7200RPM/32M/SATA(系統(tǒng)盤)1硬盤”2000G/7200RPM SATA 熱插拔4網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺(tái)1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個(gè)RDIMM內(nèi)存插槽1　　網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺(tái)1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個(gè)RDIMM內(nèi)存插槽13web服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜11CPU英特爾174。 至強(qiáng) E2600系列芯片組 6核12線程 L3緩存12MB2內(nèi)存8GB DDR38硬盤”1000G/7200RPM SATA 熱插拔1　網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2　平臺(tái)1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個(gè)RDIMM內(nèi)存插槽14特征因子檢測(cè)設(shè)備硬件無(wú)線節(jié)點(diǎn)，室外箱柜，節(jié)點(diǎn)供電，室外天線，Voc 傳感器，HN3 傳感器，H2S 傳感器，可燃?xì)怏w，傳感器，室外傳感器柜，高功率天線，無(wú)線功率放大1805硬件外裝箱，主板，太陽(yáng)能控制器，傳感器，適配器，傳感器線材太陽(yáng)能板，蓄電池，太陽(yáng)能支架，手機(jī)卡，鑰匙，其他配件1806無(wú)線接收基站硬件無(wú)線接收基站117配套設(shè)施交換機(jī)思科16口千兆交換機(jī)11機(jī)柜數(shù)據(jù)立方的機(jī)柜1電源ups等電源線2根網(wǎng)線所有電腦連接的網(wǎng)線10根8cproc數(shù)據(jù)立方系統(tǒng)數(shù)據(jù)庫(kù)使用Cproc云計(jì)算數(shù)據(jù)立方系統(tǒng)數(shù)據(jù)庫(kù)1套19軟件開(kāi)發(fā)軟件包括空氣監(jiān)測(cè)平臺(tái),web展示和手機(jī)終端應(yīng)用訪問(wèn)1110部署安裝費(fèi)用勞務(wù)安裝部署，調(diào)試所有的空氣質(zhì)量監(jiān)測(cè)測(cè)設(shè)備1111后期維護(hù)服務(wù)整體平臺(tái)采集設(shè)備，平臺(tái)一年質(zhì)保1年1