【正文】 后, 將任務(wù)處理機(jī)信息刪除待分配列表。第二步：負(fù)載均衡機(jī)向Master請求任務(wù)處理機(jī)，Master重新分配任務(wù)處理機(jī)給負(fù)載均衡機(jī)。第三步： 負(fù)載均衡機(jī)將原始數(shù)據(jù)發(fā)向新任務(wù)處理機(jī)，進(jìn)行查詢 負(fù)載的均衡，就是要讓大家各盡其力齊心干活，發(fā)揮各自獨(dú)特的優(yōu)勢，不能忙得忙死閑得閑死，影響戰(zhàn)斗力。而且，負(fù)載均衡也是一個復(fù)雜的問題，什么是均衡，是一個很模糊的概念。 比如，在分布式文件系統(tǒng)中，總共三百個數(shù)據(jù)塊，平均分配到十個數(shù)據(jù)服務(wù)器上，就算均衡了么？其實(shí)不一定，因?yàn)槊恳粋€數(shù)據(jù)塊需要若干個備份，各個備份的分布 應(yīng)該充分考慮到機(jī)架的位置，同一個機(jī)架的服務(wù)器間通信速度更快，而分布在不同機(jī)架則更具有安全性，不會在一棵樹上吊死。在這里說的負(fù)載均衡，是寬泛意義上的均衡過程， 主要涵蓋兩個階段的事務(wù)，一個是在任務(wù)初始分配的時候盡可能合理分配，另一個是在事后時刻監(jiān)督及時調(diào)整。 分布式文件系統(tǒng)中，ReplicationTargetChooser類， 是負(fù)責(zé)實(shí)現(xiàn)為新分配的數(shù)據(jù)塊尋找婆家的?；旧蟻碚f，數(shù)據(jù)塊的分配工作和備份的數(shù)量、申請的客戶端地址（也就是寫入者）、已注冊的數(shù)據(jù)服務(wù)器位置，密切相 關(guān)。其算法基本思路是只考量靜態(tài)位置信息，優(yōu)先照顧寫入者的速度，讓多份備份分配到不同的機(jī)架去。具體算法，自行參見源碼。此外，分布式文件系統(tǒng)的Balancer類， 是為了實(shí)現(xiàn)動態(tài)的負(fù)載調(diào)整而存在的。Balancer類派生于Tool類，這說明，它是以一個獨(dú)立的進(jìn)程存在的，可以 獨(dú)立的運(yùn)行和配置。它運(yùn)行有NamenodeProtocol和ClientProtocol兩 個協(xié)議，與主控服務(wù)器進(jìn)行通信，獲取各個數(shù)據(jù)服務(wù)器的負(fù)載狀況，從而進(jìn)行調(diào)整。主要的調(diào)整其實(shí)就是一個操作，將一個數(shù)據(jù)塊從一個服務(wù)器搬遷到另一個服務(wù)器 上。Balancer會向相關(guān)的目標(biāo)數(shù)據(jù)服務(wù)器發(fā)出一個 息，接收到這個消息的數(shù)據(jù)服務(wù)器，會將數(shù)據(jù)塊寫入本地，成功后，通知主控服務(wù)器，刪除早先的那個數(shù)據(jù)服務(wù)器上的同一塊數(shù)據(jù)塊。 分布式計(jì)算負(fù)載平衡用的是公平調(diào)度算法，公平調(diào)度是一種多用戶的賦予作業(yè)（job）資源的策略，它的目的是讓所有的作業(yè)隨著時間的推移，都能獲取與權(quán)值相應(yīng)的共享資源。當(dāng)單獨(dú)一個作業(yè)在運(yùn)行時，它將使用整個集群。當(dāng)有其它作業(yè)被提交上來時，系統(tǒng)會將任務(wù)（task）空閑計(jì)算槽（slot）賦給這些新的作業(yè)，以使得每一個作業(yè)都大概獲取到與權(quán)值相應(yīng)的計(jì)算時間。這個特性讓短作業(yè)在合理的時間內(nèi)完成的同時又保證了長作業(yè)的服務(wù)質(zhì)量。公平調(diào)度器按資源池（pool）來組織作業(yè)，默認(rèn)情況下，每一個用戶擁有一個獨(dú)立的資源池。在節(jié)點(diǎn)的TaskTracker上設(shè)置有同時運(yùn)行的Map任務(wù)和Reduce任務(wù)個數(shù)上限，若未達(dá)到上限，則就產(chǎn)生了空閑計(jì)算槽，包括Map和Reduce空閑計(jì)算槽。當(dāng)集群上出現(xiàn)空閑計(jì)算槽時，調(diào)度按兩步進(jìn)行，首先空閑計(jì)算槽在作業(yè)池之間分配，其次在作業(yè)池內(nèi)的作業(yè)間分配。最小份額和公平份額最小份額確保作業(yè)池總能獲取到足夠的資源，由用戶設(shè)定。作業(yè)池的公平份額的計(jì)算是根據(jù)作業(yè)的權(quán)值將集群的資源總量劃分給各個運(yùn)行的作業(yè)池。在缺省的情況下，作業(yè)池權(quán)值的設(shè)定是基于優(yōu)先級的，即優(yōu)先級每升高一級，那么相應(yīng)的權(quán)值就增加一倍即所分配的計(jì)算槽是次一級的兩倍。例如：平臺上有甲乙兩個作業(yè)池，甲優(yōu)先級為high，乙低一級為normal，則甲被分配計(jì)算槽總數(shù)的，則乙被分配計(jì)算槽總數(shù)的。通常情況下一個作業(yè)池的最小份額小于公平份額。池間的公平分配算法描述如下： 1) 若存在沒有達(dá)到最小份額的作業(yè)池，則設(shè)c為池內(nèi)已分配到的計(jì)算槽，m為作業(yè)池的最小份額，值為最小的作業(yè)池將被優(yōu)先分配計(jì)算槽，2) 若每個池都已得到最小份額，設(shè)w為計(jì)算槽的權(quán)重，則值為最小的作業(yè)池將被優(yōu)先分配計(jì)算槽。3) 公平調(diào)度算法中為每個作業(yè)池維護(hù)著兩個變量，最小份額時限T和公平份額時限T，當(dāng)作業(yè)池在T時間內(nèi)沒達(dá)到最小份額或T時間內(nèi)沒達(dá)到公平份額的一半時，公平調(diào)度器將殺死最近開始運(yùn)行的任務(wù)占用其計(jì)算槽,以最小化被浪費(fèi)的計(jì)算。搶占不會導(dǎo)致被搶占的作業(yè)失敗,因?yàn)樵朴?jì)算作業(yè)容忍任務(wù)丟失。每個作業(yè)池中有運(yùn)行作業(yè)數(shù)量限制。若達(dá)到作業(yè)池上限，則后續(xù)作業(yè)將在調(diào)度隊(duì)列中等待，直到早先的作業(yè)執(zhí)行完成并釋放計(jì)算槽。池內(nèi)計(jì)算槽的分配池內(nèi)作業(yè)間計(jì)算槽的分配，可以按照池間公平分配算法或按照云計(jì)算默認(rèn)的FIFO進(jìn)行。當(dāng)采取公平分配算法時，池內(nèi)的作業(yè)也被設(shè)置最小份額并按權(quán)值被統(tǒng)計(jì)公平份額，作業(yè)間的公平分配與作業(yè)池間的公平分配基本類似。而由于較差的數(shù)據(jù)本地性，公平調(diào)度策略又提供了一個輔助的池內(nèi)作業(yè)間的等待調(diào)度算法（Delay Scheduling），雖然犧牲了一定程度的公平性，但由于考慮到了云計(jì)算平臺的數(shù)據(jù)本地性，使得小作業(yè)的響應(yīng)時間有了較大的改善并提高了集群的吞吐率。算法描述如下：在作業(yè)池內(nèi)，當(dāng)出現(xiàn)空閑計(jì)算槽時，按公平分配或FIFO排序的作業(yè)隊(duì)列，頭結(jié)點(diǎn)作業(yè)所需數(shù)據(jù)不在此計(jì)算槽所在的節(jié)點(diǎn)上時，則將此槽分配給下一個節(jié)點(diǎn)，以此類推。如果作業(yè)由于數(shù)據(jù)本地性未被分配計(jì)算槽超過一定時間，則此作業(yè)被允許分配一個計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)在同一機(jī)架內(nèi)，若再過一定時間后此作業(yè)仍然在等待，則允許分配一個計(jì)算槽，此計(jì)算槽所在節(jié)點(diǎn)可以與其所需數(shù)據(jù)所在節(jié)點(diǎn)不在同一機(jī)架內(nèi)。 綜合上述，空氣質(zhì)量環(huán)境監(jiān)測系統(tǒng)架構(gòu)云計(jì)算海量數(shù)據(jù)處理平臺，存儲本區(qū)域海量數(shù)據(jù)，積累長期監(jiān)測資料，為研究環(huán)境容量、實(shí)施總量控制、目標(biāo)管理、預(yù)測預(yù)報環(huán)境質(zhì)量、環(huán)境治理提供數(shù)據(jù)。5配置清單序號名稱類型技術(shù)規(guī)格數(shù)量臺數(shù)1數(shù)據(jù)立方名稱節(jié)點(diǎn)和備份名稱節(jié)點(diǎn)服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜12CPU英特爾174。 至強(qiáng) E2600系列芯片組 2GHz以上6核12線程 L3緩存12MB2內(nèi)存8GB DDR38內(nèi)置硬盤”500G/7200RPM/32M/SATA(系統(tǒng)盤)1硬盤”1000G/7200RPM SATA 熱插拔2網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽12數(shù)據(jù)立方處理節(jié)點(diǎn)服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜15CPU英特爾174。 至強(qiáng) E5606系列芯片組 2GHz以上 4核8線程 L3緩存12MB2內(nèi)存8GB DDR38內(nèi)置硬盤”500G/7200RPM/32M/SATA(系統(tǒng)盤)1硬盤”2000G/7200RPM SATA 熱插拔4網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽1　　網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽13web服務(wù)器機(jī)箱（高 *寬*深）： 88mm*430mm*675mm支持 19 英寸標(biāo)準(zhǔn)機(jī)柜11CPU英特爾174。 至強(qiáng) E2600系列芯片組 6核12線程 L3緩存12MB2內(nèi)存8GB DDR38硬盤”1000G/7200RPM SATA 熱插拔1　網(wǎng)絡(luò)板載千兆網(wǎng)口, 支持負(fù)載均衡和失敗替換2　平臺1U節(jié)點(diǎn) 520W（1+1）冗余高效能電源，盤位，6個RDIMM內(nèi)存插槽14特征因子檢測設(shè)備硬件無線節(jié)點(diǎn)，室外箱柜，節(jié)點(diǎn)供電，室外天線，Voc 傳感器，HN3 傳感器，H2S 傳感器，可燃?xì)怏w，傳感器，室外傳感器柜，高功率天線，無線功率放大1805硬件外裝箱，主板，太陽能控制器，傳感器，適配器，傳感器線材太陽能板，蓄電池，太陽能支架，手機(jī)卡，鑰匙，其他配件1806無線接收基站硬件無線接收基站117配套設(shè)施交換機(jī)思科16口千兆交換機(jī)11機(jī)柜數(shù)據(jù)立方的機(jī)柜1電源ups等電源線2根網(wǎng)線所有電腦連接的網(wǎng)線10根8cproc數(shù)據(jù)立方系統(tǒng)數(shù)據(jù)庫使用Cproc云計(jì)算數(shù)據(jù)立方系統(tǒng)數(shù)據(jù)庫1套19軟件開發(fā)軟件包括空氣監(jiān)測平臺,web展示和手機(jī)終端應(yīng)用訪問1110部署安裝費(fèi)用勞務(wù)安裝部署，調(diào)試所有的空氣質(zhì)量監(jiān)測測設(shè)備1111后期維護(hù)服務(wù)整體平臺采集設(shè)備，平臺一年質(zhì)保1年147 / 47