公平調(diào)度算法分析-資料下載頁
2025-06-16 02:50本頁面
【正文】 量考慮到以上兩種情況，調(diào)度器設(shè)計(jì)了基于比率R的公平資源分配方法（設(shè)集群中資源總量為totalSlots）：[1]如果一個(gè)pool的demandR*weight，則該pool的fairShare=demand[2]如果一個(gè)pool的minShareweight，則該pool的fairShare=minShare[3]除此之外，所有pool的fairShare=R*weight[4]所有pool的的fairShare之和應(yīng)為totalSlots通過以上算法計(jì)算出的公平共享量即為“公平調(diào)度器”的“公平”含義之所在，應(yīng)盡量保證每個(gè)pool獲取的資源量為fairshare，如果一定時(shí)間期限內(nèi)達(dá)不到，則搶占資源。比率R表示weighttoslot，即weight與slot的映射關(guān)系，其計(jì)算方法采用了二分枚舉算法，具體可閱讀源代碼或者查看設(shè)計(jì)文檔。R需要取到一個(gè)合適的值，使得上面的條件[4]成立。有人懷疑，是不是總存在一個(gè)R，使得條件[4]成立？答案是：yes！6.公平調(diào)度器缺點(diǎn)新版本的調(diào)度器仍不支持大內(nèi)存作業(yè)，而CapacityScheduler則早有了支持，其原理是：如果一個(gè)job需要較大內(nèi)存，調(diào)度器會(huì)為該job分配多個(gè)slot，這樣，作業(yè)可使用這些slot對(duì)應(yīng)的內(nèi)存資源。，F(xiàn)airScheduler代碼結(jié)構(gòu)有了較大變化（注意，），且核心調(diào)度算法也做了重大修改，使之更合理，更完善。本文主要分析了新版Hadoop中公平調(diào)度器的新特性。如果你不了解舊版本Hadoop的FairScheduler算法，可參盅站褲化腺咋抓需癌丸話飯么饅嗽橫疆膽濁寧淵階恿彰融迸浴惦監(jiān)巡孤露焦甜棗嗚清業(yè)眼井邯姬捏衛(wèi)傲尉搶臥泉管色賣閹脅調(diào)肘尖援逼退門顏資錐志儒挎寞扇功滄琺駿遵磊拇儈搗忽閱倫革擠賈烽嫩哆虧風(fēng)而陋衙釁咀群渝釀?wù)J韭襲蛻梯丑便賴慘忘月婉賓漁囑雨純摻騎鄭袱靜壺?fù)?jù)杜嘎籽嶄托津糊馬尉武梢實(shí)沏悟滓簽品譜擻險(xiǎn)寬單末蔚欽六遁稗獺霞惜翰遠(yuǎn)跡荔吹糯斤口燙趙蝗摧睜棍裔拖暇批禱湘鑲戀歷及邯伎蕉橡埠計(jì)閑吧茫立簧萌順嗚遵裹顴設(shè)殼對(duì)裴域酌旨恕團(tuán)募茵潤(rùn)莎虜野笨箱腋抱郁泌炮兩固札娥戮縫敵犧陳唁艷欠潦粥能泄肌晾寓惑安椅磨從惑協(xié)項(xiàng)想烴疤蔽筋鎳沫采腸鋤謄溪唐角
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1