【正文】 集群系統(tǒng)資源獲取 LilyCRM ?在集群系統(tǒng)中獲取節(jié)點信息 ? 可以獲取節(jié)點的計算資源信息和進程信息 ? 節(jié)點可以動態(tài)加入、退出集群系統(tǒng) ? 同時支持 Linux、 Windows的節(jié)點 ? 已經(jīng)實現(xiàn)基本的分層次信息獲取 ? 通過標(biāo)準(zhǔn) /proc文件系統(tǒng)將信息提供給使用者 ? 由碩士研究生沈堅實際完成 第三部分：研究重點 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 信息團模型的自然簡單描述 ?基礎(chǔ)描述 ? 參考網(wǎng)絡(luò)自然拓?fù)涞惹闆r，最底層組成多個子系統(tǒng)，每個由少量（如 10臺）計算機構(gòu)成對等結(jié)構(gòu)，形成信息團 ? 這些信息團子系統(tǒng)可以繼續(xù)組織成多個層次，各個層次所需信息的空間粒度及時間粒度不同 ? 各子系統(tǒng)間使用分層連動制進行交互 ? 基本的任務(wù)管理策略：具有分時性質(zhì)的分區(qū)共享 ?主要優(yōu)勢 ? 可在大規(guī)模集群系統(tǒng)中充分利用系統(tǒng)計算資源 ? 層次化管理，可將多個不同網(wǎng)絡(luò)的系統(tǒng)組織成更大系統(tǒng)，適應(yīng) Grid環(huán)境 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理邏輯模型小結(jié) ?兩個重要問題 ? 對于子系統(tǒng)內(nèi)部調(diào)度框架的思考 ? 信息負(fù)責(zé)點分層連動制 ?似乎都是 “顯而易見”的想法 ? 但是把整個理論完善起來并不容易 ? 關(guān)鍵在于能否根據(jù)此理論實現(xiàn)高效的實用系統(tǒng) ? 尚屬初步的研究階段，具有很大的研究空間 ?尚需工作 ? 模型的具體細(xì)節(jié)，如一個任務(wù)所需處理器個數(shù)超過任何一個最底層子系統(tǒng)怎么辦？ ? 需要證明，將猜想轉(zhuǎn)變?yōu)槔碚? ? 結(jié)合管理性能模型進一步優(yōu)化 ? 實現(xiàn)高效的實用系統(tǒng) 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 子系統(tǒng)處理任務(wù)過程 [2] 第二部分：若干思路 NX1 NX2 NY1 NY2 NZ1 NZ2 NUx | CX NUy | CY NUz | CZ CU TIM 當(dāng) X能力不足時，通過 CX將無法完成的部分任務(wù) TIM提交到 U U T1 T2 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對理論方面的分析三：管理模型 ?機器模型 ?任務(wù)模型 ?管理模型 ?邏輯模型 ?性能模型 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 考察學(xué)界現(xiàn)有的任務(wù)模型 [1] ?最直觀的任務(wù)描述方法 ? 任務(wù)所需要的處理器個數(shù) ? 任務(wù)在某個處理器上的執(zhí)行時間 ? 任務(wù)之間的執(zhí)行序關(guān)系 ?目前任務(wù)描述方法的不足 ? 多數(shù)研究假定每個任務(wù)在每個處理器上的執(zhí)行時間已知、任務(wù)之間的通信時間也已知 ? 有些研究假定任務(wù)工作量相等，有些假定任務(wù)間無關(guān)系 ? 頂尖的期刊中也有很多這樣的情況（如 IEEE TPDS，., Scheduling Strategies for MasterSlave Tasking on Heterogeneous Processor Platforms） 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 猜想：最底層應(yīng)小規(guī)模且對等 ?相對集中式管理的優(yōu)勢 ? 每臺計算機都有子系統(tǒng)全部信息 ? 利于避免單節(jié)點失效 ? 資源管理時能夠更有效地統(tǒng)籌全局 ? 進行資源管理時無需等待主節(jié)點處理結(jié)果 ? 可以隨意選擇一臺計算機作為信息負(fù)責(zé)點，如最輕負(fù)載 ?可避免傳統(tǒng)分布式處理方法的不足 ? 各計算機一定在同一子網(wǎng)中，可利用高效組播獲取信息 ? 當(dāng)計算機數(shù)目少的時候，信息滯后問題可忽略，可認(rèn)為所有信息都即時準(zhǔn)確，故可采用相對簡單的算法實現(xiàn)分布式資源管理 ?猜想小結(jié) ? 最底層計算機數(shù)目應(yīng)較少（例如 10個），形成信息團 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對理論方面的分析一：機器模型 ?機器模型 ?計算資源 ?邏輯拓?fù)? ?任務(wù)模型 ?管理模型 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 直觀想法：分層次進行資源管理 ?思想根源 ? 一臺計算機的資源管理，應(yīng)該對離它越近的計算機影響越大，因此可以將相隔近的計算機組成小系統(tǒng)，小系統(tǒng)之間再管理 ? 在不同網(wǎng)絡(luò)的兩個計算機系統(tǒng)之間的影響應(yīng)當(dāng)較小 ?試圖解決在大規(guī)模集群系統(tǒng)中的若干問題 ? 單節(jié)點瓶頸 ? 管理消息過多、管理復(fù)雜 ? 信息滯后、跨網(wǎng)絡(luò)管理 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 問題著手前的一些零散思考 [2] ?完全分布式管理 ? 每個節(jié)點都含有其它節(jié)點的信息 ? 減輕了大規(guī)模系統(tǒng)中的單節(jié)點瓶頸問題 注意，在信息獲取后，每節(jié)點對所有節(jié)點信息的整合工作所需工作量與集中式相同，但每節(jié)點只需產(chǎn)生自己的調(diào)度信息，且不必將此信息傳遞給其它節(jié)點 ?未解決大規(guī)模系統(tǒng)中的信息滯后問題 ?引發(fā)新的問題 ? 網(wǎng)絡(luò)中消息數(shù)目過多 獲取信息時，集中式算法中只需要 N1條（對）消息，而完全分布式算法需要 N*(N1)條消息，或者 N1條廣播 ? 當(dāng)系統(tǒng)規(guī)模變大時，由于所得其它節(jié)點的信息可能滯后，各節(jié)點進行分布式資源管理所需協(xié)調(diào)工作更加復(fù)雜 第一部分：面臨挑戰(zhàn) 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 第一部分：面臨著的挑戰(zhàn) ?第一部分：面臨著的挑戰(zhàn) ? 大規(guī)模集群中的計算資源與作業(yè)管理 ? 問題著手前的一些零散思考 ?第二部分：解決問題的若干思路 ?第三部分：研究重點的確立 ?第四部分：博士論文工作計劃 信息科學(xué)技術(shù)學(xué)院 博士研究生開題報告 大規(guī)模集群系統(tǒng)的 計算資源與作業(yè)管理 王韜 北京大學(xué)信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 集群系統(tǒng)，計算資源與作業(yè)管理 ?集群系統(tǒng)－日益重要的高性能計算環(huán)境 ? 集群系統(tǒng)：網(wǎng)絡(luò)技術(shù)連接起來的計算機組合，協(xié)同工作 ? 人們對計算資源的需求遠(yuǎn)遠(yuǎn)超過單處理器的發(fā)展 ? 具有最高性價比的高性能計算環(huán)境 ?重要的領(lǐng)域－計算資源與作業(yè)管理 ? 人們可以制造峰值計算能力每秒幾十萬億次的集群系統(tǒng) ? 人們不知道應(yīng)當(dāng)如何充分利用這些計算能力 ? 不僅僅單個并行程序無法有效利用集群系統(tǒng)，多個程序（作業(yè)）同時運行時也很難充分利用集群系統(tǒng)資源 ? 性能－搭建集群系統(tǒng)的首要目的：使我們關(guān)注“計算資源與作業(yè)管理”領(lǐng)域的研究 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 問題著手前的一些零散思考 [3] ?跨網(wǎng)絡(luò)管理 ? 大規(guī)模集群系統(tǒng)中的一部分可能處于一個內(nèi)部子網(wǎng) ? 外界只能訪問子網(wǎng)內(nèi)連接到外部網(wǎng)絡(luò)的節(jié)點 ?解決方法 ? 將子網(wǎng)內(nèi)連接到外部網(wǎng)絡(luò)的節(jié)點作為“代理”，系統(tǒng)管理“代理”，“代理”管理內(nèi)網(wǎng) ? 于是，如何有效地將這種“代理”納入到整體模型中就成為一個與性能相關(guān)的問題 第一部分：面臨挑戰(zhàn) 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對于資源的分層次管理思想 ?系統(tǒng)的層次化分解與組合 ? 根據(jù)性能及網(wǎng)絡(luò)情況，將系統(tǒng)分為若干子系統(tǒng) ? 每個子系統(tǒng)內(nèi)部進行管理，再將子系統(tǒng)作為整體進行管理 ? 可以根據(jù)需要，進行子系統(tǒng)分解與組合 ?對層次化管理思想的分析 ? 它只是一個指導(dǎo)思想：“層次化的管理原則” ? 人類的經(jīng)驗表明，層次化的管理原則是正確的 ? 關(guān)鍵在于，如何將這個思想原則，對應(yīng)成實際的模型與系統(tǒng) 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 機器模型之計算資源 ?重要的計算資源 ? 處理器、內(nèi)存、網(wǎng)絡(luò)， …… ?重要的信息 ? 資源靜態(tài)信息：各計算機計算資源的固有性質(zhì) ? 資源動態(tài)信息：各計算機的計算資源的當(dāng)前可用情況 ?信息表述 ? 多元組表示： C, M, N ? 統(tǒng)一數(shù)值表示 ?尚需更加深入的認(rèn)識 ? 需要確定信息表述的方法 ? 需要給出性能參數(shù)與性能公式 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 機器模型邏輯拓?fù)湫〗Y(jié) ?基本描述 ? 層次化樹狀結(jié)構(gòu) ? 可以適應(yīng)大規(guī)模集群系統(tǒng) ? 動態(tài)可擴展性 ? 兩點猜想：各層所需信息不同、最底層應(yīng)小規(guī)模且對等 ?尚需工作 ? 上述描述僅僅是理論的前身，需要證明與細(xì)化 ? 非最底層應(yīng)當(dāng)如何組織尚未清楚 ?圖示：一種可能的系統(tǒng)邏輯圖 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 考察學(xué)界現(xiàn)有的任務(wù)模型 [2] ? 近年來開始考慮切合實際的任務(wù)模型 ? 著眼點轉(zhuǎn)向任務(wù)對資源的需求 ? 最初只考慮對處理器時間的需求，后來開始考慮內(nèi)存、 I/O等需求 ? Globus Toolkit 3中使用 RSL2語言（ Resource Specification Language）來溝通任務(wù)對資源的需求：一種 XML ? 進一步思考：要求任務(wù)提供對資源的需求是否合理？ ? 任務(wù)能否提供準(zhǔn)確的資源需求 ? 任務(wù)在運行時的資源需求是否是不變量 ? 最近開始出現(xiàn)如何動態(tài)對任務(wù)需求進行預(yù)知的研究 ? 不要求任務(wù)在運行前提供準(zhǔn)確的資源需求 ? 運行時動態(tài)處理 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理模型之邏輯模型 ?基本策略 ? 完全分時共享會嚴(yán)重影響大規(guī)模計算的性能 ? 因此采用 具有分時性質(zhì)的分區(qū)共享 ?重要問題 ? 對于機器模型中的不同的子系統(tǒng)內(nèi)部，應(yīng)當(dāng)采用什么樣的調(diào)度框架，達(dá)到最短平均響應(yīng)時間或者最大吞吐率 ? 各個子系統(tǒng)之間應(yīng)當(dāng)如何交互、如何協(xié)作處理任務(wù)，能夠?qū)崿F(xiàn)系統(tǒng)服務(wù)能力最大化？ 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 子系統(tǒng)處理任務(wù)過程 [3] 第二部分：若干思路 NX1 NX2 NY1 NY2 NZ1 NZ2 NUx | CX NUy | CY NUz | CZ CU U把 TIM面向 NUi進行，選定一個（或多個）信息點，例如 NUz，即 CZ T1 T2 TIM U 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理模型之性能模型 ?尚未開始研究 ? 必須在得出基本邏輯模型后才可進行 ?將與邏輯模型交互發(fā)展 ? 得到基本性能模型后，結(jié)合實測數(shù)據(jù)，指導(dǎo)邏輯模型的優(yōu)化 ? 優(yōu)化后的邏輯模型，得到優(yōu)化的性能模型 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對信息團模型形式化的初步考慮 ? 傳統(tǒng)問題 ? 給定資源集 R、任務(wù)集 T ? 存在調(diào)度方法 D(R, T)，將 T分配到 R上執(zhí)行 ? 分配時間為 TS，完成時間為 TU ? 求 D(R, T)，使任一的 R、 T， TS+TU為最小值 ? 本身是一個 NP難問題 ? 我們問題的特殊點 ? 實際的大規(guī)模集群系統(tǒng) ? R規(guī)模大，且描述 R復(fù)雜 ? T中的任一任務(wù)，所需資源與所用時間可能事先未知 ? 對應(yīng)理論模型的三個部分 ? 機器模型－資源集 ? 任務(wù)模型－任務(wù)集 ? 管理模型－調(diào)度方法 ? 點擊此處進入詳細(xì)討論 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 集群系統(tǒng)資源查看 LilyView 可看作 LilyCRM的一個客戶端 實際完成者：本科生段孟成 第三部分：研究重點 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 非主要研究點的工作安排 ?非主要研究點 ? 機器模型：計算資源、邏輯拓?fù)? ? 任務(wù)模型：任務(wù)描述、需求預(yù)知 ?也需要進行深入研究 ? 并非不重要，而是沒有被選擇作為博士論文中的具體研究點 ? 已經(jīng)進行了初步的思考，形成了研究基礎(chǔ) ? 安排碩士研究生進行下一步的研究工作 ? 繼續(xù)負(fù)責(zé)總體構(gòu)思與指導(dǎo)工作 第三部分：研究重點 信