【正文】 某一節(jié)點(diǎn)失效，不影響（或盡量少影響）系統(tǒng)整體 ? 最重要：真正充分利用系統(tǒng)資源 ?需要能夠處理大規(guī)模集群系統(tǒng) 返回 信息科學(xué)技術(shù)學(xué)院 (JX)=g[t(JX), t0(JX), rt(SX)] ?所需解決問題 ? t(JX)是什么 ? g的理想形式是什么 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理模型：可能的多層次管理 ?可能的多層次管理－網(wǎng)格系統(tǒng) ? Globus Toolkit GRAM 3 Services（符合 OGSA） ? Managed Job Service：提交、監(jiān)視、控制任務(wù) ? 以服務(wù)為中心，面向平面世界的交叉網(wǎng)格 ? 著重于標(biāo)準(zhǔn)化、統(tǒng)一化，在網(wǎng)格環(huán)境下運(yùn)行 ? 找到滿足任務(wù)需求的集群系統(tǒng)，然后將任務(wù)提交給此系統(tǒng)的本地調(diào)度器 ? 并不強(qiáng)調(diào)在集群內(nèi)部的性能－這個(gè)由集群內(nèi)部的調(diào)度方法來負(fù)責(zé) ? 不負(fù)責(zé)集群間的調(diào)度 返回 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 機(jī)器模型的形式化探索 [2] ? 每個(gè)子系統(tǒng)的計(jì)算資源獲取方法 ? 信息點(diǎn)交互方法集 IS ? 信息點(diǎn)交互方法函數(shù) i(SX): SYSTEMS?IS ? 獲取信息時(shí)間間隔函數(shù) j(SX): SYSTEMS?Jitters ? 所需解決問題 ? 系統(tǒng)集 SYSTEMS如何構(gòu)造 ? 計(jì)算資源參數(shù)集 ARGS是什么 ? 資源參數(shù)函數(shù) a(SX)是什么 ? 計(jì)算資源描述方法集 METHODS是什么 ? 資源描述方法函數(shù) m(SX)是什么 ? 信息點(diǎn)交互方法集 IS是什么 ? 信息點(diǎn)交互方法函數(shù) i(SX)是什么 ? 獲取信息時(shí)間間隔函數(shù) j(SX)是什么 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 具有分時(shí)性質(zhì)的分區(qū)共享 ?分區(qū)共享 ? 將各個(gè)節(jié)點(diǎn)根據(jù)預(yù)處理任務(wù)集的需要?jiǎng)澐譃槿舾上鄬Κ?dú)立的小系統(tǒng)，在小系統(tǒng)上為任務(wù)提供全部資源 ? 從任務(wù)本身的觀點(diǎn)上看效率最高；但從全局的觀點(diǎn)上看，容易造成資源浪費(fèi) ? 三種改進(jìn)技術(shù)：分組調(diào)度、作業(yè)回填、進(jìn)程遷移 ?具有分時(shí)性質(zhì)的分區(qū)共享 ? 最大程度上避免資源浪費(fèi) ? 對有明確分區(qū)需求的任務(wù)進(jìn)行分區(qū)共享 ? 對沒有分區(qū)需求的任務(wù)在未分配分區(qū)中進(jìn)行分時(shí)共享 ? 當(dāng)某已經(jīng)分配的分區(qū)資源空閑時(shí)，系統(tǒng)有權(quán)力向此分區(qū)分配其它任務(wù)，但需保障原本任務(wù)優(yōu)先使用資源 ? 對于提出明確資源需求的任務(wù)，采用預(yù)留資源的分時(shí)共享方法來保障任務(wù)的需求 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 LilyTask計(jì)算模型的正確性（ 3） ? 引理 4：任何問題，都可以分解成若干子問題協(xié)同工作，每個(gè)子問題內(nèi)部串行工作，只在啟動(dòng)前前接收其它子問題傳遞過來的數(shù)據(jù)，結(jié)束后向其它子問題傳遞數(shù)據(jù)，運(yùn)行過程中其數(shù)據(jù)不受其它子問題影響；我們將這種子問題，稱作“任務(wù)” ? 證明：由引理（ 1）（ 2）得證 ? 引理 5：如果一個(gè)任務(wù) Ta要向任務(wù) Tb傳遞數(shù)據(jù)， Tb一定應(yīng)該在 Ta結(jié)束后開始；如果我們定義關(guān)系 ?，說明 Ta要向 Tb傳遞數(shù)據(jù)，那么這個(gè)關(guān)系 ?從時(shí)序角度講具有反自反性、傳遞性與反對稱性，即 ?關(guān)系是擬序關(guān)系 ? 證明： 1）按照任務(wù)的定義，任務(wù)的過程 [recv][work][send] 是串行的； Tb在開始的時(shí)候需要 Ta的數(shù)據(jù)，而 Ta只有在結(jié)束的時(shí)候才能夠發(fā)送數(shù)據(jù)，因此 Ta沒有結(jié)束的時(shí)候， Tb無法得到 Ta的數(shù)據(jù)，也就無法運(yùn)行；所以 Tb一定應(yīng)該在 Ta結(jié)束后開始 ? 2）就一次運(yùn)行而言， Ta無法在自己結(jié)束后開始，所以 Ta?Ta為假，因此 Ta具有反自反性 ? 3）設(shè) Ta?Tb, Tb?Tc，因?yàn)闀r(shí)間順序性， Ta?Tc，于是 ?具有傳遞性 ? 4）由于 ?是反自反、傳遞的，因此 ?是反對稱的 ? 引理 6：如果一個(gè)任務(wù) Ta激活任務(wù) Tb，我們定義關(guān)系激活 =，那么這個(gè)關(guān)系 =從時(shí)序角度講具有 反自反性、傳遞性與反對稱性，即 =關(guān)系是擬序關(guān)系 ? 證明： 1）激活是一個(gè)簡單的單向，具有時(shí)間順序性的關(guān)系 ? 2）參照引理 4可證 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 商業(yè)版本 PBSPro的其它特性 ?實(shí)現(xiàn) ? 安全和訪問控制 ? 作業(yè)記帳 ? 全面的應(yīng)用編程接口 ? 不同系統(tǒng)間的用戶名稱映射 ? 利用桌面計(jì)算機(jī)空閑處理器時(shí)間 ?支持 ? 廣泛的運(yùn)行平臺(tái)，包括 SMP集群 ? 分布式集群，甚至可以在廣域網(wǎng)上 ? 資源預(yù)留 ? 自動(dòng)文件傳輸 ? 并行作業(yè)，可使用 MPI、 MPL、 PVM和 HPF等 ? 計(jì)算網(wǎng)格，支持 Globus Toolkit 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對于理論的研究方法與路線 ? 提出邏輯模型猜想 ? 需要得到系統(tǒng)內(nèi)調(diào)度方法、系統(tǒng)間聯(lián)系方式 ? 在理論分析的基礎(chǔ)上，提出模型假設(shè)（包括參數(shù)），并試驗(yàn)驗(yàn)證，必要時(shí)反復(fù)此過程 ? 實(shí)驗(yàn)驗(yàn)證邏輯模型并進(jìn)行優(yōu)化 ? 與其它系統(tǒng)進(jìn)行性能對比；調(diào)整、優(yōu)化邏輯模型 ? 得出基本性能模型并驗(yàn)證 ? 根據(jù)調(diào)整優(yōu)化后的邏輯模型，得到基本性能模型 ? 進(jìn)行實(shí)驗(yàn)驗(yàn)證、調(diào)整性能模型 ? 最終優(yōu)化邏輯模型、性能模型 ? 根據(jù)初步得到的性能模型的指導(dǎo)，得出最終的邏輯模型 ? 根據(jù)最終的邏輯模型，得到最終的性能模型 ? 完成證明 第四部分：工作計(jì)劃 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 集群系統(tǒng)資源查看 LilyView 可看作 LilyCRM的一個(gè)客戶端 實(shí)際完成者：本科生段孟成 第三部分：研究重點(diǎn) 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理模型之性能模型 ?尚未開始研究 ? 必須在得出基本邏輯模型后才可進(jìn)行 ?將與邏輯模型交互發(fā)展 ? 得到基本性能模型后，結(jié)合實(shí)測數(shù)據(jù)，指導(dǎo)邏輯模型的優(yōu)化 ? 優(yōu)化后的邏輯模型，得到優(yōu)化的性能模型 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理模型之邏輯模型 ?基本策略 ? 完全分時(shí)共享會(huì)嚴(yán)重影響大規(guī)模計(jì)算的性能 ? 因此采用 具有分時(shí)性質(zhì)的分區(qū)共享 ?重要問題 ? 對于機(jī)器模型中的不同的子系統(tǒng)內(nèi)部，應(yīng)當(dāng)采用什么樣的調(diào)度框架，達(dá)到最短平均響應(yīng)時(shí)間或者最大吞吐率 ? 各個(gè)子系統(tǒng)之間應(yīng)當(dāng)如何交互、如何協(xié)作處理任務(wù)，能夠?qū)崿F(xiàn)系統(tǒng)服務(wù)能力最大化？ 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 機(jī)器模型邏輯拓?fù)湫〗Y(jié) ?基本描述 ? 層次化樹狀結(jié)構(gòu) ? 可以適應(yīng)大規(guī)模集群系統(tǒng) ? 動(dòng)態(tài)可擴(kuò)展性 ? 兩點(diǎn)猜想：各層所需信息不同、最底層應(yīng)小規(guī)模且對等 ?尚需工作 ? 上述描述僅僅是理論的前身，需要證明與細(xì)化 ? 非最底層應(yīng)當(dāng)如何組織尚未清楚 ?圖示：一種可能的系統(tǒng)邏輯圖 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對于資源的分層次管理思想 ?系統(tǒng)的層次化分解與組合 ? 根據(jù)性能及網(wǎng)絡(luò)情況，將系統(tǒng)分為若干子系統(tǒng) ? 每個(gè)子系統(tǒng)內(nèi)部進(jìn)行管理，再將子系統(tǒng)作為整體進(jìn)行管理 ? 可以根據(jù)需要，進(jìn)行子系統(tǒng)分解與組合 ?對層次化管理思想的分析 ? 它只是一個(gè)指導(dǎo)思想：“層次化的管理原則” ? 人類的經(jīng)驗(yàn)表明，層次化的管理原則是正確的 ? 關(guān)鍵在于，如何將這個(gè)思想原則，對應(yīng)成實(shí)際的模型與系統(tǒng) 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 集群系統(tǒng)，計(jì)算資源與作業(yè)管理 ?集群系統(tǒng)－日益重要的高性能計(jì)算環(huán)境 ? 集群系統(tǒng)：網(wǎng)絡(luò)技術(shù)連接起來的計(jì)算機(jī)組合，協(xié)同工作 ? 人們對計(jì)算資源的需求遠(yuǎn)遠(yuǎn)超過單處理器的發(fā)展 ? 具有最高性價(jià)比的高性能計(jì)算環(huán)境 ?重要的領(lǐng)域－計(jì)算資源與作業(yè)管理 ? 人們可以制造峰值計(jì)算能力每秒幾十萬億次的集群系統(tǒng) ? 人們不知道應(yīng)當(dāng)如何充分利用這些計(jì)算能力 ? 不僅僅單個(gè)并行程序無法有效利用集群系統(tǒng)，多個(gè)程序（作業(yè)）同時(shí)運(yùn)行時(shí)也很難充分利用集群系統(tǒng)資源 ? 性能－搭建集群系統(tǒng)的首要目的：使我們關(guān)注“計(jì)算資源與作業(yè)管理”領(lǐng)域的研究 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 第一部分：面臨著的挑戰(zhàn) ?第一部分：面臨著的挑戰(zhàn) ? 大規(guī)模集群中的計(jì)算資源與作業(yè)管理 ? 問題著手前的一些零散思考 ?第二部分：解決問題的若干思路 ?第三部分：研究重點(diǎn)的確立 ?第四部分：博士論文工作計(jì)劃 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 直觀想法：分層次進(jìn)行資源管理 ?思想根源 ? 一臺(tái)計(jì)算機(jī)的資源管理，應(yīng)該對離它越近的計(jì)算機(jī)影響越大，因此可以將相隔近的計(jì)算機(jī)組成小系統(tǒng)，小系統(tǒng)之間再管理 ? 在不同網(wǎng)絡(luò)的兩個(gè)計(jì)算機(jī)系統(tǒng)之間的影響應(yīng)當(dāng)較小 ?試圖解決在大規(guī)模集群系統(tǒng)中的若干問題 ? 單節(jié)點(diǎn)瓶頸 ? 管理消息過多、管理復(fù)雜 ? 信息滯后、跨網(wǎng)絡(luò)管理 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 猜想：最底層應(yīng)小規(guī)模且對等 ?相對集中式管理的優(yōu)勢 ? 每臺(tái)計(jì)算機(jī)都有子系統(tǒng)全部信息 ? 利于避免單節(jié)點(diǎn)失效 ? 資源管理時(shí)能夠更有效地統(tǒng)籌全局 ? 進(jìn)行資源管理時(shí)無需等待主節(jié)點(diǎn)處理結(jié)果 ? 可以隨意選擇一臺(tái)計(jì)算機(jī)作為信息負(fù)責(zé)點(diǎn)，如最輕負(fù)載 ?可避免傳統(tǒng)分布式處理方法的不足 ? 各計(jì)算機(jī)一定在同一子網(wǎng)中，可利用高效組播獲取信息 ? 當(dāng)計(jì)算機(jī)數(shù)目少的時(shí)候，信息滯后問題可忽略，可認(rèn)為所有信息都即時(shí)準(zhǔn)確，故可采用相對簡單的算法實(shí)現(xiàn)分布式資源管理 ?猜想小結(jié) ? 最底層計(jì)算機(jī)數(shù)目應(yīng)較少（例如 10個(gè)），形成信息團(tuán) 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 對理論方面的分析三：管理模型 ?機(jī)器模型 ?任務(wù)模型 ?管理模型 ?邏輯模型 ?性能模型 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 管理邏輯模型小結(jié) ?兩個(gè)重要問題 ? 對于子系統(tǒng)內(nèi)部調(diào)度框架的思考 ? 信息負(fù)責(zé)點(diǎn)分層連動(dòng)制 ?似乎都是 “顯而易見”的想法 ? 但是把整個(gè)理論完善起來并不容易 ? 關(guān)鍵在于能否根據(jù)此理論實(shí)現(xiàn)高效的實(shí)用系統(tǒng) ? 尚屬初步的研究階段，具有很大的研究空間 ?尚需工作 ? 模型的具體細(xì)節(jié)，如一個(gè)任務(wù)所需處理器個(gè)數(shù)超過任何一個(gè)最底層子系統(tǒng)怎么辦？ ? 需要證明，將猜想轉(zhuǎn)變?yōu)槔碚? ? 結(jié)合管理性能模型進(jìn)一步優(yōu)化 ? 實(shí)現(xiàn)高效的實(shí)用系統(tǒng) 第二部分：若干思路 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 集群系統(tǒng)資源獲取 LilyCRM ?在集群系統(tǒng)中獲取節(jié)點(diǎn)信息 ? 可以獲取節(jié)點(diǎn)的計(jì)算資源信息和進(jìn)程信息 ? 節(jié)點(diǎn)可以動(dòng)態(tài)加入、退出集群系統(tǒng) ? 同時(shí)支持 Linux、 Windows的節(jié)點(diǎn) ? 已經(jīng)實(shí)現(xiàn)基本的分層次信息獲取 ? 通過標(biāo)準(zhǔn) /proc文件系統(tǒng)將信息提供給使用者 ? 由碩士研究生沈堅(jiān)實(shí)際完成 第三部分：研究重點(diǎn) 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 待解決的具體問題 ?針對博士論文主要研究點(diǎn)的問題 ? 在不同子系統(tǒng)中對于任務(wù)的調(diào)度框架是什么 ? 如何形成各子系統(tǒng)的信息負(fù)責(zé)點(diǎn) ? 子系統(tǒng)之間（父子、兄弟）之間應(yīng)當(dāng)如何交互工作 ? 管理性能模型是什么：框架、公式與參數(shù) ?其它需要同時(shí)解決的問題 ? 如何刻畫系統(tǒng)的計(jì)算資源；有效形成計(jì)算資源邏輯拓?fù)? ? 如何描述任務(wù)；預(yù)測任務(wù)的使用情況 ? 一些具體技術(shù)問題，例如如何實(shí)現(xiàn)對任務(wù)可占用的資源使用率的精確控制 ? 與“拿來主義”的接口，如對于硬件資源的監(jiān)控與報(bào)警（ CPU溫度、風(fēng)扇轉(zhuǎn)速等）的結(jié)合 ? 需要并行組的共同努力 第四部分：工作計(jì)劃 信息科學(xué)技術(shù)學(xué)院 網(wǎng)絡(luò)研究所 商業(yè)版本 PBSPro的主要特性 ? 圖形化和命令行用戶界面 ? 提交