【導(dǎo)讀】聯(lián)想高性能計(jì)算機(jī)群技術(shù)方案。聯(lián)想（北京）有限公司。二○○九年十二月。高性能計(jì)算機(jī)群及應(yīng)用軟件采購項(xiàng)目聯(lián)想（北京）有限公司

　　

【正文】 業(yè)等功能。 作業(yè)調(diào)度器 Sched 通過 Server 收集 機(jī)群 中所有節(jié)點(diǎn)上的作業(yè)和資 源信息，通過 Execd 獲取所有計(jì)算節(jié)點(diǎn)的負(fù)載信息，根據(jù)一定的作業(yè)調(diào)度和負(fù)載平衡節(jié)點(diǎn)選擇策略，決定在哪些計(jì)算節(jié)點(diǎn)上運(yùn)行作業(yè)。 作業(yè)加載器 Execd 主要實(shí)現(xiàn)三個(gè)功能：一是根據(jù) Server 的指令，運(yùn)行作業(yè)、建立資源限制、監(jiān)測作業(yè)占用的資源、通知用戶服務(wù)器作業(yè)運(yùn)行結(jié)束等；二是資源管理功能，響應(yīng) Sched 的資源監(jiān)測請求，如作業(yè)的運(yùn)行狀態(tài)和可用內(nèi)存等；三是和運(yùn)行作業(yè)的其他節(jié)點(diǎn)上的 Execd 通信，確保并行作業(yè)的正常加載和結(jié)束。 （ 2） LJRS 多 機(jī)群 系統(tǒng)的總體結(jié)構(gòu) 隨著網(wǎng)格技術(shù)的發(fā)展，如何支持網(wǎng)格系統(tǒng)已成為各個(gè) 機(jī)群 作業(yè)管理 系統(tǒng)的研究內(nèi)容之一。在一個(gè)大型企業(yè)中，各個(gè)部門都有相對獨(dú)立的 機(jī)群 系統(tǒng)，企業(yè)內(nèi)部的資源管理與作業(yè)調(diào)度系統(tǒng)是一個(gè)多 機(jī)群資源管理與作業(yè)調(diào)度系統(tǒng)，因此，這種企業(yè)級的資源管理與作業(yè)調(diào)度系統(tǒng)可作為從 機(jī)群 到網(wǎng)格系統(tǒng)的一個(gè)過渡。實(shí)現(xiàn)多個(gè) 機(jī)群 之間的作業(yè)管理和資源共享，對于提高企業(yè)的資源利用率和生產(chǎn)率有很大的幫助，同時(shí)也為 機(jī)群 管理系統(tǒng)以后如何支持網(wǎng)格系統(tǒng)有一定的借鑒意義。 Globus 是目前業(yè)界使用最為廣泛的網(wǎng)格中間件。因此，研究 Globus，使我們的系統(tǒng)能夠和 Globus相融合，也是我們今后需要研究的內(nèi)容之一，同時(shí)也要結(jié)合到 我們的多 機(jī)群 作業(yè)管理系統(tǒng)的設(shè)計(jì)和研發(fā)中。聯(lián)想多 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng)的總體結(jié)構(gòu)如下圖所示： 高性能計(jì)算機(jī)群及應(yīng)用軟件采購項(xiàng)目 聯(lián)想（北京） 有限公司 21 仲裁器 A r bi to r 調(diào)度器 N egot i at or Ser v er d Sche dd Execd Execd Execd U s er P r oces s Ser v er d Sche dd Execd Execd Execd U s er P r oces s Ser v er d Sche dd Execd Execd Execd U s er P r oces s 需要聯(lián)合調(diào)度的 作業(yè)隊(duì)列 多 機(jī)群 作業(yè)管理系統(tǒng)總體結(jié)構(gòu)圖 由上圖可知，多 機(jī)群 系統(tǒng)增加了一個(gè)仲裁器 Arbitor 和調(diào)度器 Negotiator，用來指導(dǎo)各個(gè) 機(jī)群之間的負(fù)載平衡和聯(lián)合調(diào)度作業(yè)。 Arbitor 維護(hù)著需要聯(lián)合調(diào)度的作業(yè)信息和從各個(gè) 機(jī)群 的 Serverd取得的總體資源信息。當(dāng)一個(gè)作業(yè)提交到某個(gè) 機(jī)群 內(nèi)的 Serverd，如果本地 機(jī)群 資源不能滿足作業(yè)的資源需求，則由 Arbitor 來判斷能 夠滿足該資源需求地 機(jī)群 ，則把作業(yè)傳送給該 機(jī)群 的 Serverd，由該 機(jī)群 執(zhí)行作業(yè)。如果單個(gè) 機(jī)群 的資源都不能滿足該作業(yè)，則 Arbitor 將該作業(yè)放入需要聯(lián)合調(diào)度的作業(yè)隊(duì)列， Negotiator 將根據(jù)作業(yè)的資源需求，綜合分配各個(gè) 機(jī)群 的空閑資源。另外，當(dāng)某個(gè) 機(jī)群上的作業(yè)隊(duì)列比較長，而某些 機(jī)群 處于空閑狀態(tài)，則 Arbitor 指導(dǎo)相關(guān)的 Serverd 通過路由隊(duì)列將處于排隊(duì)狀態(tài)的的作業(yè)傳送給空閑 機(jī)群 的 Serverd，從而在 機(jī)群 間實(shí)現(xiàn)負(fù)載平衡。 Negotiator 負(fù)責(zé)大型作業(yè)的聯(lián)合調(diào)度。在這個(gè)多 機(jī)群 系統(tǒng)中，所有需要聯(lián)合調(diào)度 的作業(yè)都被放入 Arbitor 維護(hù)的需要聯(lián)合調(diào)度作業(yè)的隊(duì)列中。 Negotiator 從 Arbitor 取得作業(yè)信息，向各個(gè) 機(jī)群的 Schedd 發(fā)出鎖定資源命令，從各個(gè) Schedd 取得當(dāng)前資源使用狀況，根據(jù)預(yù)約算法開始調(diào)度。調(diào)度完成后，釋放資源鎖，同時(shí)通知各個(gè) Schedd 更改資源使用狀況，并將調(diào)度結(jié)果返回 Arbitor，然后由 Arbitor 將調(diào)度結(jié)果傳給執(zhí)行主節(jié)點(diǎn)所在的 機(jī)群 的 Serverd， Serverd 更改資源使用狀況，并負(fù)責(zé)通知主節(jié)點(diǎn)啟動(dòng)作業(yè)的運(yùn)行。經(jīng)過聯(lián)合調(diào)度的作業(yè)由于涉及到多個(gè) 機(jī)群 中的執(zhí)行節(jié)點(diǎn)，需要 Execd 的支持，即 Execd 能夠跨越 機(jī)群 的物理限制，與涉及到的各個(gè) 機(jī)群 中的執(zhí)行節(jié)點(diǎn)上的 Execd 共同建立并行作業(yè)執(zhí)行環(huán)境，共同加載并行作業(yè)。 （ 3） LJRS 的技術(shù)特性 ? 靈活多樣的調(diào)度策略 聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了 FIFO（ First In First Out）、 Reservation 和Backfill、負(fù)載均衡等作業(yè)調(diào)度策略。以上策略可以由系統(tǒng)管理員根據(jù)最佳的利用率和資源共享的需高性能計(jì)算機(jī)群及應(yīng)用軟件采購項(xiàng)目 聯(lián)想（北京） 有限公司 22 要自由選定。通過擴(kuò)充 Reservation 和 Backfill 作業(yè)調(diào)度技術(shù)，聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng)解決了大型并 行作業(yè)的問題，即在等待大型作業(yè)所預(yù)約資源得到釋放的間隔，在確保大型作業(yè)不被延遲的前提下，允許小作業(yè)在這些預(yù)留的 CPU 上運(yùn)行。 Reservation 預(yù)約策略是指當(dāng)一個(gè)作業(yè)在隊(duì)列中等待的時(shí)間超過一定的值，對它所需要的資源進(jìn)行預(yù)約，一直到所有資源都已得到滿足時(shí)，將該作業(yè)投入運(yùn)行。預(yù)約策略雖然解決了作業(yè)的饑餓現(xiàn)象，但它導(dǎo)致了少量的資源空閑時(shí)間，降低了系統(tǒng)的吞吐率。因此，為了解決預(yù)約策略中的資源浪費(fèi)， LJRS 還可同時(shí)使用 Backfilling（裝填策略）來優(yōu)化其作業(yè)調(diào)度性能。 Backfilling 裝填策略，就是充分利 用預(yù)約策略中由于預(yù)約產(chǎn)生的時(shí)間空隙，避免系統(tǒng)資源的浪費(fèi)。通過計(jì)算預(yù)約形成的時(shí)間間隔，從作業(yè)隊(duì)列中選取合適的作業(yè)插入到這段時(shí)間段內(nèi)運(yùn)行，而不影響預(yù)約的作業(yè)的按時(shí)運(yùn)行，從而有效利用了系統(tǒng)資源，提高系統(tǒng)的利用率和吞吐率。但是裝填策略如何選取合適的作業(yè)以填補(bǔ)預(yù)約形成的 時(shí)間間隔，也是一個(gè)重要的調(diào)度問題。通常它使用 Firstfit 和 Bestfit 算法來選取作業(yè)。通過將預(yù)約策略和裝填策略有機(jī)結(jié)合，極大地提高了作業(yè)調(diào)度的公平性和 機(jī)群 系統(tǒng)資源的利用率。實(shí)際測試表明，多道并行作業(yè)調(diào)度運(yùn)行時(shí)間和單道并行作業(yè)的運(yùn)行時(shí)間相比，本系 統(tǒng)的調(diào)度效率小于 10%。 另外，聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 的調(diào)度策略可以很容易被擴(kuò)展，以適應(yīng)不同的計(jì)算需要和目標(biāo)，即系統(tǒng)管理員可以方便地配置和實(shí)現(xiàn)自己的調(diào)度策略。 ? 優(yōu)秀的負(fù)載均衡策略 聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng)對系統(tǒng)級、隊(duì)列級和用戶作業(yè)級實(shí)現(xiàn)不同的負(fù)載均衡節(jié)點(diǎn)選擇策略。首先，對于系統(tǒng)級來說，每個(gè)隊(duì)列有一種節(jié)點(diǎn)選擇策略，（當(dāng)資源都能滿足的前提下）。其次，對于隊(duì)列級，不同的隊(duì)列都可以由系統(tǒng)管理員設(shè)置不同的策略。最后，對于用戶來說，可以為自己的作業(yè)設(shè)置一個(gè)節(jié)點(diǎn)選擇策略。用戶作業(yè)級的優(yōu)先級最高，如果 用戶的作業(yè)中沒有定義，則采用隊(duì)列的節(jié)點(diǎn)選擇策略。對于節(jié)點(diǎn)分配策略，該系統(tǒng)提供了公平共享、用戶獨(dú)占和作業(yè)獨(dú)占等三種策略。通過對不同的系統(tǒng)、不同的作業(yè)配置不同的負(fù)載均衡策略和節(jié)點(diǎn)選擇策略，能夠有效的利用資源運(yùn)行用戶作業(yè)，提高了系統(tǒng)的利用率，同時(shí)也提高了作業(yè)的執(zhí)行效率。 ? 功能強(qiáng)大的資源管理 針對系統(tǒng)級、隊(duì)列級和計(jì)算節(jié)點(diǎn)級，系統(tǒng)提供了多層次的資源管理功能，為不同類型的資源特性提供了不同的解決方案，使系統(tǒng)有效地分配管理各種資源，包括對系統(tǒng)資源（如 cpu、內(nèi)存、處理器數(shù)等）和軟件 Licence 等資源的有效管理和限制。 下面以軟件的 License 為例說明一下 LJRS 的強(qiáng)大的資源管理功能。軟件 License 有三種形式：一種是一個(gè)計(jì)算節(jié)點(diǎn)有了一個(gè) License 就可以運(yùn)行軟件，至于運(yùn)行多少份拷貝，則沒有限制；另外一種是一個(gè)節(jié)點(diǎn)有了 N 個(gè) License，只能運(yùn)行 N 份拷貝；最后一種是一個(gè)局域網(wǎng)內(nèi)有 N 個(gè) License，在高性能計(jì)算機(jī)群及應(yīng)用軟件采購項(xiàng)目 聯(lián)想（北京） 有限公司 23 該局域網(wǎng)內(nèi)就可以同時(shí)運(yùn)行 N 份拷貝，而對于軟件運(yùn)行的節(jié)點(diǎn)沒有限制。 LJRS 資源管理可以針對這三種情況，分別實(shí)現(xiàn)三種不同的 License 管理策略： 對于第一種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點(diǎn)增加一個(gè)屬性 L。當(dāng)用戶提交作業(yè) 時(shí)，指明運(yùn)行該作業(yè)所需要的資源中包含該屬性 L，那么 LJRS 將作業(yè)分配到擁有該屬性的計(jì)算節(jié)點(diǎn)上。如果不考慮其他的資源限制因素，一個(gè)擁有屬性 L 的節(jié)點(diǎn)可以同時(shí)運(yùn)行多個(gè)資源請求中有 L 屬性的作業(yè)。 對于第二種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點(diǎn)增加一個(gè)節(jié)點(diǎn)級的資源 L=N。（其中 N 表示該節(jié)點(diǎn)擁有 N 個(gè) License。）當(dāng)用戶提交作業(yè)時(shí)，指明運(yùn)行該作業(yè)所需要的資源中包含該資源 L=req，那么 LJRS 將作業(yè)分配到擁有該資源并且 Nusedreq0 的計(jì)算節(jié)點(diǎn)上（其中 used 表示在分配該作業(yè)之前，已經(jīng)有運(yùn)行在該計(jì)算節(jié)點(diǎn)上的作業(yè) 請求了 used 個(gè) License）。如果不考慮其他的資源限制因素，一個(gè)擁有資源 L=N 的節(jié)點(diǎn)可以同時(shí)運(yùn)行資源請求中有 L 資源需求的作業(yè) n 個(gè)(Nreq1req2? reqn 0，其中 reqx 表示運(yùn)行在該節(jié)點(diǎn)上的第 x 個(gè)作業(yè)請求了 reqx個(gè) License)。 對于第二種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點(diǎn)增加一個(gè)系統(tǒng)級的資源 L=N。（其中 N 表示該系統(tǒng)擁有 N 個(gè) License。）當(dāng)用戶提交作業(yè)時(shí)，指明運(yùn)行該作業(yè)所需要的資源中包含該資源 L=req，那么 LJRS 將根據(jù)正在運(yùn)行的作業(yè)總共請求 License 數(shù)，決定是否分配 該作業(yè)。如果 Nusedreq0（其中 used 表示在分配該作業(yè)之前，正在運(yùn)行作業(yè)已經(jīng)請求了 used 個(gè) License），則將作業(yè)分配運(yùn)行，否則將作業(yè)繼續(xù)排隊(duì)，等待某些占有該 License 的作業(yè)運(yùn)行結(jié)束，釋放該資源至 Nusedreq） 0。如果不考慮其他的資源限制因素，擁有資源 L=N 的系統(tǒng)中可以同時(shí)運(yùn)行資源請求中有 L 資源需求的作業(yè)n 個(gè) (Nreq1req2? reqn 0，其中 reqx 表示系統(tǒng)中運(yùn)行的第 x 個(gè)作業(yè)請求了 reqx個(gè) License)。 ? 支持多種類型的作業(yè) LJRS 能以批處理和交互兩種方式 運(yùn)行串行和并行作業(yè)（如 MPI、 PVM 和 OpenMP 等并行程序），并允許并行作業(yè)的各個(gè)自任務(wù)使用千兆網(wǎng)絡(luò)互相通信。 LJRS 一個(gè)大型并行計(jì)算任務(wù)分發(fā)到多個(gè)計(jì)算節(jié)點(diǎn)的多個(gè) CPU 上運(yùn)行，確保在并行作業(yè)執(zhí)行時(shí)，使所有相關(guān) CPU 和計(jì)算節(jié)點(diǎn)都能達(dá)到負(fù)載平衡，從而提高整個(gè) 機(jī)群 系統(tǒng)的資源利用率和吞吐率。 ? 方便友好的操作界面 聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了基于 Web 瀏覽器的中文圖形化操作界面，極大地提高了系統(tǒng)的好用性。包括：系統(tǒng)基本配置界面，提供了對系統(tǒng)和隊(duì)列配置的查看和更改，對節(jié)點(diǎn)分配策略和資源的配置修改；節(jié)點(diǎn) 配置界面，提供了節(jié)點(diǎn)配置信息的查看和更改；啟?？刂疲峁┫到y(tǒng)的啟動(dòng)、停止，計(jì)算節(jié)點(diǎn)的添加和刪除功能；作業(yè)管理，提供對作業(yè)的提交、屬性的更改、監(jiān)控、查詢等操作，同時(shí)實(shí)時(shí)的顯示作業(yè)的執(zhí)行狀態(tài)；命令行操作界面，使用戶可以在 web 界面中使用命令行操作。作業(yè)提交界面、作業(yè)二維和三維狀態(tài)監(jiān)控界面分別如下圖所示。 高性能計(jì)算機(jī)群及應(yīng)用軟件采購項(xiàng)目 聯(lián)想（北京） 有限公司 24 ? 高可用特性 聯(lián)想 機(jī)群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了啟動(dòng) /停止控制、系統(tǒng)狀態(tài)監(jiān)控和故障恢復(fù)功能。當(dāng)作業(yè)正在運(yùn)行時(shí)，如果系統(tǒng)服務(wù)器或者執(zhí)行節(jié)點(diǎn)突然發(fā)生故障，本系統(tǒng)可以充分發(fā)揮實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài)并自動(dòng)恢復(fù)故障的功 能，使正在運(yùn)行的作業(yè)不被丟失，并立刻被重新調(diào)度運(yùn)行，具備了較高的可用性。同時(shí)對作業(yè)提供了有效的監(jiān)控能力，特別是分布在不同節(jié)點(diǎn)上的并行作業(yè)的各個(gè)進(jìn)程。普通用戶可以查看、刪除、掛起和釋放自己所提交的作業(yè)，系統(tǒng)管理員可以查看、刪除、掛起和釋放所有用戶提交的作業(yè)，改變隊(duì)列和作業(yè)的狀態(tài)等。 此外，為了防止所填充作業(yè)的運(yùn)行使預(yù)約的作業(yè)延遲運(yùn)行，或者防止所填充作業(yè)在運(yùn)行時(shí)被殺掉（調(diào)度器的配置可以在預(yù)約時(shí)間到來時(shí)殺掉占用預(yù)約資源的其他作業(yè)），我們在實(shí)際使用時(shí)會稍微高估所填充作業(yè)的運(yùn)行時(shí)間。 ? 對網(wǎng)格系統(tǒng)的良好支持 聯(lián)想 機(jī)群 資 源管理與作業(yè)調(diào)度系統(tǒng) LJRS 不僅提供了 機(jī)群 系統(tǒng)內(nèi)部的強(qiáng)大的作業(yè)管理、資源管理、負(fù)載平衡等功能，還提供了對網(wǎng)格資源管理系統(tǒng)的良好支持。 LJRS 具有很好的可擴(kuò)展性，能夠適應(yīng)網(wǎng)格上對大規(guī)模作業(yè)和資源的管理需求，并且提供了一系列可擴(kuò)展接口。網(wǎng)格作業(yè)和資源管理系統(tǒng)能夠通過這些接口，獲取 機(jī)群 系統(tǒng)的作業(yè)信息和資源信息，管理、調(diào)度和監(jiān)控 機(jī)群 系統(tǒng)的作業(yè)和資源。用戶通過網(wǎng)格，能夠向 機(jī)群 系統(tǒng)提交作業(yè)，監(jiān)控和管理已提交的作業(yè)。另外，通過系統(tǒng)提供的預(yù)約和調(diào)度功能，在網(wǎng)格系統(tǒng)的協(xié)調(diào)下， LJRS 管理的 機(jī)群 系統(tǒng)能夠和其他 機(jī)群 系統(tǒng)共同完成一 個(gè)大作業(yè)。 監(jiān)控與管理系統(tǒng) LCMS 是聯(lián)想具有自主知識產(chǎn)權(quán)的一款監(jiān)控管理系統(tǒng)。 LCMS 管理功能綜合對節(jié)點(diǎn)的網(wǎng)絡(luò)管理、用戶管理、設(shè)備監(jiān)控、登錄權(quán)限控制、并行命令等日常管理維護(hù)功能，為系統(tǒng)管理員提供一個(gè)中文的圖形化系統(tǒng)管理工具來管理、訪問、查看各個(gè)節(jié)點(diǎn)和配置整個(gè)系統(tǒng)的各種服務(wù)，從而極大的減輕了系統(tǒng)管理員的負(fù)擔(dān)，提高了管理效率，同時(shí)降低了系統(tǒng)管理員危險(xiǎn)操作的風(fēng)險(xiǎn)。通過 LCMS 的監(jiān)控功能，可以監(jiān)控整個(gè)系統(tǒng)各個(gè)部件、模塊的的狀態(tài)，通過多種圖表實(shí)時(shí)顯示各個(gè)節(jié)點(diǎn)的諸如系統(tǒng)負(fù)載、內(nèi)存