【導(dǎo)讀】聯(lián)想高性能計算機群技術(shù)方案。聯(lián)想（北京）有限公司。二○○九年十二月。高性能計算機群及應(yīng)用軟件采購項目聯(lián)想（北京）有限公司

　　

【正文】 業(yè)等功能。 作業(yè)調(diào)度器 Sched 通過 Server 收集 機群 中所有節(jié)點上的作業(yè)和資 源信息，通過 Execd 獲取所有計算節(jié)點的負(fù)載信息，根據(jù)一定的作業(yè)調(diào)度和負(fù)載平衡節(jié)點選擇策略，決定在哪些計算節(jié)點上運行作業(yè)。 作業(yè)加載器 Execd 主要實現(xiàn)三個功能：一是根據(jù) Server 的指令，運行作業(yè)、建立資源限制、監(jiān)測作業(yè)占用的資源、通知用戶服務(wù)器作業(yè)運行結(jié)束等；二是資源管理功能，響應(yīng) Sched 的資源監(jiān)測請求，如作業(yè)的運行狀態(tài)和可用內(nèi)存等；三是和運行作業(yè)的其他節(jié)點上的 Execd 通信，確保并行作業(yè)的正常加載和結(jié)束。 （ 2） LJRS 多 機群 系統(tǒng)的總體結(jié)構(gòu) 隨著網(wǎng)格技術(shù)的發(fā)展，如何支持網(wǎng)格系統(tǒng)已成為各個 機群 作業(yè)管理 系統(tǒng)的研究內(nèi)容之一。在一個大型企業(yè)中，各個部門都有相對獨立的 機群 系統(tǒng)，企業(yè)內(nèi)部的資源管理與作業(yè)調(diào)度系統(tǒng)是一個多 機群資源管理與作業(yè)調(diào)度系統(tǒng)，因此，這種企業(yè)級的資源管理與作業(yè)調(diào)度系統(tǒng)可作為從 機群 到網(wǎng)格系統(tǒng)的一個過渡。實現(xiàn)多個 機群 之間的作業(yè)管理和資源共享，對于提高企業(yè)的資源利用率和生產(chǎn)率有很大的幫助，同時也為 機群 管理系統(tǒng)以后如何支持網(wǎng)格系統(tǒng)有一定的借鑒意義。 Globus 是目前業(yè)界使用最為廣泛的網(wǎng)格中間件。因此，研究 Globus，使我們的系統(tǒng)能夠和 Globus相融合，也是我們今后需要研究的內(nèi)容之一，同時也要結(jié)合到 我們的多 機群 作業(yè)管理系統(tǒng)的設(shè)計和研發(fā)中。聯(lián)想多 機群 資源管理與作業(yè)調(diào)度系統(tǒng)的總體結(jié)構(gòu)如下圖所示： 高性能計算機群及應(yīng)用軟件采購項目 聯(lián)想（北京） 有限公司 21 仲裁器 A r bi to r 調(diào)度器 N egot i at or Ser v er d Sche dd Execd Execd Execd U s er P r oces s Ser v er d Sche dd Execd Execd Execd U s er P r oces s Ser v er d Sche dd Execd Execd Execd U s er P r oces s 需要聯(lián)合調(diào)度的 作業(yè)隊列 多 機群 作業(yè)管理系統(tǒng)總體結(jié)構(gòu)圖 由上圖可知，多 機群 系統(tǒng)增加了一個仲裁器 Arbitor 和調(diào)度器 Negotiator，用來指導(dǎo)各個 機群之間的負(fù)載平衡和聯(lián)合調(diào)度作業(yè)。 Arbitor 維護(hù)著需要聯(lián)合調(diào)度的作業(yè)信息和從各個 機群 的 Serverd取得的總體資源信息。當(dāng)一個作業(yè)提交到某個 機群 內(nèi)的 Serverd，如果本地 機群 資源不能滿足作業(yè)的資源需求，則由 Arbitor 來判斷能 夠滿足該資源需求地 機群 ，則把作業(yè)傳送給該 機群 的 Serverd，由該 機群 執(zhí)行作業(yè)。如果單個 機群 的資源都不能滿足該作業(yè)，則 Arbitor 將該作業(yè)放入需要聯(lián)合調(diào)度的作業(yè)隊列， Negotiator 將根據(jù)作業(yè)的資源需求，綜合分配各個 機群 的空閑資源。另外，當(dāng)某個 機群上的作業(yè)隊列比較長，而某些 機群 處于空閑狀態(tài)，則 Arbitor 指導(dǎo)相關(guān)的 Serverd 通過路由隊列將處于排隊狀態(tài)的的作業(yè)傳送給空閑 機群 的 Serverd，從而在 機群 間實現(xiàn)負(fù)載平衡。 Negotiator 負(fù)責(zé)大型作業(yè)的聯(lián)合調(diào)度。在這個多 機群 系統(tǒng)中，所有需要聯(lián)合調(diào)度 的作業(yè)都被放入 Arbitor 維護(hù)的需要聯(lián)合調(diào)度作業(yè)的隊列中。 Negotiator 從 Arbitor 取得作業(yè)信息，向各個 機群的 Schedd 發(fā)出鎖定資源命令，從各個 Schedd 取得當(dāng)前資源使用狀況，根據(jù)預(yù)約算法開始調(diào)度。調(diào)度完成后，釋放資源鎖，同時通知各個 Schedd 更改資源使用狀況，并將調(diào)度結(jié)果返回 Arbitor，然后由 Arbitor 將調(diào)度結(jié)果傳給執(zhí)行主節(jié)點所在的 機群 的 Serverd， Serverd 更改資源使用狀況，并負(fù)責(zé)通知主節(jié)點啟動作業(yè)的運行。經(jīng)過聯(lián)合調(diào)度的作業(yè)由于涉及到多個 機群 中的執(zhí)行節(jié)點，需要 Execd 的支持，即 Execd 能夠跨越 機群 的物理限制，與涉及到的各個 機群 中的執(zhí)行節(jié)點上的 Execd 共同建立并行作業(yè)執(zhí)行環(huán)境，共同加載并行作業(yè)。 （ 3） LJRS 的技術(shù)特性 ? 靈活多樣的調(diào)度策略 聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了 FIFO（ First In First Out）、 Reservation 和Backfill、負(fù)載均衡等作業(yè)調(diào)度策略。以上策略可以由系統(tǒng)管理員根據(jù)最佳的利用率和資源共享的需高性能計算機群及應(yīng)用軟件采購項目 聯(lián)想（北京） 有限公司 22 要自由選定。通過擴(kuò)充 Reservation 和 Backfill 作業(yè)調(diào)度技術(shù)，聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng)解決了大型并 行作業(yè)的問題，即在等待大型作業(yè)所預(yù)約資源得到釋放的間隔，在確保大型作業(yè)不被延遲的前提下，允許小作業(yè)在這些預(yù)留的 CPU 上運行。 Reservation 預(yù)約策略是指當(dāng)一個作業(yè)在隊列中等待的時間超過一定的值，對它所需要的資源進(jìn)行預(yù)約，一直到所有資源都已得到滿足時，將該作業(yè)投入運行。預(yù)約策略雖然解決了作業(yè)的饑餓現(xiàn)象，但它導(dǎo)致了少量的資源空閑時間，降低了系統(tǒng)的吞吐率。因此，為了解決預(yù)約策略中的資源浪費， LJRS 還可同時使用 Backfilling（裝填策略）來優(yōu)化其作業(yè)調(diào)度性能。 Backfilling 裝填策略，就是充分利 用預(yù)約策略中由于預(yù)約產(chǎn)生的時間空隙，避免系統(tǒng)資源的浪費。通過計算預(yù)約形成的時間間隔，從作業(yè)隊列中選取合適的作業(yè)插入到這段時間段內(nèi)運行，而不影響預(yù)約的作業(yè)的按時運行，從而有效利用了系統(tǒng)資源，提高系統(tǒng)的利用率和吞吐率。但是裝填策略如何選取合適的作業(yè)以填補預(yù)約形成的 時間間隔，也是一個重要的調(diào)度問題。通常它使用 Firstfit 和 Bestfit 算法來選取作業(yè)。通過將預(yù)約策略和裝填策略有機結(jié)合，極大地提高了作業(yè)調(diào)度的公平性和 機群 系統(tǒng)資源的利用率。實際測試表明，多道并行作業(yè)調(diào)度運行時間和單道并行作業(yè)的運行時間相比，本系 統(tǒng)的調(diào)度效率小于 10%。 另外，聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 的調(diào)度策略可以很容易被擴(kuò)展，以適應(yīng)不同的計算需要和目標(biāo)，即系統(tǒng)管理員可以方便地配置和實現(xiàn)自己的調(diào)度策略。 ? 優(yōu)秀的負(fù)載均衡策略 聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng)對系統(tǒng)級、隊列級和用戶作業(yè)級實現(xiàn)不同的負(fù)載均衡節(jié)點選擇策略。首先，對于系統(tǒng)級來說，每個隊列有一種節(jié)點選擇策略，（當(dāng)資源都能滿足的前提下）。其次，對于隊列級，不同的隊列都可以由系統(tǒng)管理員設(shè)置不同的策略。最后，對于用戶來說，可以為自己的作業(yè)設(shè)置一個節(jié)點選擇策略。用戶作業(yè)級的優(yōu)先級最高，如果 用戶的作業(yè)中沒有定義，則采用隊列的節(jié)點選擇策略。對于節(jié)點分配策略，該系統(tǒng)提供了公平共享、用戶獨占和作業(yè)獨占等三種策略。通過對不同的系統(tǒng)、不同的作業(yè)配置不同的負(fù)載均衡策略和節(jié)點選擇策略，能夠有效的利用資源運行用戶作業(yè)，提高了系統(tǒng)的利用率，同時也提高了作業(yè)的執(zhí)行效率。 ? 功能強大的資源管理 針對系統(tǒng)級、隊列級和計算節(jié)點級，系統(tǒng)提供了多層次的資源管理功能，為不同類型的資源特性提供了不同的解決方案，使系統(tǒng)有效地分配管理各種資源，包括對系統(tǒng)資源（如 cpu、內(nèi)存、處理器數(shù)等）和軟件 Licence 等資源的有效管理和限制。 下面以軟件的 License 為例說明一下 LJRS 的強大的資源管理功能。軟件 License 有三種形式：一種是一個計算節(jié)點有了一個 License 就可以運行軟件，至于運行多少份拷貝，則沒有限制；另外一種是一個節(jié)點有了 N 個 License，只能運行 N 份拷貝；最后一種是一個局域網(wǎng)內(nèi)有 N 個 License，在高性能計算機群及應(yīng)用軟件采購項目 聯(lián)想（北京） 有限公司 23 該局域網(wǎng)內(nèi)就可以同時運行 N 份拷貝，而對于軟件運行的節(jié)點沒有限制。 LJRS 資源管理可以針對這三種情況，分別實現(xiàn)三種不同的 License 管理策略： 對于第一種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點增加一個屬性 L。當(dāng)用戶提交作業(yè) 時，指明運行該作業(yè)所需要的資源中包含該屬性 L，那么 LJRS 將作業(yè)分配到擁有該屬性的計算節(jié)點上。如果不考慮其他的資源限制因素，一個擁有屬性 L 的節(jié)點可以同時運行多個資源請求中有 L 屬性的作業(yè)。 對于第二種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點增加一個節(jié)點級的資源 L=N。（其中 N 表示該節(jié)點擁有 N 個 License。）當(dāng)用戶提交作業(yè)時，指明運行該作業(yè)所需要的資源中包含該資源 L=req，那么 LJRS 將作業(yè)分配到擁有該資源并且 Nusedreq0 的計算節(jié)點上（其中 used 表示在分配該作業(yè)之前，已經(jīng)有運行在該計算節(jié)點上的作業(yè) 請求了 used 個 License）。如果不考慮其他的資源限制因素，一個擁有資源 L=N 的節(jié)點可以同時運行資源請求中有 L 資源需求的作業(yè) n 個(Nreq1req2? reqn 0，其中 reqx 表示運行在該節(jié)點上的第 x 個作業(yè)請求了 reqx個 License)。 對于第二種情況，我們?yōu)榘惭b并擁有該軟件的節(jié)點增加一個系統(tǒng)級的資源 L=N。（其中 N 表示該系統(tǒng)擁有 N 個 License。）當(dāng)用戶提交作業(yè)時，指明運行該作業(yè)所需要的資源中包含該資源 L=req，那么 LJRS 將根據(jù)正在運行的作業(yè)總共請求 License 數(shù)，決定是否分配 該作業(yè)。如果 Nusedreq0（其中 used 表示在分配該作業(yè)之前，正在運行作業(yè)已經(jīng)請求了 used 個 License），則將作業(yè)分配運行，否則將作業(yè)繼續(xù)排隊，等待某些占有該 License 的作業(yè)運行結(jié)束，釋放該資源至 Nusedreq） 0。如果不考慮其他的資源限制因素，擁有資源 L=N 的系統(tǒng)中可以同時運行資源請求中有 L 資源需求的作業(yè)n 個 (Nreq1req2? reqn 0，其中 reqx 表示系統(tǒng)中運行的第 x 個作業(yè)請求了 reqx個 License)。 ? 支持多種類型的作業(yè) LJRS 能以批處理和交互兩種方式 運行串行和并行作業(yè)（如 MPI、 PVM 和 OpenMP 等并行程序），并允許并行作業(yè)的各個自任務(wù)使用千兆網(wǎng)絡(luò)互相通信。 LJRS 一個大型并行計算任務(wù)分發(fā)到多個計算節(jié)點的多個 CPU 上運行，確保在并行作業(yè)執(zhí)行時，使所有相關(guān) CPU 和計算節(jié)點都能達(dá)到負(fù)載平衡，從而提高整個 機群 系統(tǒng)的資源利用率和吞吐率。 ? 方便友好的操作界面 聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了基于 Web 瀏覽器的中文圖形化操作界面，極大地提高了系統(tǒng)的好用性。包括：系統(tǒng)基本配置界面，提供了對系統(tǒng)和隊列配置的查看和更改，對節(jié)點分配策略和資源的配置修改；節(jié)點 配置界面，提供了節(jié)點配置信息的查看和更改；啟?？刂?，提供系統(tǒng)的啟動、停止，計算節(jié)點的添加和刪除功能；作業(yè)管理，提供對作業(yè)的提交、屬性的更改、監(jiān)控、查詢等操作，同時實時的顯示作業(yè)的執(zhí)行狀態(tài)；命令行操作界面，使用戶可以在 web 界面中使用命令行操作。作業(yè)提交界面、作業(yè)二維和三維狀態(tài)監(jiān)控界面分別如下圖所示。 高性能計算機群及應(yīng)用軟件采購項目 聯(lián)想（北京） 有限公司 24 ? 高可用特性 聯(lián)想 機群 資源管理與作業(yè)調(diào)度系統(tǒng) LJRS 提供了啟動 /停止控制、系統(tǒng)狀態(tài)監(jiān)控和故障恢復(fù)功能。當(dāng)作業(yè)正在運行時，如果系統(tǒng)服務(wù)器或者執(zhí)行節(jié)點突然發(fā)生故障，本系統(tǒng)可以充分發(fā)揮實時監(jiān)控系統(tǒng)狀態(tài)并自動恢復(fù)故障的功 能，使正在運行的作業(yè)不被丟失，并立刻被重新調(diào)度運行，具備了較高的可用性。同時對作業(yè)提供了有效的監(jiān)控能力，特別是分布在不同節(jié)點上的并行作業(yè)的各個進(jìn)程。普通用戶可以查看、刪除、掛起和釋放自己所提交的作業(yè)，系統(tǒng)管理員可以查看、刪除、掛起和釋放所有用戶提交的作業(yè)，改變隊列和作業(yè)的狀態(tài)等。 此外，為了防止所填充作業(yè)的運行使預(yù)約的作業(yè)延遲運行，或者防止所填充作業(yè)在運行時被殺掉（調(diào)度器的配置可以在預(yù)約時間到來時殺掉占用預(yù)約資源的其他作業(yè)），我們在實際使用時會稍微高估所填充作業(yè)的運行時間。 ? 對網(wǎng)格系統(tǒng)的良好支持 聯(lián)想 機群 資 源管理與作業(yè)調(diào)度系統(tǒng) LJRS 不僅提供了 機群 系統(tǒng)內(nèi)部的強大的作業(yè)管理、資源管理、負(fù)載平衡等功能，還提供了對網(wǎng)格資源管理系統(tǒng)的良好支持。 LJRS 具有很好的可擴(kuò)展性，能夠適應(yīng)網(wǎng)格上對大規(guī)模作業(yè)和資源的管理需求，并且提供了一系列可擴(kuò)展接口。網(wǎng)格作業(yè)和資源管理系統(tǒng)能夠通過這些接口，獲取 機群 系統(tǒng)的作業(yè)信息和資源信息，管理、調(diào)度和監(jiān)控 機群 系統(tǒng)的作業(yè)和資源。用戶通過網(wǎng)格，能夠向 機群 系統(tǒng)提交作業(yè)，監(jiān)控和管理已提交的作業(yè)。另外，通過系統(tǒng)提供的預(yù)約和調(diào)度功能，在網(wǎng)格系統(tǒng)的協(xié)調(diào)下， LJRS 管理的 機群 系統(tǒng)能夠和其他 機群 系統(tǒng)共同完成一 個大作業(yè)。 監(jiān)控與管理系統(tǒng) LCMS 是聯(lián)想具有自主知識產(chǎn)權(quán)的一款監(jiān)控管理系統(tǒng)。 LCMS 管理功能綜合對節(jié)點的網(wǎng)絡(luò)管理、用戶管理、設(shè)備監(jiān)控、登錄權(quán)限控制、并行命令等日常管理維護(hù)功能，為系統(tǒng)管理員提供一個中文的圖形化系統(tǒng)管理工具來管理、訪問、查看各個節(jié)點和配置整個系統(tǒng)的各種服務(wù)，從而極大的減輕了系統(tǒng)管理員的負(fù)擔(dān)，提高了管理效率，同時降低了系統(tǒng)管理員危險操作的風(fēng)險。通過 LCMS 的監(jiān)控功能，可以監(jiān)控整個系統(tǒng)各個部件、模塊的的狀態(tài)，通過多種圖表實時顯示各個節(jié)點的諸如系統(tǒng)負(fù)載、內(nèi)存