【正文】 TERS 給 CLUSTER 的管理人員提供了一種相當(dāng)輕松的安裝方式。服務(wù)器端采用無人值守的安裝方式，在完成安裝后，計(jì)算節(jié)點(diǎn)全部通過 PXE網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。 計(jì)算節(jié)點(diǎn)的安裝： 在主節(jié)點(diǎn)載入系統(tǒng)后，啟動(dòng)節(jié)點(diǎn)安裝偵聽程序。 9 / 23 系統(tǒng)安裝檢查 通常我們?cè)诎惭b完一個(gè) CLUSTER系統(tǒng)后的工作就是檢查是否每一個(gè)節(jié)點(diǎn)都處于就緒狀態(tài)。 10 / 23 四 集群性能測(cè)試 集群測(cè)試主要的任務(wù)是對(duì)建立后的集群進(jìn)行一系列的初步測(cè)試，以便對(duì)我們集群性能有一定的了解。我們對(duì)集群測(cè)試大多使用一些很流行的基準(zhǔn)測(cè)試軟件，這些軟件是得到大家公認(rèn)的。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運(yùn)算，而大多數(shù)的運(yùn)算都可以歸結(jié)為浮點(diǎn)運(yùn)算，所以一個(gè)集群的浮點(diǎn)運(yùn)算能力是一個(gè)集群性能的主要體現(xiàn)。造成這種情況的主要原因有很多，主要的是在網(wǎng)絡(luò)延遲，主機(jī)整體性能和異構(gòu)平臺(tái)的不一致性造成的。 知道集群理論峰值是不夠的，我們還需要得到集群的實(shí)際峰值。由 Jack Dongarra 編寫的 Linpack是在高性能計(jì)算領(lǐng)域最出名和廣泛使用的基準(zhǔn)測(cè)試。 Linpack的結(jié)果按每秒浮點(diǎn)運(yùn)算次數(shù)表示。為了克服此問題，開發(fā)了新的規(guī)模更大的 Linpack，其名稱為 High Performance Linpack (HPL)。為了運(yùn)行 HPL，需要MPI和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號(hào)處理庫(kù) (VSIPL)兩者之一。 HPL的測(cè)試值會(huì)受到很多因素的影響，但是主要的有兩個(gè)因素，一是網(wǎng)絡(luò)的性能，二是平均每個(gè) CPU獲得的內(nèi)存大小。對(duì)于最好的系統(tǒng)性能，目標(biāo)是使用能與內(nèi)存匹配的最大的問題規(guī)模。如果問題規(guī)模 太大，則可能出現(xiàn)（與磁盤的）交換而顯著降低性能。如 10個(gè) Pentium III CPU 的 Rpeak值。正如拇指規(guī)則，對(duì)于最好的性能，此數(shù)一般不高于總內(nèi)存的 80%。 NB: 對(duì)于數(shù)據(jù)分配和計(jì)算粒度， HPL使用的塊尺度 NB。從數(shù)據(jù)分配的角度看，最小的 NB應(yīng)是理想的；但太小 的 NB值也可以限制計(jì)算性能。 11 / 23 MPBench 介紹 MPBench 主要是測(cè)試 MPI和 PVM消息傳模塊的效能 我們可以從這個(gè)測(cè)試中獲得以下一些信息： 1. Bandwidth (BB/second) 帶寬 2. Gap Time (time to launch a message and continue) (Us) MPI 間隔時(shí)間 3. Roundtrip or 2 * Latency (transactions/second) 往 返延遲 4. Asynchronous Bidirectional bandwidth (KB/second) 異步雙向帶寬 5. Broadcast (KB/second) 廣播速率 6. Allreduce (KB/second) 測(cè)試系統(tǒng)最低點(diǎn) 7. AlltoAll (KB/second) 全對(duì)稱帶寬 在這個(gè)程序中又有七個(gè)子程式來完成不同的功能，以下我們就介紹以下這七個(gè)程式的功能： Bandwidth 這個(gè)程式主要通過一個(gè) timer計(jì)數(shù)器和不停發(fā)送大小不同的包來測(cè)試我們的帶寬。 Bidirectional Bandwidth 這個(gè)程式用于點(diǎn)對(duì)點(diǎn)的帶寬測(cè)試。在下一次重復(fù)發(fā)送數(shù)據(jù)之前程序會(huì)等待，直到這個(gè)循環(huán)完成才開始 次的循環(huán)。 Roundtrip 這是一個(gè)類似于 pingpong的測(cè)試程式。這種方式很適應(yīng)于服務(wù)器和數(shù)據(jù)庫(kù)的應(yīng)用。 Broadcast and Reduce 這個(gè)程式使用廣播的方式來工作。每次發(fā)送包的大小等于包的總大小除以我們 MPI進(jìn)程的個(gè)數(shù)。 AllReduce 這個(gè)程式是 AlltoAll 的一個(gè)衍生程式，每個(gè)節(jié)點(diǎn)都有到其它節(jié)點(diǎn)的數(shù)據(jù)，這樣就很容易出現(xiàn)系統(tǒng)的瓶頸。 CacheBench 介紹 在我們程序當(dāng)中經(jīng)常會(huì)出現(xiàn)一些需要重復(fù)讀寫的數(shù)據(jù)，這些數(shù)據(jù)如果被放置在我們的 高速緩存中，程序在讀取時(shí)就不需要很頻繁的去讀取內(nèi)存數(shù)據(jù)，這樣就減少了程序遠(yuǎn)行的時(shí)間。 在 LLCBench中它的 Cache測(cè)試程序叫做 CacheBench。并且得到不同編譯器開關(guān)對(duì)我們系統(tǒng) Cache的影響。同樣的 CacheBench也分 8個(gè)基本的測(cè)試，這些測(cè)試包括： 12 / 23 Cache Read 這個(gè)程式通過指定的循環(huán)來讀取不同向量長(zhǎng)度的包，以便測(cè)試出我們 Cache讀取數(shù)據(jù)的帶寬。它通過把 register 中數(shù)據(jù)寫入 Cache中實(shí)現(xiàn)。 Cache Read/Modify/Write 這個(gè)程式也是反映在不同的循環(huán)中我們使用不同向量長(zhǎng)度的包讀 / 修改 /寫的數(shù)據(jù)帶寬。 Hand tuned Cache Read 和 CacheRead的使用方法類似，不過我們可以使用編譯優(yōu)化參數(shù)。這個(gè)函數(shù)經(jīng)常被用到，甚至做到了硬件的支持。 Memcpy() from C library 同樣的，這是一個(gè)內(nèi)存拷貝的程式，它也是一個(gè)標(biāo)準(zhǔn)的庫(kù)，使用它我們可以獲得在內(nèi)存中做拷貝的效率。 其中前面的 6個(gè)測(cè)試使用默認(rèn)的雙精度類型的數(shù)據(jù)作為基本的數(shù)據(jù)類型數(shù)組。 BLASBench 介紹 LLBench中的最后一個(gè)測(cè)試就是 BLASBench，它是一個(gè)測(cè)試基本線性代數(shù)子程序性能的基準(zhǔn)測(cè)試。 BLAS中提供了基本的向量計(jì)算數(shù)學(xué)方法 ，其中就有向量與向量，向量與矩陣，矩陣與矩陣。 BLAS提供了標(biāo)準(zhǔn)的 API供 Fortran 或者是 C等語言調(diào)用。BLASBench 有三個(gè)主要的測(cè)試項(xiàng)目，它們是： AXPY 向量相加評(píng)定 GEMV 矩陣與向量相乘評(píng)定 GEMM 矩陣與矩陣相乘評(píng)定 這些測(cè)試都可以選擇使用雙精度或者是單精度數(shù)據(jù)類型，這些都可以在 Makefile 里面定義。首先 BLASBech分配足夠的內(nèi)存來解決我們的問題規(guī)模，一旦內(nèi)存分配完成就開始數(shù)組的初始化，最后循環(huán)的調(diào)用 BLAS進(jìn)行計(jì)算。 具體的測(cè)試結(jié)果請(qǐng)參閱正特科技提交的測(cè)試報(bào)告 13 / 23 五 產(chǎn)品配置與報(bào)價(jià) 主節(jié)點(diǎn)服務(wù)器（五舟 HPC520R） 基本性能 處理器 標(biāo)配兩顆 ，支持雙路英特爾 174。 C至 35176。 C 至 +70176。Xeon?處理器 － 或更高，采用 800MHz 前端總線，支持 EM64T技術(shù)（ 64 位內(nèi)存擴(kuò)展技術(shù)） 二級(jí)緩存 2MB 全速二級(jí)緩存，集成于 CPU內(nèi)部 內(nèi)存 標(biāo)配 2GB 雙通道 DDR2 RECC PC3200 內(nèi)存 容量： 6 個(gè)或 8 個(gè) DIMM 插槽，支持高達(dá) 12 /16GB 內(nèi)存尋址空間內(nèi)存（支持 128MB到 2GB DIMM；內(nèi)存必須成對(duì)安裝） 集成雙通道內(nèi)存控制器，支持雙路交叉存取模式，數(shù)據(jù)帶寬高達(dá) 類型： 72 位 DDR2 533/400 ECC Registered SDRAM,240 針 DIMM插槽 單個(gè) DIMM可支持容量： 128MB,256MB,512MB,1GB, 2GB ECC 錯(cuò)誤探測(cè)功能：修正單位錯(cuò)誤，探測(cè)雙位錯(cuò)誤 存儲(chǔ)控制器 集成雙通道 SATA150 控制器 , 內(nèi)建 RAID0、 1 功能； 集成雙通道 IDE 控制器 網(wǎng)絡(luò)環(huán)境 集成兩個(gè) 1000M 網(wǎng)卡（支持 10BASET、 100BASETX 和 1000BASETX,RJ45 輸出），支持 PCIExpress 技術(shù)提供更高網(wǎng)絡(luò)帶寬 圖形控制器 主板集成 ATI Rage XL PCI 視頻控制器，集成 8MB 視頻內(nèi)存 光盤驅(qū)動(dòng)器 可選 IDE 接口 CDROM 軟盤驅(qū)動(dòng)器 可選 鍵盤 /鼠標(biāo) (選配 ) PS/2 接口 104鍵盤 PS/2 接口 鼠標(biāo) 擴(kuò)展性能 存儲(chǔ)擴(kuò)展性 內(nèi)部存儲(chǔ)：最多支持 6 個(gè) 1 英寸 SATA /ATA 硬盤 外部存儲(chǔ)：支持外置存儲(chǔ)方式（單機(jī)外部擴(kuò)展磁盤陣列柜或高可用雙機(jī)模式） I/0 擴(kuò)展槽 擁有 1 個(gè) PCIE 插槽 1 個(gè) PCIX 64 位 /133MHz插槽，支持全高、半高擴(kuò)展卡 內(nèi)部設(shè)備接口 2 個(gè) SATA 接口 2 個(gè) IDE 接口， 1 個(gè)軟驅(qū)接口 外部設(shè)備接口 2 個(gè) RJ45 網(wǎng)絡(luò)接口 2 個(gè) USB 接口 1 個(gè) PS/2 鼠標(biāo)接口 /1個(gè) PS/2 鍵盤接口 1 個(gè)顯示接口 1 個(gè)串口 1 個(gè)并口 16 / 23 兼容操作系統(tǒng) SCSI 配置 Microsoft Windows 2020 Server 中英文版 Microsoft Windows Server 2020 系列 中英文版 Red Hat Linux Red Hat Enterprise Linux 集成 SCSI RAID配置（ 0 或 1） Microsoft Windows 2020 Server 中英文版 Microsoft Windows Server 2020 系列 中英文版 Red Hat Linux 外插 SCSI RAID配置（ 0、 0+ 5） Microsoft Windows 2020 Server 中英文版 Microsoft Windows Server 2020 系列 中英文版 Red Hat Linux Red Hat Enterprise Linux 管理特性 服務(wù)器監(jiān)視 CPU 溫度、電壓監(jiān)測(cè)和風(fēng)扇監(jiān)測(cè) 管理軟 件 可選遠(yuǎn)程服務(wù)器管理軟件 其他特點(diǎn) 工作環(huán)境溫度 工作 (系統(tǒng) ):5176。 C 非工作環(huán)境溫度 40176。 C 電源 電壓 220V 4763Hz 電源功率 480W 服務(wù)器 2U 專用電源 整機(jī)尺寸 (高 ) 4 45(寬 ) 6 40(深 )(mm) 隨機(jī)軟件 五舟 服務(wù)器 驅(qū)動(dòng) 軟件 五舟 HP