【導(dǎo)讀】XX大學(xué)高性能計(jì)算平臺(tái)項(xiàng)目。中國(guó)惠普有限公司第i頁(yè)

　　

【正文】 G4 服務(wù)器 (2U) ? 登錄節(jié)點(diǎn)：同計(jì)算節(jié)點(diǎn) HP DL360 G4 (1U) ? 管理網(wǎng)絡(luò)： 10/100 Mb/s HP ProCurve 2650 以太網(wǎng)交換機(jī) ? 用戶網(wǎng)絡(luò)（存儲(chǔ)網(wǎng)絡(luò)）： 1Gb/s HP ProCurve 2800 系列以太網(wǎng)交換機(jī) ? 系統(tǒng)互聯(lián)： Myri 高速互連設(shè)備 XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 18 頁(yè) ? 控制系統(tǒng)： KVM 交換機(jī)、機(jī)架鍵盤和 TFT 液晶顯示器 ? 機(jī)柜、電源插座、連接線纜和附件 2．管理節(jié)點(diǎn) 采用 1臺(tái) HP ProLiant DL360G4 服務(wù)器。 一臺(tái)管理節(jié)點(diǎn) ProLiant DL360 G4的組成配置如下： ? 2個(gè) GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個(gè) 64bit/ 133 MHz PCIX 插槽 ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC ? PCI 10/100/1000T Adapter 3．登錄節(jié)點(diǎn) 配置 1臺(tái) ProLiant DL360 G4 為登錄節(jié)點(diǎn)。 每臺(tái) ProLiant DL360 G4的組成配置如下： ? 2個(gè) GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個(gè) 64bit/ 133 MHz PCIX 插槽 ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC 4．計(jì)算節(jié)點(diǎn) 配置 64臺(tái) ProLiant DL360 G4 為計(jì)算節(jié)點(diǎn)。 每臺(tái) ProLiant DL360 G4的組成配置如下： ? 2個(gè) GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個(gè) 64bit/ 133 MHz PCIX 插槽 或 PCIE ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC ? PCI 10/100/1000T Adapter 5． I/O節(jié)點(diǎn) 配置 2臺(tái) ProLiant DL380 G4 為計(jì)算節(jié)點(diǎn)。 每臺(tái) ProLiant DL380 G4的組成配置如下： XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 19 頁(yè) ? 2個(gè) 3。 0 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 3個(gè) PCIX 插槽 ? 72 GB 磁盤 , 系統(tǒng)可支持 6 個(gè)熱插拔磁盤 /磁帶 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC 網(wǎng)管型千兆以太網(wǎng)交換機(jī) HP ProCurve Switch 2848 HP ProCurve Switch 2848 性能指標(biāo)： 端口： 44 個(gè) 10/100/1000 端口， 4 個(gè)雙功能定制端口 延遲時(shí)間： 100MB： ( FIFO 64 字節(jié)數(shù)據(jù)包 )、 1000MB us ( FIFO 64 字節(jié)數(shù)據(jù)包 ) 吞吐率： mpps 交換容量： 96Gbps 地址表大?。? 16,000 控制網(wǎng)絡(luò)交換機(jī)：采用可網(wǎng)管型快速以太網(wǎng)交換機(jī) HP ProCurve Switch 2650 HP ProCurve Switch 2650 性能指標(biāo)： 端口： 48 個(gè) 10/100 端口， 2 個(gè)雙功能定制端口 延遲時(shí)間： 12us ( FIFO ) 吞吐率： mpps （ 64 字節(jié)數(shù)據(jù)包 ) 交換容量： 地址表大?。? 8,000 7． 核心交換機(jī) 采用 Myri 產(chǎn)品 Myri 產(chǎn)品具有以下一些特點(diǎn)： ? 全雙工 2+2 Gb/s 數(shù)據(jù)傳輸鏈路，端口交換，和接口速率； ? 在每條鏈路上有流控制，錯(cuò)誤控制，和“心跳”連續(xù)監(jiān)控 ? 低延遲， cutthrough 交換，監(jiān)視應(yīng)用高可用能力 ? 交換網(wǎng)絡(luò)可以擴(kuò)展到幾萬(wàn)個(gè)主機(jī)，在主機(jī)之間還可以提供可選擇通訊路線 ? 主機(jī)接口執(zhí)行固化軟件，從主機(jī)下載協(xié)議處理，固化軟件直接和主機(jī)處理器通訊（“ OS bypass” ） ,實(shí)現(xiàn)低延時(shí)，直接和網(wǎng)絡(luò)進(jìn)行發(fā)送、接收和緩沖通訊包。 XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 20 頁(yè) 存儲(chǔ)子系統(tǒng)配置方案 用戶現(xiàn)有系統(tǒng)分析 1. 各院系主要 系統(tǒng) (需要較高性能 I/O帶寬 ， 計(jì)算使用 ) ? 三臺(tái) SGI Altix 3700； ? 計(jì)算中心未來(lái)的高性能計(jì)算集群 。 2. 其他次要系統(tǒng) (需要共享訪問數(shù)據(jù) ， 限制帶寬 ) ? 數(shù)百臺(tái)校園網(wǎng) 接入 Windows, UNIX, LINUX 等計(jì)算機(jī)。 用戶存儲(chǔ)需求分析 1. 增加 20TB 高性能存儲(chǔ)系統(tǒng) ； 2. 總存儲(chǔ)帶寬吞吐量 500MB/s； 3. 文件可根據(jù)用戶設(shè)置 ， 實(shí)現(xiàn)共享讀寫 ； 4. 容量和性能以后可以伸展 ； 5. 數(shù)據(jù)能夠被所有現(xiàn)有的異構(gòu)平臺(tái)計(jì)算機(jī)共享 ； 6. 存儲(chǔ)系統(tǒng)吞吐量主要提供給主要系統(tǒng) ； 7. 其他次要系統(tǒng)的訪問吞吐量需要限制 ， 不能影響主要系統(tǒng)的 存儲(chǔ)吞吐量 。 方案可行性分析 校園集群 方案 校園范圍內(nèi)建設(shè)一個(gè)巨大的 SAN， Campus Cluster, NOT Campus Grid ? 各院系本地原有存儲(chǔ)資源的巨大浪費(fèi) ； ? 通過 SAN 來(lái)對(duì)遠(yuǎn)程存儲(chǔ)資源進(jìn)行的 I/O，性能無(wú)論如何都遠(yuǎn)低于本地 I/O； XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 21 頁(yè) ? 增加成本而毫無(wú)意義， Grid 調(diào)度管理軟件以及各院系的高性能計(jì)算軟件不需要進(jìn)行繞過文件系統(tǒng)的底層 I/O； ? 單一失效點(diǎn)，中心的 SAN失效，會(huì)引起各個(gè)院系的計(jì)算任務(wù)無(wú)法進(jìn)行； ? 違背 SAN 設(shè)計(jì)初衷，光傳播速度很快，但是 FC 交換機(jī)的端口緩沖區(qū)卻 很小。SAN 往往用做近距離一個(gè)機(jī)房?jī)?nèi)的應(yīng)用。中遠(yuǎn)距離的 SAN 往往采用異步 I/O，而非同步 I/O。同步 I/O的開銷非常大，絕非高性能計(jì)算所能忍受 。 校園 網(wǎng)格方案 校園范圍內(nèi)整合各個(gè) SAN 存儲(chǔ)資源 ， Campus Grid, NOT Campus Cluster ? 各節(jié)點(diǎn) SAN相互獨(dú)立，校園范圍各主要節(jié)點(diǎn)間鋪設(shè)專有的光纖千兆以太網(wǎng)，采用可擴(kuò)展的高性能 NFS Server，通過標(biāo)準(zhǔn)的 NFS協(xié)議，實(shí)現(xiàn)數(shù)據(jù)整合共享 ； ? 充分利用現(xiàn)有本地存儲(chǔ)資源，保護(hù)用戶投資 ； ? 利用計(jì)算中心的優(yōu)勢(shì)存儲(chǔ)，達(dá)到校園范圍內(nèi)的存儲(chǔ)共 享及整合 ； ? 節(jié)約成本，充分滿足 Grid 調(diào)度管理軟件的文件級(jí)別需求 ； ? 可擴(kuò)展，方便靈活，輕松做到校園范圍內(nèi)的異構(gòu)存儲(chǔ)資源整合。 方案對(duì)比分析 校園網(wǎng)格與校園集群 校園網(wǎng)格 Campus Grid 校園 集群 Campus Cluster 多節(jié)點(diǎn) 單一節(jié)點(diǎn) 在節(jié)點(diǎn)自治基礎(chǔ)上的資源協(xié)調(diào) 集中控制 網(wǎng)格、機(jī)群兩級(jí)管理 單一機(jī)群管理 分布式存貯 集中存貯 分布距離不受限制 一棟大樓內(nèi) XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 22 頁(yè) 校園網(wǎng)格異構(gòu)平臺(tái)兩級(jí)存儲(chǔ)系統(tǒng)設(shè)計(jì)方案 校園 網(wǎng)格兩級(jí)存儲(chǔ)方案 綜上所述， 針對(duì) XX 大學(xué) 存儲(chǔ)系統(tǒng)現(xiàn)狀，存儲(chǔ)整合的需要以及存儲(chǔ)整合中所面臨的挑戰(zhàn)，惠普公司推薦 XX 大學(xué) 高性能項(xiàng)目存儲(chǔ)子系統(tǒng)，采用校園網(wǎng)格異構(gòu)平臺(tái)兩級(jí)存儲(chǔ)系統(tǒng)設(shè)計(jì)方案，具體如下： ? 節(jié)點(diǎn)內(nèi)采用 SAN 存貯系統(tǒng) ? 節(jié)點(diǎn)間采用 NFS 文件共享 ? 調(diào)度策略上優(yōu)先使用本地存貯資源 校園 網(wǎng)格方案推薦配置 1. 存儲(chǔ)系統(tǒng)設(shè)計(jì)吞吐量 : ? 500MB/s 吞吐量 。 2. HP EFS 網(wǎng)關(guān)集群 ? 4個(gè)網(wǎng)關(guān)節(jié)點(diǎn) = 493MB/s 吞吐量 ? 2 x 4 = 8 個(gè)千兆以太網(wǎng)接口 = 800MB/s NFS 帶寬 493MB/s 3. 后端磁盤陣列 SAN ? EVA8000 磁盤陣列 NFS SAN XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 23 頁(yè) ? 500MB/s 寫帶寬 。 1300MB/s 讀帶寬 ? 20TB FC 磁盤 ? 兩臺(tái) HP StorageWorks Edge Switch 2/24 交換機(jī) 4. 千兆光纖以太網(wǎng)交換機(jī) 整套存儲(chǔ)系統(tǒng)裝架示意圖如下所示： 校園 網(wǎng)格方案詳細(xì)描述 校園網(wǎng)格異構(gòu)平臺(tái)兩級(jí)存儲(chǔ)系統(tǒng)分為 2 大部分： SAN 和 NFS。校園網(wǎng)格異構(gòu)平臺(tái)兩ProLiant DL380 Storage Server (Base Model) + FCA2214DC 光纖卡 EVA CommandView 管理機(jī) { HP EFS 集群網(wǎng)關(guān) 4 個(gè) NAS 網(wǎng)關(guān)服務(wù)器 ProCurve光纖千兆交換機(jī) { EVA8000 磁盤陣列 HP StorageWorks Edge Switch 2/24 光纖交換機(jī) XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 24 頁(yè) 級(jí)存儲(chǔ)系統(tǒng)拓?fù)鋱D如下： 1. SAN 配置 2 臺(tái) HP StorageWorks Edge Switch 2/24 光纖交換機(jī)，做為 SAN 存儲(chǔ)區(qū)域網(wǎng)核心交換機(jī)。 1 臺(tái) HP StorageWorks EVA8000 磁盤陣列，配置 20TB 存儲(chǔ)容量，通過上述 2 臺(tái)光纖交換機(jī)，連接到 SAN 存儲(chǔ)區(qū)域網(wǎng)。 1 套 HP 高性能計(jì)算集群系統(tǒng) ，通過 2 個(gè) I/O 節(jié)點(diǎn)，通過上 述 2 臺(tái)光纖交換機(jī)，連接到 SAN 存儲(chǔ)區(qū)域網(wǎng)。 1 套 HP SMP 高性能計(jì)算服務(wù)器，配置 2 塊 HBA 卡，通過上述 2 臺(tái)光纖交換機(jī)，連接到 SAN 存儲(chǔ)區(qū)域網(wǎng)。 1臺(tái) HP StorageWorks EFS 企業(yè)文件服務(wù)集群網(wǎng)關(guān)（簡(jiǎn)稱 HP EFS 集群網(wǎng)關(guān)） ，配置4個(gè)節(jié)點(diǎn)，通過上述 2 臺(tái)光纖交換機(jī)，連接到 SAN 存儲(chǔ)區(qū)域網(wǎng)。 2. NFS LAN HP Cluster Cntrl A Cntrl B HP StorageWorks EVA8000 Cluster Storage Nodes SAN FC Switch Ether Switch Campus Other Nodes Altix 3700 Altix 3700 Altix 3700 EFS Clustered Gateway 4 Nodes Ether Switch (Optical Module) SuperDome NFS NFS NFS SAN XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書 中國(guó)惠普有限公司 第 25 頁(yè) HP StorageWorks EFS 企業(yè)文件服務(wù)集群網(wǎng)關(guān)（簡(jiǎn)稱 HP EFS 集群網(wǎng)關(guān)） ，共配置 4個(gè)網(wǎng)關(guān)節(jié)點(diǎn)。 HP EFS 集群網(wǎng)關(guān) 后端與 SAN 存儲(chǔ)區(qū)域網(wǎng) 相連 ，前端 通過千兆以太網(wǎng) ，對(duì)外 提供 高性能 的 NFS文件共享服務(wù)。 1 套 HP 高性能計(jì)算集群系統(tǒng)、 1 套 HP SMP 高性能計(jì)算