【導(dǎo)讀】XX大學(xué)高性能計算平臺項目。中國惠普有限公司第i頁

　　

【正文】 G4 服務(wù)器 (2U) ? 登錄節(jié)點：同計算節(jié)點 HP DL360 G4 (1U) ? 管理網(wǎng)絡(luò)： 10/100 Mb/s HP ProCurve 2650 以太網(wǎng)交換機 ? 用戶網(wǎng)絡(luò)（存儲網(wǎng)絡(luò)）： 1Gb/s HP ProCurve 2800 系列以太網(wǎng)交換機 ? 系統(tǒng)互聯(lián)： Myri 高速互連設(shè)備 XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 18 頁 ? 控制系統(tǒng)： KVM 交換機、機架鍵盤和 TFT 液晶顯示器 ? 機柜、電源插座、連接線纜和附件 2．管理節(jié)點 采用 1臺 HP ProLiant DL360G4 服務(wù)器。 一臺管理節(jié)點 ProLiant DL360 G4的組成配置如下： ? 2個 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個 64bit/ 133 MHz PCIX 插槽 ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個內(nèi)置的 10/100/1000 以太網(wǎng) NIC ? PCI 10/100/1000T Adapter 3．登錄節(jié)點 配置 1臺 ProLiant DL360 G4 為登錄節(jié)點。 每臺 ProLiant DL360 G4的組成配置如下： ? 2個 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個 64bit/ 133 MHz PCIX 插槽 ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個內(nèi)置的 10/100/1000 以太網(wǎng) NIC 4．計算節(jié)點 配置 64臺 ProLiant DL360 G4 為計算節(jié)點。 每臺 ProLiant DL360 G4的組成配置如下： ? 2個 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個 64bit/ 133 MHz PCIX 插槽 或 PCIE ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個內(nèi)置的 10/100/1000 以太網(wǎng) NIC ? PCI 10/100/1000T Adapter 5． I/O節(jié)點 配置 2臺 ProLiant DL380 G4 為計算節(jié)點。 每臺 ProLiant DL380 G4的組成配置如下： XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 19 頁 ? 2個 3。 0 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 3個 PCIX 插槽 ? 72 GB 磁盤 , 系統(tǒng)可支持 6 個熱插拔磁盤 /磁帶 ? Integrated lights out (iLO) ? 兩個內(nèi)置的 10/100/1000 以太網(wǎng) NIC 網(wǎng)管型千兆以太網(wǎng)交換機 HP ProCurve Switch 2848 HP ProCurve Switch 2848 性能指標： 端口： 44 個 10/100/1000 端口， 4 個雙功能定制端口 延遲時間： 100MB： ( FIFO 64 字節(jié)數(shù)據(jù)包 )、 1000MB us ( FIFO 64 字節(jié)數(shù)據(jù)包 ) 吞吐率： mpps 交換容量： 96Gbps 地址表大小： 16,000 控制網(wǎng)絡(luò)交換機：采用可網(wǎng)管型快速以太網(wǎng)交換機 HP ProCurve Switch 2650 HP ProCurve Switch 2650 性能指標： 端口： 48 個 10/100 端口， 2 個雙功能定制端口 延遲時間： 12us ( FIFO ) 吞吐率： mpps （ 64 字節(jié)數(shù)據(jù)包 ) 交換容量： 地址表大小： 8,000 7． 核心交換機 采用 Myri 產(chǎn)品 Myri 產(chǎn)品具有以下一些特點： ? 全雙工 2+2 Gb/s 數(shù)據(jù)傳輸鏈路，端口交換，和接口速率； ? 在每條鏈路上有流控制，錯誤控制，和“心跳”連續(xù)監(jiān)控 ? 低延遲， cutthrough 交換，監(jiān)視應(yīng)用高可用能力 ? 交換網(wǎng)絡(luò)可以擴展到幾萬個主機，在主機之間還可以提供可選擇通訊路線 ? 主機接口執(zhí)行固化軟件，從主機下載協(xié)議處理，固化軟件直接和主機處理器通訊（“ OS bypass” ） ,實現(xiàn)低延時，直接和網(wǎng)絡(luò)進行發(fā)送、接收和緩沖通訊包。 XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 20 頁 存儲子系統(tǒng)配置方案 用戶現(xiàn)有系統(tǒng)分析 1. 各院系主要 系統(tǒng) (需要較高性能 I/O帶寬 ， 計算使用 ) ? 三臺 SGI Altix 3700； ? 計算中心未來的高性能計算集群 。 2. 其他次要系統(tǒng) (需要共享訪問數(shù)據(jù) ， 限制帶寬 ) ? 數(shù)百臺校園網(wǎng) 接入 Windows, UNIX, LINUX 等計算機。 用戶存儲需求分析 1. 增加 20TB 高性能存儲系統(tǒng) ； 2. 總存儲帶寬吞吐量 500MB/s； 3. 文件可根據(jù)用戶設(shè)置 ， 實現(xiàn)共享讀寫 ； 4. 容量和性能以后可以伸展 ； 5. 數(shù)據(jù)能夠被所有現(xiàn)有的異構(gòu)平臺計算機共享 ； 6. 存儲系統(tǒng)吞吐量主要提供給主要系統(tǒng) ； 7. 其他次要系統(tǒng)的訪問吞吐量需要限制 ， 不能影響主要系統(tǒng)的 存儲吞吐量 。 方案可行性分析 校園集群 方案 校園范圍內(nèi)建設(shè)一個巨大的 SAN， Campus Cluster, NOT Campus Grid ? 各院系本地原有存儲資源的巨大浪費 ； ? 通過 SAN 來對遠程存儲資源進行的 I/O，性能無論如何都遠低于本地 I/O； XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 21 頁 ? 增加成本而毫無意義， Grid 調(diào)度管理軟件以及各院系的高性能計算軟件不需要進行繞過文件系統(tǒng)的底層 I/O； ? 單一失效點，中心的 SAN失效，會引起各個院系的計算任務(wù)無法進行； ? 違背 SAN 設(shè)計初衷，光傳播速度很快，但是 FC 交換機的端口緩沖區(qū)卻 很小。SAN 往往用做近距離一個機房內(nèi)的應(yīng)用。中遠距離的 SAN 往往采用異步 I/O，而非同步 I/O。同步 I/O的開銷非常大，絕非高性能計算所能忍受 。 校園 網(wǎng)格方案 校園范圍內(nèi)整合各個 SAN 存儲資源 ， Campus Grid, NOT Campus Cluster ? 各節(jié)點 SAN相互獨立，校園范圍各主要節(jié)點間鋪設(shè)專有的光纖千兆以太網(wǎng)，采用可擴展的高性能 NFS Server，通過標準的 NFS協(xié)議，實現(xiàn)數(shù)據(jù)整合共享 ； ? 充分利用現(xiàn)有本地存儲資源，保護用戶投資 ； ? 利用計算中心的優(yōu)勢存儲，達到校園范圍內(nèi)的存儲共 享及整合 ； ? 節(jié)約成本，充分滿足 Grid 調(diào)度管理軟件的文件級別需求 ； ? 可擴展，方便靈活，輕松做到校園范圍內(nèi)的異構(gòu)存儲資源整合。 方案對比分析 校園網(wǎng)格與校園集群 校園網(wǎng)格 Campus Grid 校園 集群 Campus Cluster 多節(jié)點 單一節(jié)點 在節(jié)點自治基礎(chǔ)上的資源協(xié)調(diào) 集中控制 網(wǎng)格、機群兩級管理 單一機群管理 分布式存貯 集中存貯 分布距離不受限制 一棟大樓內(nèi) XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 22 頁 校園網(wǎng)格異構(gòu)平臺兩級存儲系統(tǒng)設(shè)計方案 校園 網(wǎng)格兩級存儲方案 綜上所述， 針對 XX 大學(xué) 存儲系統(tǒng)現(xiàn)狀，存儲整合的需要以及存儲整合中所面臨的挑戰(zhàn)，惠普公司推薦 XX 大學(xué) 高性能項目存儲子系統(tǒng)，采用校園網(wǎng)格異構(gòu)平臺兩級存儲系統(tǒng)設(shè)計方案，具體如下： ? 節(jié)點內(nèi)采用 SAN 存貯系統(tǒng) ? 節(jié)點間采用 NFS 文件共享 ? 調(diào)度策略上優(yōu)先使用本地存貯資源 校園 網(wǎng)格方案推薦配置 1. 存儲系統(tǒng)設(shè)計吞吐量 : ? 500MB/s 吞吐量 。 2. HP EFS 網(wǎng)關(guān)集群 ? 4個網(wǎng)關(guān)節(jié)點 = 493MB/s 吞吐量 ? 2 x 4 = 8 個千兆以太網(wǎng)接口 = 800MB/s NFS 帶寬 493MB/s 3. 后端磁盤陣列 SAN ? EVA8000 磁盤陣列 NFS SAN XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 23 頁 ? 500MB/s 寫帶寬 。 1300MB/s 讀帶寬 ? 20TB FC 磁盤 ? 兩臺 HP StorageWorks Edge Switch 2/24 交換機 4. 千兆光纖以太網(wǎng)交換機 整套存儲系統(tǒng)裝架示意圖如下所示： 校園 網(wǎng)格方案詳細描述 校園網(wǎng)格異構(gòu)平臺兩級存儲系統(tǒng)分為 2 大部分： SAN 和 NFS。校園網(wǎng)格異構(gòu)平臺兩ProLiant DL380 Storage Server (Base Model) + FCA2214DC 光纖卡 EVA CommandView 管理機 { HP EFS 集群網(wǎng)關(guān) 4 個 NAS 網(wǎng)關(guān)服務(wù)器 ProCurve光纖千兆交換機 { EVA8000 磁盤陣列 HP StorageWorks Edge Switch 2/24 光纖交換機 XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 24 頁 級存儲系統(tǒng)拓撲圖如下： 1. SAN 配置 2 臺 HP StorageWorks Edge Switch 2/24 光纖交換機，做為 SAN 存儲區(qū)域網(wǎng)核心交換機。 1 臺 HP StorageWorks EVA8000 磁盤陣列，配置 20TB 存儲容量，通過上述 2 臺光纖交換機，連接到 SAN 存儲區(qū)域網(wǎng)。 1 套 HP 高性能計算集群系統(tǒng) ，通過 2 個 I/O 節(jié)點，通過上 述 2 臺光纖交換機，連接到 SAN 存儲區(qū)域網(wǎng)。 1 套 HP SMP 高性能計算服務(wù)器，配置 2 塊 HBA 卡，通過上述 2 臺光纖交換機，連接到 SAN 存儲區(qū)域網(wǎng)。 1臺 HP StorageWorks EFS 企業(yè)文件服務(wù)集群網(wǎng)關(guān)（簡稱 HP EFS 集群網(wǎng)關(guān)） ，配置4個節(jié)點，通過上述 2 臺光纖交換機，連接到 SAN 存儲區(qū)域網(wǎng)。 2. NFS LAN HP Cluster Cntrl A Cntrl B HP StorageWorks EVA8000 Cluster Storage Nodes SAN FC Switch Ether Switch Campus Other Nodes Altix 3700 Altix 3700 Altix 3700 EFS Clustered Gateway 4 Nodes Ether Switch (Optical Module) SuperDome NFS NFS NFS SAN XX 大學(xué) 高性能計算系統(tǒng)方案建議書 中國惠普有限公司 第 25 頁 HP StorageWorks EFS 企業(yè)文件服務(wù)集群網(wǎng)關(guān)（簡稱 HP EFS 集群網(wǎng)關(guān)） ，共配置 4個網(wǎng)關(guān)節(jié)點。 HP EFS 集群網(wǎng)關(guān) 后端與 SAN 存儲區(qū)域網(wǎng) 相連 ，前端 通過千兆以太網(wǎng) ，對外 提供 高性能 的 NFS文件共享服務(wù)。 1 套 HP 高性能計算集群系統(tǒng)、 1 套 HP SMP 高性能計算