【正文】 不需要進(jìn)行繞過(guò)文件系統(tǒng)的底層 I/O； ? 單一失效點(diǎn)，中心的 SAN失效，會(huì)引起各個(gè)院系的計(jì)算任務(wù)無(wú)法進(jìn)行； ? 違背 SAN 設(shè)計(jì)初衷，光傳播速度很快，但是 FC 交換機(jī)的端口緩沖區(qū)卻 很小。 0 GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 3個(gè) PCIX 插槽 ? 72 GB 磁盤 , 系統(tǒng)可支持 6 個(gè)熱插拔磁盤 /磁帶 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC 網(wǎng)管型千兆以太網(wǎng)交換機(jī) HP ProCurve Switch 2848 HP ProCurve Switch 2848 性能指標(biāo)： 端口： 44 個(gè) 10/100/1000 端口， 4 個(gè)雙功能定制端口 延遲時(shí)間： 100MB： ( FIFO 64 字節(jié)數(shù)據(jù)包 )、 1000MB us ( FIFO 64 字節(jié)數(shù)據(jù)包 ) 吞吐率： mpps 交換容量： 96Gbps 地址表大?。? 16,000 控制網(wǎng)絡(luò)交換機(jī)：采用可網(wǎng)管型快速以太網(wǎng)交換機(jī) HP ProCurve Switch 2650 HP ProCurve Switch 2650 性能指標(biāo)： 端口： 48 個(gè) 10/100 端口， 2 個(gè)雙功能定制端口 延遲時(shí)間： 12us ( FIFO ) 吞吐率： mpps （ 64 字節(jié)數(shù)據(jù)包 ) 交換容量： 地址表大?。? 8,000 7． 核心交換機(jī) 采用 Myri 產(chǎn)品 Myri 產(chǎn)品具有以下一些特點(diǎn)： ? 全雙工 2+2 Gb/s 數(shù)據(jù)傳輸鏈路，端口交換，和接口速率； ? 在每條鏈路上有流控制，錯(cuò)誤控制，和“心跳”連續(xù)監(jiān)控 ? 低延遲， cutthrough 交換，監(jiān)視應(yīng)用高可用能力 ? 交換網(wǎng)絡(luò)可以擴(kuò)展到幾萬(wàn)個(gè)主機(jī)，在主機(jī)之間還可以提供可選擇通訊路線 ? 主機(jī)接口執(zhí)行固化軟件，從主機(jī)下載協(xié)議處理，固化軟件直接和主機(jī)處理器通訊（“ OS bypass” ） ,實(shí)現(xiàn)低延時(shí)，直接和網(wǎng)絡(luò)進(jìn)行發(fā)送、接收和緩沖通訊包。 一臺(tái)管理節(jié)點(diǎn) ProLiant DL360 G4的組成配置如下： ? 2個(gè) GHz Intel Xeon EM64T CPU ? 4 GB 內(nèi)存 ? 2個(gè) 64bit/ 133 MHz PCIX 插槽 ? 1x 72 GB 10K U320 熱插拔磁盤 ? Integrated lights out (iLO) ? 兩個(gè)內(nèi)置的 10/100/1000 以太網(wǎng) NIC ? PCI 10/100/1000T Adapter 3．登錄節(jié)點(diǎn) 配置 1臺(tái) ProLiant DL360 G4 為登錄節(jié)點(diǎn)。 SX1000 的高帶寬、 低延遲的特性將提供對(duì)這些處理器的很好支持。每個(gè)處理器槽位，可以支持一個(gè)或兩個(gè)處理器，系統(tǒng)最大可達(dá) 16 個(gè) CELL 模塊，最小采用 2 個(gè) CELL模塊。多個(gè) CELL 模塊通過(guò)CrossBar 交換機(jī)組成多達(dá) 128 個(gè)處理器的 SUPERDOME 服務(wù)器，通過(guò)硬件分區(qū)技術(shù)可以把一臺(tái) SUPERDOME 服務(wù)器劃分為多個(gè)邏輯的服務(wù)器，每個(gè)分區(qū)可以安裝不同的操作系統(tǒng)，包括： HPUX、 WINDOWS、 LINUX， OpenVMS。 HP Integrity SuperDome 架構(gòu)如下 : XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠普有限公司 第 16 頁(yè) B ac kpl aneXBARRe m o teL inkCE L L0Re m o teL inkRe m o teL inkRe m o teL inkXBARXBARXBARCE L L8IO B A C K P LA N EB ac kpl aneC abi C abi IO B A C K P LA N E NUMA（ NonUniform Memory Access）結(jié)構(gòu)的優(yōu)點(diǎn)： 針對(duì)高性能計(jì)算應(yīng)用所需的配置規(guī)模 , NUMA 解決了其擴(kuò)展問(wèn)題 ,可較大程度地?cái)U(kuò)展CPU 數(shù)量和內(nèi)存空間 。該系統(tǒng)是 基于單元層次交叉架構(gòu)的 NUMA 體系結(jié)構(gòu)，它可作為一個(gè)大型對(duì)稱式多處理器或幾個(gè)獨(dú)立分區(qū)配置。 ? 工業(yè)標(biāo)準(zhǔn)的語(yǔ)言環(huán)境 ,支持 C, C++和 Fortran 等 。 ? 一臺(tái)高性能的共享內(nèi)存的大的基于 ccNuma 架構(gòu)的服務(wù)器 ，采用 64 顆ＣＰＵ，用于運(yùn)行需要大內(nèi)存、多 CPU 的應(yīng)用程序，建議可以采用 HP Integrity Superdome，采用當(dāng)前世界上具有最高浮點(diǎn)運(yùn)算能力的 Intel Itanium2 CPU， 9M Cache 的 CPU. ? 建議采用 HP EFS 解決方案作為高性能計(jì)算的存儲(chǔ)系統(tǒng)。 根據(jù)以上的設(shè)計(jì)原則以及 XX 大學(xué) 的應(yīng)用系統(tǒng)業(yè)務(wù)處理性能和數(shù)據(jù)存儲(chǔ)的要求 ,惠普公司建議 XX大學(xué) 高性能計(jì)算中心由以下部分組成 : ? 一套由多臺(tái)高性能計(jì)算節(jié)點(diǎn)組成的計(jì)算集群，用于運(yùn)行大量分布式的應(yīng)用程序 ,計(jì)算節(jié)點(diǎn)中的 CPU 可以采用由 Intel EM64T Xeon CPU 或 AMD Opteron 的CPU，如果用戶的預(yù)算足夠，也可以采用目前最為先進(jìn)的 Intel Itanium2 CPU。 4） 針對(duì)高性能集群計(jì)算對(duì)存儲(chǔ)要求的特點(diǎn)，選擇采用具有高帶寬、低延遲的并行文件系統(tǒng)。 根據(jù) 惠普公司多年來(lái) 在高性能計(jì)算 領(lǐng)域的經(jīng)驗(yàn) ， 在 與 XX 大學(xué) 的 各位專家 進(jìn)行 交流之后 ， 通過(guò) 了解目前 需要考慮支持的應(yīng)用軟件， 按照 系統(tǒng)設(shè)計(jì)原則、基本的評(píng)價(jià)標(biāo)準(zhǔn)以及 各種應(yīng)用軟件的需求 ， HP 公司設(shè)計(jì)此高性能計(jì)算方案的指導(dǎo)思想是： 1） 由于本項(xiàng)目所建設(shè)的系統(tǒng)是作為整個(gè)學(xué)校的高性能計(jì)算運(yùn)行平臺(tái)，需要能夠運(yùn)行各個(gè)院系的各種不同類型的應(yīng)用程序，由于應(yīng)用比較復(fù)雜，大粒度和小粒度的計(jì)算任務(wù)皆有，因此，ＨＰ認(rèn)為應(yīng)該給 XX 大學(xué) 提供一個(gè)由一臺(tái) SMP(或 ccNuma)架構(gòu)的服務(wù)器和一套 Cluster 系統(tǒng)所組成的混合模式計(jì)算環(huán)境，以適應(yīng)不同院系的多樣化應(yīng)用的需求。 從高性能計(jì)算應(yīng)用的角度而言，人們往往把高性能計(jì)算應(yīng)用劃分為：大粒度問(wèn)題和小粒度問(wèn)題。為了實(shí)現(xiàn)并行計(jì)算需要把串行程序轉(zhuǎn)化成可由多個(gè)處理器并行執(zhí)行的 并行程序，其工作步驟一般為： (1)將計(jì)算的問(wèn)題分解成任務(wù)； (2)將任務(wù)分配給進(jìn)程； (3)在進(jìn)程之間組織必要的數(shù)據(jù)訪問(wèn)，通信，和同步； (4)將進(jìn)程映射或綁定到處理器。 除了強(qiáng)有力的編譯程序外， IA－ 64 體系結(jié)構(gòu)微處理器必須 提供足夠的資源來(lái)實(shí)現(xiàn)EPIC 設(shè)計(jì)思想、提高并行度和實(shí)現(xiàn)高性能，包括： 新穎的指令集：允許編譯程序產(chǎn)生由并行指令段組成的目標(biāo)程序，并紀(jì)錄指令段間的劃分； 大寄存器空間：為編譯程序通過(guò)寄存器換名等技術(shù)消除相關(guān)性、產(chǎn)生盡可能在寄存器中進(jìn)行運(yùn)算的優(yōu)質(zhì)目標(biāo)程序提供充分的余地； 具有足夠長(zhǎng)度的指令：便于在指令中訪問(wèn)大寄存器空間中多個(gè)寄存器和消除程序中轉(zhuǎn)移指令； 足夠的指令發(fā)送端口和派送網(wǎng)絡(luò)：用于提高每個(gè)時(shí)鐘周期發(fā)送到指令數(shù)和提高發(fā)送到速度和效率； 多種類型的新型寄存器：允許編譯程序越過(guò)條件轉(zhuǎn)移和存儲(chǔ)指令的界限調(diào)度目標(biāo)程 序中訪問(wèn)內(nèi)存指令的位置、消除相關(guān)性，并彌補(bǔ)調(diào)整位置所產(chǎn)生的錯(cuò)誤； XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠普有限公司 第 11 頁(yè) 更多的浮點(diǎn)執(zhí)行部件：有利于處理器實(shí)現(xiàn)高并行度的浮點(diǎn)計(jì)算； 更多的整數(shù)和多媒體運(yùn)算執(zhí)行部件：有利于處理器實(shí)現(xiàn)高并行度的整數(shù)和多媒體信息處理； 更多的芯片上高速緩存：有利于提高緩存命中率、降低內(nèi)存延遲； EPIC 體系結(jié)構(gòu)處理器提供的寄存器資源 IA－ 64 的 EPIC 體系結(jié)構(gòu)是對(duì)傳統(tǒng) RISC 體系結(jié)構(gòu)的重大革新，許多方面突破了RISC 體系結(jié)構(gòu)的局限、發(fā)展了 RISC 體系結(jié)構(gòu)，為利用新制造工藝和技術(shù)、按照摩爾定律預(yù)示的速 度提高處理器性能提供了可靠的保證。雖然在RISC 體系結(jié)構(gòu)下，設(shè)計(jì)師們也使用編譯程序來(lái)優(yōu)化目標(biāo)程序、為處理器提高 ILP 創(chuàng)造條件。 IA－ 64體系結(jié)構(gòu)在吸 收 RISC體系結(jié)構(gòu)經(jīng)驗(yàn)教訓(xùn)基礎(chǔ)上另辟蹊徑，一開(kāi)始就走開(kāi)放性的道路，充分利用現(xiàn)代芯片制造工藝發(fā)展成果、提供足夠的資源；同時(shí)，通過(guò)成為新的高端工業(yè)標(biāo)準(zhǔn)、擴(kuò)大批量來(lái)降低成本。 本系統(tǒng)在性能價(jià)格比方面在同類系統(tǒng)中應(yīng)具有明顯的優(yōu)勢(shì)，對(duì)于 XX大學(xué) 來(lái)說(shuō)在 采購(gòu)大型系統(tǒng)中應(yīng)該考慮的重要因素。 HP 公司與高性能計(jì)算方面的獨(dú)立軟件開(kāi)發(fā)商緊密合作，例如：Fluent,ANSYS 等專業(yè)工程軟件商 ,Red Hat,Etnus,Pallas,Platform 等專業(yè)平臺(tái)軟件商 , 不僅提供處理節(jié)點(diǎn)間的協(xié)調(diào)和通信的中間件，使整個(gè)系統(tǒng)節(jié)點(diǎn)能夠真正實(shí)現(xiàn)合作，負(fù)載均衡，還能針對(duì)不同應(yīng)用需求，提供一系列并行計(jì)算應(yīng)用。 隨著對(duì)計(jì)算機(jī)系統(tǒng)性能的要求不斷提高， 該計(jì)算機(jī)系統(tǒng)應(yīng)具有擴(kuò)展能力， 并且容易實(shí)現(xiàn) 。這樣有利于提高整個(gè)系統(tǒng)的計(jì)算與處理能力 。 系統(tǒng)設(shè)計(jì)原則 HP公司為 XX大學(xué) 高性能計(jì)算 中心 設(shè)計(jì)方案的基本出發(fā)點(diǎn)：幫助用戶建立一套既能最大限度地滿足用戶實(shí)際需要且技術(shù)又處于領(lǐng)先地位的高性能計(jì)算環(huán)境。 高性能存儲(chǔ)系統(tǒng) 在高性能計(jì)算系統(tǒng)應(yīng)用中 ， 除了對(duì)高運(yùn)算能力的需求外 ， 對(duì)存儲(chǔ)的需求也是必不可少 。 任何一項(xiàng)基準(zhǔn)測(cè)試指標(biāo)都有其局限性和片面性。 (表 21 CINT2020 的 組 成 程 序 ) 程 序 名 稱 應(yīng) 用 數(shù) 據(jù) 壓 縮 實(shí) 用 程 序 FPGA 電 路 布 線 C 語(yǔ) 言 編 譯 程 序 最 小 成 本 網(wǎng) 絡(luò) 流 求 解 程 序 下 棋 程 序 自 然 語(yǔ) 言 處 理 程 序 光 線 示 蹤 Perl 計(jì) 算 群 論 面 向 對(duì) 象 數(shù) 據(jù) 庫(kù) 數(shù) 據(jù) 壓 縮 實(shí) 用 程 序 位 置 和 路 由 仿 真 程 序 (表 22 CFP2020 的 組 成 程 序 ) 程 序 名 稱 應(yīng) 用 量 子 色 彩 動(dòng) 力 學(xué) 淺 水 模 型 多 網(wǎng) 格 方 法 求 解 3D 位 勢(shì) 場(chǎng) 拋 物 /橢 圓 偏 微 分 方 程 3D 圖 形 庫(kù) 流 體 動(dòng) 力 學(xué) 神 經(jīng) 網(wǎng) 絡(luò) 模 擬 ； 自 適 應(yīng) 推 理 有 限 元 模 擬 ； 地 震 模 型 計(jì) 算 機(jī) 視 覺(jué) ； 識(shí) 別 人 像 計(jì) 算 化 學(xué) 數(shù) 論 ； 質(zhì) 數(shù) 測(cè) 試 有 限 元 碰 撞 模 擬 粒 子 加 速 器 模 型 求 解 大 氣 溫 度 、 風(fēng) 向 、 速 度 和 污 染 物 分 布 問(wèn) 題 Linpack： Linpack 是美國(guó)田納西大學(xué)的 Jack Dongarra 創(chuàng)立和管理的基準(zhǔn)測(cè)試指標(biāo)。 SPEC CPU2020 使用整數(shù)和浮點(diǎn)數(shù)兩組基準(zhǔn)測(cè)試程序。當(dāng)然這并不意味著小系統(tǒng)有比大系統(tǒng)更高的信息處理能力。它們主要測(cè)量 CPU 和高速緩存的性能，某種程度上也反映內(nèi)存子系統(tǒng)的性能。不同的計(jì)算機(jī)系統(tǒng)都運(yùn)行同一組基 準(zhǔn)測(cè)試程序，就可以相對(duì)客觀地比較計(jì)算機(jī)系統(tǒng)的性能。但是，這些量度指標(biāo)的實(shí)用價(jià)值十分有限，它們只能給出理論上最大的性能，并沒(méi)有全面反映計(jì)算機(jī)系統(tǒng)的實(shí)際性能如內(nèi)存帶寬、內(nèi)存延遲和 I/O 性能等。這樣的負(fù)載所要求的超級(jí)計(jì)算機(jī)一定是采用快速的 CPU，高性能的內(nèi)存和 I/O 子系統(tǒng)，旨在實(shí)現(xiàn)最高的運(yùn)算速度。高性能計(jì)算通常利用各種數(shù)學(xué)方程式來(lái)建立模型和模擬物理現(xiàn)象。 XX 大學(xué) 高性能計(jì)算系統(tǒng)方案建議書(shū) 中國(guó)惠普有限公司 第 2 頁(yè) 我們深信，通過(guò)采用 HP 的高性能計(jì)算系統(tǒng) ，必將加速 XX大學(xué) 在高性能計(jì)算領(lǐng)域取得更加豐碩的科研成果。在所有 TOP100 榜上有名的超級(jí)計(jì)算機(jī)中， HP 系統(tǒng)占據(jù)了 58 個(gè)席位，這也就意味著，在 100 臺(tái)中國(guó)最快的計(jì)算機(jī)中，有 58 臺(tái)來(lái)自 HP 的系統(tǒng)。這些高性能計(jì)算機(jī)系統(tǒng)在高性能計(jì)算領(lǐng)域發(fā)揮了不可替代的作用。 高性能計(jì)算系統(tǒng)是提高一個(gè)科研機(jī)構(gòu)研究水平的重要基礎(chǔ)設(shè)施，也是一個(gè)國(guó)家科