【正文】 成多級互連網(wǎng)絡(luò) MIN（ Multistage Interconnection Network） 0101010101010101(a)4種可能的開關(guān)連接000001010011100101110111輸入000001010011100101110111輸出第0級 第1級 第2級(b)一種8輸入的Omega網(wǎng)絡(luò)國家高性能計(jì)算中心（合肥） 20 2022/2/16 動態(tài)互連網(wǎng)絡(luò)（ 4） ? 交換開關(guān)模塊： ? 一個(gè)交換開關(guān)模塊有 n個(gè)輸入和 n個(gè)輸出，每個(gè)輸入可連接到任意輸出端口，但只允許一對一或一對多的映射，不允許多對一的映射，因?yàn)檫@將發(fā)生輸出沖突 ? 級間互連（ Interstage Connection ）： ? 均勻洗牌、蝶網(wǎng)、多路均勻洗牌、交叉開關(guān)、立方連接 ? n輸入的 Ω網(wǎng)絡(luò)需要 級 開關(guān)，在 Illinois大學(xué)的Cedar[2]多處理機(jī)系統(tǒng)中采用了 Ω網(wǎng)絡(luò) ? Cray Y/MP多級網(wǎng)絡(luò)，該網(wǎng)絡(luò)用來支持 8個(gè)向量處理器和 256個(gè)存儲器模塊之間的數(shù)據(jù)傳輸。 n2log 22?國家高性能計(jì)算中心（合肥） 21 2022/2/16 動態(tài)互連網(wǎng)絡(luò)比較 ? n，節(jié)點(diǎn)規(guī)模 w， 數(shù)據(jù)寬度 動態(tài)互連網(wǎng)絡(luò)的復(fù)雜度和帶寬性能一覽表 網(wǎng)絡(luò)特性 總線系統(tǒng) 多級互連網(wǎng)絡(luò) 交叉開關(guān) 硬件復(fù)雜度 每個(gè)處理器帶寬 ～ 最小時(shí)延 恒定 (輕負(fù)荷 ) 恒定 )( wnO ? ))lo g(( wnnO k )( 2wnO)/( nwfO )(wfO )(wfO)(wfO))log(( nnO k國家高性能計(jì)算中心（合肥） 22 2022/2/16 標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò)（ 1） ? Myri: ? Myri是由 Myri公司設(shè)計(jì)的千兆位包交換網(wǎng)絡(luò)，其目的是為了構(gòu)筑計(jì)算機(jī)機(jī)群，使系統(tǒng)互連成為一種商業(yè)產(chǎn)品。 Myri能假設(shè)任意拓?fù)浣Y(jié)構(gòu)，不必限定為開關(guān)網(wǎng)孔或任何規(guī)則的結(jié)構(gòu)。在物理層上， Myri網(wǎng)使用全雙工 SAN鏈路，最長可達(dá) 3米，峰值速率為（ ＋ ） Gbps（ 目前有+) ? Myri交換開關(guān) :8,12,16端口 ? Myri主機(jī)接口 : 32位的稱作 LANai芯片的用戶定制的 VLSI處理器，它帶有 Myri接口、包接口、 DMA引擎和快速靜態(tài)隨機(jī)存取存儲器 SRAM。在大型機(jī)和超級計(jì)算機(jī)工業(yè)界， HiPPI作為短距離的系統(tǒng)到系統(tǒng)以及系統(tǒng)到外設(shè)連接的高速 I/O通道。 ? HiPPI是個(gè)單工的點(diǎn)到點(diǎn)的數(shù)據(jù)傳輸接口，其速率可達(dá)800Mbps到 。 ? HiPPI通道和 HiPPI交換開關(guān)被用在 SGI Power Challenge服務(wù)器、 IBM 390主機(jī)、 Cray Y/MP、 C90和 T3D/T3E等系統(tǒng) 國家高性能計(jì)算中心（合肥） 25 2022/2/16 使用 HiPPI通道和開關(guān)構(gòu)筑的LAN主干網(wǎng) HiPPI交換開關(guān)超級計(jì)算機(jī) 幀緩沖器RGB顯示器HiPPI串行文件服務(wù)器工作站小型機(jī)大規(guī)模并行處理系統(tǒng)25米300米25米25米HiPPI串行300米直至10 千米300米HiPPI串行存儲器服務(wù)器工作站光纖擴(kuò)展器 光纖擴(kuò)展器HiPPI交換開關(guān)國家高性能計(jì)算中心（合肥） 26 2022/2/16 標(biāo)準(zhǔn)互連網(wǎng)絡(luò)（ 3） ? 光纖通道 FC（ Fiber Channel） : ? 通道和網(wǎng)絡(luò)標(biāo)準(zhǔn)的集成 ? 光纖通道既可以是共享介質(zhì)，也可以是一種交換技術(shù) ? 光纖通道操作速度范圍可從 100到 13 200、 400和800Mbps。 ? ATM是一種獨(dú)立于介質(zhì)的消息傳輸協(xié)議，它將消息段變成更短的固定長度為 53字節(jié)的報(bào)元進(jìn)行傳輸。 ATM的目的是將實(shí)時(shí)和突發(fā)數(shù)據(jù)的傳輸合并成單一的網(wǎng)絡(luò)技術(shù)。 國家高性能計(jì)算中心（合肥） 29 2022/2/16 標(biāo)準(zhǔn)互連網(wǎng)絡(luò)（ 5） 代別 類型 以太網(wǎng) 10BaseT 快速以太網(wǎng) 100BaseT 千兆位以太網(wǎng) 1GB 引入年代 1982 1994 1997 速度（帶寬） 10Mb/s 100Mb/s 1Gb/s 最 大 距 離 UTR（ 非屏蔽雙扭對） 100m 100m 25－ 100m STP（ 屏蔽雙扭對） 同軸電纜 500m 100m 25－ 100m 多模光纖 2Km 412m（ 半雙工） 2Km（ 全雙工） 500m 單模光纖 25Km 20Km 3Km 主要應(yīng)用領(lǐng)域 文件共享， 打印機(jī)共享 COW計(jì)算， C/S結(jié)構(gòu)， 大型數(shù)據(jù)庫存取等 大型圖像文件， 多媒體， 因特網(wǎng)， 內(nèi)部網(wǎng)， 數(shù)據(jù)倉庫等 國家高性能計(jì)算中心（合肥） 30 2022/2/16 第一章并行計(jì)算機(jī)系統(tǒng)及結(jié)構(gòu)模型 ? 并行計(jì)算 ? 并行計(jì)算與計(jì)算科學(xué) ? 當(dāng)代科學(xué)與工程問題的計(jì)算需求 ? 并行計(jì)算機(jī)系統(tǒng)互連 ? 系統(tǒng)互連 ? 靜態(tài)互聯(lián)網(wǎng)絡(luò) ? 動態(tài)互連網(wǎng)絡(luò) ? 標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò) ? 并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu) ? 并行計(jì)算機(jī)結(jié)構(gòu)模型 ? 并行計(jì)算機(jī)訪存模型 ? 多核處理器架構(gòu) 國家高性能計(jì)算中心（合肥） 31 2022/2/16 并行計(jì)算機(jī)結(jié)構(gòu)模型（ 1） P/CLMNIC定制網(wǎng)絡(luò)(c)MPPP/CLMNICMB MB?VPSM交叉開關(guān)(a)PVPVP VPSMSM? P/CSM SM I/O總線或交叉開關(guān)(b)SMPP/C P/C?P/CLMNICDIRMB定制網(wǎng)絡(luò)(d)DSMP/CLMNICDIRMB?LDP/CMMBIOB(e)COWLDP/CMMBIOB商品網(wǎng)絡(luò)(以太網(wǎng)，ATM，etc.)BridgeNICNICBridge?國家高性能計(jì)算中心（合肥） 32 2022/2/16 并行計(jì)算機(jī)結(jié)構(gòu)模型（ 2） SMP MPP MPP … WAN LM DSM SM (h) Grid (Cluster of Clusters) SMP SMP SMP … SAN/LAN SM SM SM MPP MPP MPP … SAN/LAN DSM DSM DSM (f) SMPCluster (g) DSMCluster 國家高性能計(jì)算中心（合肥） 33 2022/2/16 并行計(jì)算機(jī)結(jié)構(gòu)模型（ 3） SISD puter Von Neumann39。 ? 大量的節(jié)點(diǎn)通過高速網(wǎng)絡(luò)互連起來 ? 節(jié)點(diǎn)遵循 Shell結(jié)構(gòu)：用專門定制的 Shell電路將商用微處理器和節(jié)點(diǎn)的其它部分（包括板級 Cache、 局存、 NIC和 DISK）連接起來。 CPNIC(a) 無共享NIC互連網(wǎng)絡(luò)MD節(jié)點(diǎn) N節(jié)點(diǎn) 1Shell?共享磁盤CPNIC(b) 共享磁盤NICM互連網(wǎng)絡(luò)節(jié)點(diǎn) N節(jié)點(diǎn) 1Shell?CP互連網(wǎng)絡(luò)共享存儲器 共享磁盤(c) 共享存儲CPShellShell國家高性能計(jì)算中心（合肥） 37 2022/2/16 五種結(jié)構(gòu)特性一覽表 屬性 PVP SMP MPP DSM COW 結(jié)構(gòu)類型 MIMD MIMD MIMD MIMD MIMD 處理器類型 專用定制 商用 商用 商用 商用 互連網(wǎng)絡(luò) 定制交叉開關(guān) 總線 、 交叉開關(guān) 定制網(wǎng)絡(luò) 定制網(wǎng)絡(luò) 商用網(wǎng)絡(luò) （ 以太 ATM） 通信機(jī)制 共享變量 共享變量 消息傳遞 共享變量 消息傳遞 地址空間 單地址空間 單地址空間 多地址空間 單地址空間 多地址空間 系統(tǒng)存儲器 集中共享 集中共享 分布非共享 分布共享 分布非共享 訪存模型 UMA UMA NORMA NUMA NORMA 代表機(jī)器 Cray C90， Cray T90， 銀河 1號 IBM R50，SGI Power Challenge， 曙光 1號 Intel Paragon， IBMSP2， 曙光 1000/2022 Stanford DASH， Cray T 3D Berkeley NOW， Alpha Farm 國家高性能計(jì)算中心（合肥） 38 2022/2/16 并行計(jì)算機(jī)訪存模型（ 1） P1P2PnI/O SM1SMm共享存儲器處理器（ ）系統(tǒng)互連總線 交叉開關(guān) 多級, , 網(wǎng)絡(luò)??? UMA（ Uniform Memory Access） 模型是均勻存儲訪問模型的簡稱。 國家高性能計(jì)算中心（合肥） 39 2022/2/16 并行計(jì)算機(jī)訪存模型（ 2） ? NUMA(Nonuniform Memory Access)模型是 非均勻存儲訪問 模型的簡稱 。 LM 1 P 1 LM 2 P 2 LM n P n 互 連 網(wǎng) 絡(luò) (a)共享本地存儲模型 全局互連網(wǎng)絡(luò) (b)層次式機(jī)群模型 GSM GSM GSM … … … … P C I N CSM P P CSM CSM 群 1 … … P C I N CSM 群 N