【正文】 ontrol L1 DCache and DTLB Schedulers Integer Trace Cache Rename/Alloc uop Queues BTB uCode ROM 3 3 Decoder BTB amp。 ? 單片多處理器 CMP(Chip MultiProcessor)：是指在單個(gè)芯片上的多個(gè)處理器核構(gòu)成的多處理器系統(tǒng)，允許線(xiàn)程在多個(gè)處理器核上并行執(zhí)行。 I/O NIC,DIR,RC系統(tǒng)互連網(wǎng)路MemP/CP/CI/O NIC,DIR,RCMemP/CP/C節(jié)點(diǎn) N節(jié)點(diǎn) 1總線(xiàn)或 交叉 開(kāi)關(guān) 總線(xiàn)或 交叉 開(kāi)關(guān)???國(guó)家高性能計(jì)算中心（合肥） 42 2022/2/16 并行計(jì)算機(jī)訪(fǎng)存模型（ 5） 消息傳遞 互連網(wǎng)絡(luò)(網(wǎng) 絡(luò)，環(huán)網(wǎng)，超立方，立方環(huán)等)P MP MM PM PMPMPMPPMPMPM............? NORMA（ NoRemote Memory Access） 模型是 非遠(yuǎn)程存儲(chǔ)訪(fǎng)問(wèn) 模型的簡(jiǎn)稱(chēng) 。 其特點(diǎn)是： ? 各處理器節(jié)點(diǎn)中沒(méi)有存儲(chǔ)層次結(jié)構(gòu) ， 全部高速緩存組成了全局地址空間； ? 利用分布的高速緩存目錄 D進(jìn)行遠(yuǎn)程高速緩存的訪(fǎng)問(wèn) 。其特點(diǎn)是： ? 物理存儲(chǔ)器被所有處理器均勻共享； ? 所有處理器訪(fǎng)問(wèn)任何存儲(chǔ)字取相同的時(shí)間； ? 每臺(tái)處理器可帶私有高速緩存； ? 外圍設(shè)備也可以一定形式共享。s model SIMD puter 國(guó)家高性能計(jì)算中心（合肥） 34 2022/2/16 并行計(jì)算機(jī)結(jié)構(gòu)模型（ 4） Symmetric multiprocessor – MIMDSM Massively parallel processor – MIMDDM 國(guó)家高性能計(jì)算中心（合肥） 35 2022/2/16 并行計(jì)算機(jī)結(jié)構(gòu)模型（ 5） Cluster of workstations – MIMDDM 國(guó)家高性能計(jì)算中心（合肥） 36 2022/2/16 并行計(jì)算機(jī)體系合一結(jié)構(gòu) ? SMP、 MPP、 DSM和 COW并行結(jié)構(gòu)漸趨一致。 ? 這種技術(shù)是基于報(bào)元交換機(jī)制。 ? 成功開(kāi)發(fā)了一種 能提供潛在的 ，比 HiPPI快 8倍且有很低時(shí)延的 超級(jí) HiPPI技術(shù) ， ? SGI公司和 Los Alamos國(guó)家實(shí)驗(yàn)室都開(kāi)發(fā)了用來(lái)構(gòu)筑 速率高達(dá) HiPPI交換開(kāi)關(guān)的 HiPPI技術(shù) 。 ? 140 of the November 2022 TOP500 use Myri, including 15 of the top 100 國(guó)家高性能計(jì)算中心（合肥） 23 2022/2/16 Myri連接的 LAN/Cluster 交換開(kāi)關(guān) 交換開(kāi)關(guān)交換開(kāi)關(guān) 交換開(kāi)關(guān)桌面主機(jī)機(jī)箱內(nèi)多計(jì)算機(jī)機(jī)群多處理機(jī)機(jī)群網(wǎng)絡(luò)RA M和VME 單板磁盤(pán)國(guó)家高性能計(jì)算中心（合肥） 24 2022/2/16 標(biāo)準(zhǔn)互連網(wǎng)絡(luò)（ 2) ? 高性能并行接口（ HiPPI） ? Los Alamos國(guó)家實(shí)驗(yàn)室于 1987年提出的一個(gè)標(biāo)準(zhǔn) ，其目的是試圖統(tǒng)一來(lái)自不同產(chǎn)商生產(chǎn)的所有大型機(jī)和超級(jí)計(jì)算機(jī)的接口。 ? Myri是基于加州理工學(xué)院開(kāi)發(fā)的多計(jì)算機(jī)和 VLSI技術(shù)以及在南加州大學(xué)開(kāi)發(fā)的 ATOMIC/LAN技術(shù)。 ? 交叉開(kāi)關(guān)一般有兩種使用方式：一種是用于對(duì)稱(chēng)的多處理機(jī)或多計(jì)算機(jī)機(jī)群中的處理器間的通信；另一種是用于 SMP服務(wù)器或向量超級(jí)計(jì)算機(jī)中處理器和存儲(chǔ)器之間的存取。 ? 如果將 3立方的每個(gè)頂點(diǎn)代之以一個(gè)環(huán)就構(gòu)成了如圖 (d)所示的 3立方環(huán)，此時(shí)每個(gè)頂點(diǎn)的度為 3，而不像超立方那樣節(jié)點(diǎn)度為 n。 ? 節(jié)點(diǎn)度為 3，對(duì)剖寬度為 1，而樹(shù)的直徑為 ? 如果盡量增大節(jié)點(diǎn)度數(shù)，則直徑縮小為 2，此時(shí)就變成了星形網(wǎng)絡(luò)，其對(duì)剖寬度為 ? 傳統(tǒng)二叉樹(shù)的主要問(wèn)題是根易成為通信瓶頸。在單向網(wǎng)絡(luò)中，入射和出射邊之和稱(chēng)為節(jié)點(diǎn)度。 ? 需求類(lèi)型：計(jì)算密集、數(shù)據(jù)密集、網(wǎng)絡(luò)密集。 ? 計(jì)算科學(xué)：計(jì)算物理、計(jì)算化學(xué)、計(jì)算生物等 ? 科學(xué)與工程問(wèn)題的需求：氣象預(yù)報(bào)、油藏模擬、核武器數(shù)值模擬、航天器設(shè)計(jì)、基因測(cè)序等。 國(guó)家高性能計(jì)算中心（合肥） 5 2022/2/16 第一章并行計(jì)算機(jī)系統(tǒng)及結(jié)構(gòu)模型 ? 并行計(jì)算 ? 并行計(jì)算與計(jì)算科學(xué) ? 當(dāng)代科學(xué)與工程問(wèn)題的計(jì)算需求 ? 并行計(jì)算機(jī)系統(tǒng)互連 ? 系統(tǒng)互連 ? 靜態(tài)互聯(lián)網(wǎng)絡(luò) ? 動(dòng)態(tài)互連網(wǎng)絡(luò) ? 標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò) ? 并行計(jì)算機(jī)系統(tǒng)結(jié)構(gòu) ? 并行計(jì)算機(jī)結(jié)構(gòu)模型 ? 并行計(jì)算機(jī)訪(fǎng)存模型 ? 多核處理器架構(gòu) 國(guó)家高性能計(jì)算中心（合肥） 6 2022/2/16 系統(tǒng)互連 ? 不同帶寬與距離的互連技術(shù) : 總線(xiàn)、 SAN、 LAN、 MAN、 WAN 局部總線(xiàn)I/O總線(xiàn)SCIHiPPIMyri千兆位 以太網(wǎng)光纖通道快速以太網(wǎng)以太網(wǎng)10 Base TFDDIATM總線(xiàn)或開(kāi)關(guān) SAN LAN MAN WAN100Gb/s10Gb/s1Gb/s100Mb/s10Mb/s IsoE網(wǎng)絡(luò)帶寬交叉開(kāi)關(guān)MIN 或100 Base T國(guó)家高性能計(jì)算中心（合肥） 7 2022/2/16 局部總線(xiàn)、 I/O總線(xiàn)、 SAN和 LAN P MI/O橋磁盤(pán)SAN()LAN(,FDDI) 系統(tǒng) III/O總線(xiàn),接口系統(tǒng) I處理器總線(xiàn)局部總線(xiàn),存儲(chǔ)器總線(xiàn)SCSI節(jié)點(diǎn) 2 節(jié)點(diǎn) N系統(tǒng)總線(xiàn)節(jié)點(diǎn) 1國(guó)家高性能計(jì)算中心（合肥） 8 2022/2/16 網(wǎng)絡(luò)性能指標(biāo) ? 節(jié)點(diǎn)度 （ Node Degree）： 射入或射出一個(gè)節(jié)點(diǎn)的邊數(shù)。 國(guó)家高性能計(jì)算中心（合肥） 10 2022/2/16 靜態(tài)互連網(wǎng)絡(luò)（ 1） ? 一維線(xiàn)性陣列（ 1D Linear Array）： ? 并行機(jī)中最簡(jiǎn)單、最基本的互連方式， ? 每個(gè)節(jié)點(diǎn)只與其左、右近鄰相連，也叫二近鄰連接， ? N個(gè)節(jié)點(diǎn)用 N1條邊串接之，內(nèi)節(jié)點(diǎn)度為 2，直徑為N1， 對(duì)剖寬度為 1 ? 當(dāng)首、尾節(jié)點(diǎn)相連時(shí)可構(gòu)成循環(huán)移位器，在拓?fù)浣Y(jié)構(gòu)上等同于環(huán)，環(huán)可以是單向的或雙向的，其節(jié)點(diǎn)度恒為 2，直徑或?yàn)? （雙向環(huán)）或?yàn)?N1（ 單向環(huán)），對(duì)剖寬度為 2 ? ?2/N國(guó)家高性能計(jì)算中心（合肥） 11 2022/2/16 靜態(tài)互連網(wǎng)絡(luò)（ 2） ? 二維網(wǎng)孔（ 2D Mesh）： ? 每個(gè)節(jié)點(diǎn)只與其上、下、左、右的近鄰相連（邊界節(jié)點(diǎn)除外），節(jié)點(diǎn)度為 4，網(wǎng)絡(luò)直徑為 ，對(duì)剖寬度為 ? 在垂直方向上帶環(huán)繞，水平方向呈蛇狀，就變成 Illiac網(wǎng)孔了，節(jié)點(diǎn)度恒為 4，網(wǎng)絡(luò)直徑為 ，而對(duì)剖寬度為 ? 垂直和水平方向均帶環(huán)繞，則變成了 2D環(huán)繞（ 2D Torus），節(jié)點(diǎn)度恒為 4，網(wǎng)絡(luò)直徑為 ，對(duì)剖寬度為 )1(2 ?N N1?N N2? ?2/2 N N2NN ?(a) 2D 網(wǎng)孔 (b)Illiac網(wǎng)孔 (c) 2D 環(huán)繞國(guó)家高性能計(jì)算中心（合肥） 12 2022/2/16 靜態(tài)互連網(wǎng)絡(luò)（ 3） ? 二叉樹(shù)： ? 除了根、葉節(jié)點(diǎn)，每個(gè)內(nèi)節(jié)點(diǎn)只與其父節(jié)點(diǎn)和兩個(gè)子節(jié)點(diǎn)相連。 ? n立方的節(jié)點(diǎn)度為 n， 網(wǎng)絡(luò)直徑也是 n ， 而對(duì)剖寬度為 。象電話(huà)交換機(jī)一樣，交叉點(diǎn)開(kāi)關(guān)可由程序控制動(dòng)態(tài)設(shè)置其處于 “ 開(kāi) ” 或 “ 關(guān) ”狀態(tài)，而能提供所有（源、目的）對(duì)之間的動(dòng)態(tài)連接。 n2log 22?國(guó)家高性能計(jì)算中心（合肥） 21 2022/2/16 動(dòng)態(tài)互連網(wǎng)絡(luò)比較 ? n，節(jié)點(diǎn)規(guī)模 w， 數(shù)據(jù)寬度 動(dòng)態(tài)互連網(wǎng)絡(luò)的復(fù)雜度和帶寬性能一覽表 網(wǎng)絡(luò)特性 總線(xiàn)系統(tǒng) 多級(jí)互連網(wǎng)絡(luò) 交叉開(kāi)關(guān) 硬件復(fù)雜度 每個(gè)處理器帶寬 ～ 最小時(shí)延 恒定 (輕負(fù)荷 ) 恒定 )( wnO ? ))lo g(( wnnO k )( 2wnO)/( nwfO )(wfO )(wfO)(wfO))log(( nnO k國(guó)家高性能計(jì)算中心（合肥） 22 2022/2/16 標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò)（ 1） ? Myri: ? Myri是由 Myri公司設(shè)計(jì)的千兆位包交換網(wǎng)絡(luò)，其目的是為了構(gòu)筑計(jì)算機(jī)機(jī)群，使系統(tǒng)互連成為一種商業(yè)產(chǎn)品。在物理層上， Myri網(wǎng)使用全雙工 SAN鏈路，最長(zhǎng)可達(dá) 3米，峰值速率為（ ＋ ） Gbps（ 目前有+) ? Myri交換開(kāi)關(guān) :8,12,16端口 ? Myri主機(jī)接口 : 32位的稱(chēng)作 LANai芯片的用戶(hù)定制的 VLSI處理器，它帶有 Myri接口、包接口、 DMA引擎和快速靜態(tài)隨機(jī)存取存儲(chǔ)器 SRAM。 ? HiPPI是個(gè)單工的點(diǎn)到點(diǎn)的數(shù)據(jù)傳輸接口，其速率可達(dá)800Mbps到 。 ? ATM是一種獨(dú)立于介質(zhì)的消息傳輸協(xié)議，它將消息段變成更短的固定長(zhǎng)度為 53字節(jié)的報(bào)元進(jìn)行傳輸。 國(guó)家高性能計(jì)算中心（合肥） 29 2022/2/16 標(biāo)準(zhǔn)互連網(wǎng)絡(luò)（ 5） 代別 類(lèi)型 以太網(wǎng) 10BaseT 快速以太網(wǎng) 100BaseT 千兆位以太網(wǎng) 1GB 引入年代 1982 1994 1997 速度（帶寬） 10Mb/s 100Mb/s 1Gb/s 最 大 距 離 UTR（ 非屏蔽雙扭對(duì)） 100m 100m 25－ 100m STP（ 屏蔽雙扭對(duì)） 同軸電纜 500m 100m 25－ 100m 多模光纖 2Km 412m（ 半雙工） 2Km（ 全雙工） 500m 單模光纖 25Km 20Km 3Km 主要應(yīng)用領(lǐng)域 文件共享， 打印機(jī)共享 COW計(jì)算， C/S結(jié)構(gòu)， 大型數(shù)據(jù)庫(kù)存取等 大型圖像文件， 多媒體， 因特網(wǎng)， 內(nèi)部網(wǎng)， 數(shù)據(jù)倉(cāng)庫(kù)等 國(guó)家高性能計(jì)算中心（合肥） 30 2022/2/16 第一章并行計(jì)算機(jī)系統(tǒng)