[理學(xué)]并行計(jì)算基礎(chǔ)知識(shí)-文庫(kù)吧資料
2024-10-22 21:13本頁(yè)面
【正文】 統(tǒng)需著重考慮的問(wèn)題： ? 系統(tǒng)應(yīng)具有維持存儲(chǔ)器訪(fǎng)問(wèn)一致性的硬件支持 ? 相對(duì) SMP系統(tǒng)來(lái)說(shuō)，其訪(fǎng)問(wèn)非物理局部存儲(chǔ)器的時(shí)間要更長(zhǎng)。 并行計(jì)算機(jī)的類(lèi)型 35 ? 在 SPMD 程序設(shè)計(jì)中，所有節(jié)點(diǎn)機(jī)得到相同的程序副本，但程序中可以含有條件語(yǔ)句來(lái)決定哪個(gè)節(jié)點(diǎn)機(jī)執(zhí)行某段程序與否。 ? SPMD (Single Program amp。 Multiple Data) 控制并行結(jié)構(gòu) ：在這種并行結(jié)構(gòu)中各進(jìn)程執(zhí)行的程序不同，操作的數(shù)據(jù)也不同。 并行計(jì)算機(jī)的類(lèi)型 34 ? 進(jìn)程：具有一定功能的一段程序的一次運(yùn)行活動(dòng)。 ? Flynn分類(lèi)法實(shí)際上并不能對(duì)所有計(jì)算機(jī)進(jìn)行分類(lèi)，如流水線(xiàn)向量處理機(jī)就難于按 Flynn分類(lèi)法簡(jiǎn)單地歸為上述四類(lèi)之一。 并行計(jì)算機(jī)的類(lèi)型 33 4) MIMD：當(dāng)今絕大多數(shù)并行計(jì)算機(jī)都屬于這一類(lèi)。由一個(gè)控制器負(fù)責(zé)從存儲(chǔ)器中取出指令并將這些指令發(fā)送給各個(gè)處理器，每個(gè)處理器同步執(zhí)行相同的指令，但操作不同的數(shù)據(jù)。由程序生成的一個(gè)單指令流，在任意時(shí)刻處理單獨(dú)的數(shù)據(jù)項(xiàng)。 并行計(jì)算機(jī)體系結(jié)構(gòu)的要素 31 ? Flynn(1966年 )分類(lèi)法是根據(jù)系統(tǒng)的指令流和數(shù)據(jù)流對(duì)計(jì)算機(jī)系統(tǒng)進(jìn)行分類(lèi)的一種方法。 ? 動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)：結(jié)點(diǎn)之間無(wú)固定的物理聯(lián)接關(guān)系，而是在聯(lián)接路徑的交叉點(diǎn)處用電子開(kāi)關(guān)、路由器或仲裁器等提供動(dòng)態(tài)聯(lián)接的特性，主要包含單一總線(xiàn)、多層總線(xiàn)、交叉開(kāi)關(guān)、多級(jí)互聯(lián)網(wǎng)絡(luò)。延遲與結(jié)點(diǎn)間距離相關(guān)，其中所有結(jié)點(diǎn)之間的最小延遲稱(chēng)為網(wǎng)絡(luò)的最小延遲，所有結(jié)點(diǎn)之間的最大延遲稱(chēng)為網(wǎng)絡(luò)的最大延遲； ? 折半寬度： 對(duì)分網(wǎng)絡(luò)成兩個(gè)部分（它們的結(jié)點(diǎn)個(gè)數(shù)至多相差 1）所必須去掉的邊的網(wǎng)絡(luò)帶寬的總和； ? 總通信帶寬： 所有邊的帶寬之和； 并行計(jì)算機(jī)體系結(jié)構(gòu)的要素 29 ? 互聯(lián)網(wǎng)絡(luò)評(píng)價(jià)： ? ?? 大：結(jié)點(diǎn)度、點(diǎn)對(duì)點(diǎn)帶寬、折半寬度、總通信帶寬； ? ?? ?。壕W(wǎng)絡(luò)直徑、點(diǎn)對(duì)點(diǎn)延遲； 并行計(jì)算機(jī)體系結(jié)構(gòu)的要素 30 ? 按結(jié)點(diǎn)間連接的性質(zhì)，拓?fù)浣Y(jié)構(gòu)可分為靜態(tài)拓?fù)浣Y(jié)構(gòu)、動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)和寬帶互聯(lián)網(wǎng)絡(luò)三類(lèi)。其中，圖中的結(jié)點(diǎn)唯一地代表并行機(jī)的各個(gè)結(jié)點(diǎn)，圖中的邊表示在兩個(gè)端點(diǎn)代表的并行機(jī)結(jié)點(diǎn)之間，存在直接連接的物理通信通道。對(duì)于一般的并行機(jī)使用者，無(wú)須知道互聯(lián)網(wǎng)絡(luò)底層復(fù)雜的通信原理，而只需從拓?fù)浣Y(jié)構(gòu)的角度了解互聯(lián)網(wǎng)絡(luò)。 ? 于是，在當(dāng)前并行機(jī)的結(jié)點(diǎn)內(nèi)，一般需要采用 64 位的微處理器，才能操作如此大的內(nèi)存空間。 ? 例如， 1 個(gè)單位的浮點(diǎn)運(yùn)算速度配 個(gè)字節(jié)的內(nèi)存單元。傳統(tǒng)地， 1 個(gè)單位的浮點(diǎn)運(yùn)算速度配 1 個(gè)字節(jié)的內(nèi)存單元，是比較合理的。 CPU 內(nèi)部的一級(jí) cache為寄存器提供數(shù)據(jù)，寄存器為邏輯運(yùn)算部件提供數(shù)據(jù)。 L2 cache 是現(xiàn)代高性能微處理器用于彌補(bǔ)日益增長(zhǎng)的 CPU 執(zhí)行速度和內(nèi)存訪(fǎng)問(wèn)速度差距（訪(fǎng)存墻）而采取的關(guān)鍵部件。一個(gè)結(jié)點(diǎn)包含 2 個(gè)或 2 個(gè)以上微處理器（ CPU），并行程序執(zhí)行時(shí)，程序分派的各個(gè)進(jìn)程將并行地運(yùn)行在結(jié)點(diǎn)的各個(gè)微處理器上。 ? 內(nèi)存（ memory）： 內(nèi)存由多個(gè)存儲(chǔ)模塊組成，這些模塊可以與結(jié)點(diǎn)對(duì)稱(chēng)地分布在互聯(lián)網(wǎng)絡(luò)的兩側(cè)，或者位于各個(gè)結(jié)點(diǎn)的內(nèi)部。 并行計(jì)算機(jī)體系結(jié)構(gòu) 24 ? 結(jié)點(diǎn)（ node）： 包含一個(gè)或多個(gè) CPU，這些CPU通過(guò) HUB或全互聯(lián)交叉開(kāi)關(guān)相互聯(lián)接，并共享內(nèi)存，也可以直接與外部進(jìn)行 I/O操作。 22 并行計(jì)算機(jī)發(fā)展簡(jiǎn)述 ? 90年代以來(lái)，主要的幾種體系結(jié)構(gòu)開(kāi)始走向融合。 ? 90年代初期，斯坦福大學(xué)提出了 DASH計(jì)劃，它通過(guò)維護(hù)一個(gè)保存有每一緩存塊位置信息的目錄結(jié)構(gòu)來(lái)實(shí)現(xiàn)分布式共享存儲(chǔ)器的緩存一致性。 IBM 將大量早期 RISC微處理器通過(guò)蝶形互連網(wǎng)絡(luò)連結(jié)起來(lái)。此后，便先后出現(xiàn)了 Intel iPSC系列 、 INMOS Transputer 系列 、 Intel Paragon 以及 IBM SP 的前身Vulcan等基于消息傳遞機(jī)制的并行計(jì)算機(jī) 。 ? 同一時(shí)期，基于消息傳遞機(jī)制的并行計(jì)算機(jī)也開(kāi)始不斷涌現(xiàn)。稍后又出現(xiàn)了非常適合于 SMP 方式的總線(xiàn)協(xié)議 ， 而伯克利加州大學(xué)則對(duì)總線(xiàn)協(xié)議進(jìn)行了擴(kuò)展，提出了 Cache一致性問(wèn)題的處理方案 。 ? 運(yùn)算速度為 /秒 (*108次 /秒 ) ? 由 64臺(tái)處理器組成的陣列機(jī) (Array Computer) ? 可對(duì)數(shù)組進(jìn)行并行計(jì)算 ? 它是當(dāng)時(shí)性能最高的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1