分布式與并行計(jì)算報(bào)告(編輯修改稿)
2025-08-28 18:52 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 型，如常用的并行模型有MPI、PVM、OpenMP、TBB及Cilk++等。 MPI簡(jiǎn)介MPI（Message Passing Interface）是基于消息傳遞的并行編程模型。消息傳遞指的是并行執(zhí)行的各個(gè)進(jìn)程具有自己獨(dú)立的堆棧和代碼段，作為互補(bǔ)相關(guān)的多個(gè)程序獨(dú)立執(zhí)行，進(jìn)程之間的通信通過(guò)顯式地調(diào)用通信函數(shù)來(lái)完成。（1）MPI程序基本函數(shù)①M(fèi)PI_Init用來(lái)初始化MPI執(zhí)行環(huán)境，建立多個(gè)MPI進(jìn)程之間的聯(lián)系，為后續(xù)通信做準(zhǔn)備。MPI_Finalize則是結(jié)束MPI執(zhí)行環(huán)境。這兩個(gè)函數(shù)之間定義MPI程序的并行區(qū)域。②MPI_Comm_rank 來(lái)表示各個(gè)MPI進(jìn)程。③MPI_Comn_size 用來(lái)表示進(jìn)程組中有多少個(gè)進(jìn)程，返回整型的錯(cuò)誤值，同時(shí)有兩個(gè)函數(shù)參數(shù)，MPI_Comn 類型的通信域，標(biāo)識(shí)參與計(jì)算的MPI進(jìn)程組，如MPI_COMM_WORLD。整數(shù)指標(biāo)，返回相應(yīng)進(jìn)程組中的進(jìn)程數(shù)。（2） MPI性能分析與優(yōu)化舉例MPI消息傳遞開(kāi)銷由兩部分組成：一部分是通信固有的延遲；另一部分是消息傳遞開(kāi)銷，與消息的數(shù)據(jù)量和網(wǎng)絡(luò)帶寬有關(guān)。時(shí)間消耗可以用下面的式子表示： （4）其中，、分別表示程序總用時(shí)、通信用時(shí)和串行部分用時(shí)。而通信用時(shí)一般可作如下分解： （5）其中，n為點(diǎn)對(duì)點(diǎn)通信次數(shù)，m為集群通信次數(shù)，為通信固定延遲，為第i次通信的容量，w為網(wǎng)絡(luò)帶環(huán)，為負(fù)載不平衡造成的時(shí)間消耗，集群通信耗時(shí)。（3） 解決負(fù)載均衡問(wèn)題 在并行計(jì)算中，若各個(gè)處理器上的執(zhí)行時(shí)間不同，因同步會(huì)使先完成的處理器等待未完成的處理器，此時(shí)應(yīng)該考慮負(fù)載均衡問(wèn)題，是的資源得到合理利用。負(fù)載均衡分為：靜態(tài)負(fù)載均衡及動(dòng)態(tài)負(fù)載均衡。靜態(tài)負(fù)載均衡使用與計(jì)算前可以準(zhǔn)確估算總的負(fù)載，且這些負(fù)載容易平均劃分給各個(gè)進(jìn)程的情況。對(duì)于實(shí)現(xiàn)不知道負(fù)載總數(shù)，或者總負(fù)載不易平均劃分的情況，需要?jiǎng)討B(tài)負(fù)載均衡策略來(lái)解決。 PVM簡(jiǎn)介PVM是一個(gè)在網(wǎng)絡(luò)上的虛擬并行機(jī)系統(tǒng)的軟件包，它允許將網(wǎng)絡(luò)上基于UNIX操作系統(tǒng)的并行機(jī)和單處理機(jī)的集合當(dāng)成一臺(tái)單一的并行虛擬機(jī)來(lái)使用。PVM支持用戶采用消息傳遞方式編寫(xiě)并行程序。計(jì)算以任務(wù)為單位，一個(gè)任務(wù)就是一個(gè)UNIX進(jìn)程，每個(gè)任務(wù)都有一個(gè)taskid來(lái)標(biāo)識(shí)（不同于進(jìn)程號(hào)）。PVM支持在虛擬機(jī)中自動(dòng)加載任務(wù)運(yùn)行，任務(wù)間可以相互通訊以及同步，在PVM系統(tǒng)中，一個(gè)任務(wù)唄加載到哪個(gè)節(jié)點(diǎn)上去運(yùn)行，PVM就允許用戶指定任務(wù)被加載的節(jié)點(diǎn)，這樣就方便了用戶編寫(xiě)并行程序。 OpenMP簡(jiǎn)介OpenMp是一種面向共享內(nèi)存及分布式共享內(nèi)存的多處理器多線程并行編程語(yǔ)言，它也是一種能夠用于顯示指導(dǎo)多線程、共享內(nèi)存并行的應(yīng)用程序編程接口。OpenMP 的編程模型以線程為基礎(chǔ)，通過(guò)編譯指導(dǎo)語(yǔ)句來(lái)顯示地指導(dǎo)并行化，為編程人員提供了并行化的完整控制。OpenMP 的執(zhí)行模型采用Fork － Join 形式，F(xiàn)ork － Join 執(zhí)行模式在開(kāi)始執(zhí)行的時(shí)候，只有一個(gè)主線程存在。主線程在運(yùn)行過(guò)程，當(dāng)遇到需要進(jìn)行并行計(jì)算的時(shí)候，派生出子線程來(lái)執(zhí)行并行任務(wù)。在并行執(zhí)行的時(shí)候，主線程和派生線程共同工作。在并行代碼結(jié)束執(zhí)行后，派生線程退出或者掛起，不再工作，控制流程回到單獨(dú)的主線程中。 Intel TBB（Threading Building Block）簡(jiǎn)介Intel TBB 是一個(gè)用來(lái)支撐可擴(kuò)展編程的庫(kù)，TBB 的工作層次要高于裸線程，它為C + + 程序提供了豐富而完備的方法來(lái)表達(dá)并行語(yǔ)義。TBB 指定的是任務(wù)而不是線程，一般線程軟件包都要求創(chuàng)建、匯合及管理線程。TBB 運(yùn)用自己的調(diào)度算法把任務(wù)分配到各個(gè)線程，高效合理地利用處理器資源。TBB 的目標(biāo)是通過(guò)線程來(lái)提升性能，將密集的計(jì)算任務(wù)并行化，提供更高層次和更簡(jiǎn)單的解決方案，TBB 依賴泛型編程。TBB 中還支持算法模板，如基于遞歸區(qū)間的面向循環(huán)算法，根據(jù)需求來(lái)遞歸地劃分問(wèn)題，從而獲得并行任務(wù)的正確層次。相比靜態(tài)劃分問(wèn)題，遞歸劃分問(wèn)題的方式更占優(yōu)勢(shì)。線程構(gòu)建模塊的函數(shù)都定義在空間tbb 中，TBB 提供parallel_for 與parallel_reduce 泛型并行算法，可以負(fù)載均衡地對(duì)固定數(shù)目的獨(dú)立循環(huán)迭代體進(jìn)行并行執(zhí)行。 Cilk++簡(jiǎn)介Cilk ++ 語(yǔ)言擴(kuò)展了C ++ 語(yǔ)言來(lái)編寫(xiě)并行應(yīng)用程序，有效地利用多處理器。Cilk + + 語(yǔ)言特別適合但不限于分而治之算法，把任務(wù)分解成子問(wèn)題( 任務(wù)) ，可以獨(dú)立地加以解決。遞歸函數(shù)通常用于分而治之算法。這些任務(wù)會(huì)在不同循環(huán)迭代。Cilk ++ 關(guān)鍵字識(shí)別函數(shù)調(diào)用和循環(huán)，可以并行運(yùn)行。Cilk ++ 語(yǔ)言比較適合“二分法”算法，將問(wèn)題分解成若干獨(dú)立子問(wèn)題，再將這些執(zhí)行結(jié)果合并起來(lái)。任務(wù)既可以在不同的函數(shù)里實(shí)現(xiàn)，也可以在一個(gè)迭代的循環(huán)中完成。Cilk ++ 的關(guān)鍵詞能有效地標(biāo)識(shí)可并行執(zhí)行的函數(shù)調(diào)用和循環(huán)，Cilk ++ 的運(yùn)行環(huán)境能有效地將這些任務(wù)調(diào)度到空閑的處理器上運(yùn)行。4幾種應(yīng)用背景下的并行計(jì)算 云計(jì)算與并行計(jì)算云計(jì)算是分布式處理、并行處理和網(wǎng)格計(jì)算的進(jìn)一步發(fā)展，是一種新興的共享基礎(chǔ)架構(gòu)的技術(shù)，它可以將巨大的系統(tǒng)池連接在一起以提供各種IT 服務(wù)。連接設(shè)備、實(shí)時(shí)數(shù)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1