[計(jì)算機(jī)軟件及應(yīng)用]并行計(jì)算基礎(chǔ)知識(shí)講座-資料下載頁
2024-10-19 04:09本頁面
【正文】 ?? 1,)1(|,? ?l l o ckjl l o ckNib ji ??????? )1(,1|,? ?Ljm l o ckim l o ckc ji ??????? 1,)1(|,2021/11/10 58 MPI并行程序 例 2（續(xù)） 算法 ：矩陣 A和 C的子塊不動(dòng)，矩陣 B的子塊在各個(gè)進(jìn)程間循環(huán)移動(dòng)。如圖，是當(dāng) nprocs＝ 3時(shí)的計(jì)算流程示意圖。 A0 A1 A2 B0 B1 B2 ＝ A0 B0 A0 B1 A0 B2 C0 A1 B0 A1 B1 A1 B2 C1 A2 B0 A2 B1 A2 B2 C2 A0 B0 B2 B1 A1 B1 B0 B2 A2 B2 B1 B0 進(jìn)程 1 進(jìn)程 2 進(jìn)程 3 2021/11/10 59 MPI并行程序 例 2（續(xù)） MPI并行程序 ：主程序負(fù)責(zé)分配存儲(chǔ)單元并生成矩陣 A和 B的子塊，然后調(diào)用子程序 matmul完成矩陣的乘法運(yùn)算。其中 nprocs為 MPI進(jìn)程數(shù)， myrank為當(dāng)前進(jìn)程的MPI進(jìn)程號(hào)。數(shù)組 A， B和 C分別存儲(chǔ)矩陣 A， B和 C的子塊。 work為工作數(shù)組，大小與數(shù)組 B一樣。 ?乘法子程序使用 MPI_Sendrecv_replace。（ ） ?使用異步通信函數(shù) MPI_Isend/MPI_Irecv， 在適當(dāng)?shù)挠布h(huán)境下它可以使得計(jì)算與通信重疊進(jìn)行。（ ） ?調(diào)用 BLAS庫函數(shù)完成矩陣子塊的乘積。選用適當(dāng)?shù)腂LAS庫可以大幅度提高程序的實(shí)際運(yùn)行性能。注意，編譯該程序時(shí)必須與 BLAS庫連接。（ ） 2021/11/10 60 MPI并行程序 例 3 一維 Dirichlet問題 ： 算法 :均勻網(wǎng)格有限差分離散 ,Jacobi迭代求解 。 區(qū)域分解 ： nproc=4, n = 21, ns = (n1)/nproc+1 =6 源程序： ????????????)(,)1(,)0()1,0(),()(xfuuxxfxu2021/11/10 61 MPI并行編程 環(huán)境 進(jìn)程與消息傳遞 MPI并行程序設(shè)計(jì)入門 初步的 MPI消息傳遞函數(shù) 先進(jìn)的 MPI函數(shù) MPI并行程序示例 面向性能的程序設(shè)計(jì) 2021/11/10 62 設(shè)計(jì)高性能并行程序的要點(diǎn)與技術(shù) ?劃分階段的性能問題 ?在多存儲(chǔ)系統(tǒng)中的數(shù)據(jù)訪問和通信 ?性能的整合 ?從處理器角度看到的性能因素 ?程序設(shè)計(jì)模型的影響 2021/11/10 63 在分解和分配步驟中 ， 我們可以將并行計(jì)算機(jī)系統(tǒng)簡單地看作是一個(gè)相互合作的處理器集合 ， 不用考慮程序設(shè)計(jì)模型和硬件系統(tǒng)組織 。 我們只需知道在處理器之間的通信開銷是很大的 。 此時(shí) ， 在算法方面的三個(gè)基本要素是： ?平衡負(fù)載 ， 減少花在等待同步事件上的時(shí)間 ?減少通信開銷 ?減少由確定和管理分配所帶來的附加工作 不幸的是，即使這三種基本目標(biāo)也是相互沖突的，必須進(jìn)行折衷權(quán)衡。 劃分階段的性能問題 2021/11/10 64 平衡負(fù)載和減少同步等待時(shí)間的過程分為四步 ?在分解中識(shí)別足夠的并發(fā)性 （ 數(shù)據(jù)并行和功能并行 ） ； ?決定管理并發(fā)性的方式 (靜態(tài)分配和動(dòng)態(tài)分配的對(duì)比 )； ?確定并發(fā)性開發(fā)的粒度； ?降低序列化和同步代價(jià) 。 2021/11/10 65 在多存儲(chǔ)系統(tǒng)中的數(shù)據(jù)訪問和通信 多處理器系統(tǒng)也是多存儲(chǔ)器系統(tǒng) ， 多緩存系統(tǒng) 。系統(tǒng)這些組成部分的作用對(duì)程序執(zhí)行性能是十分重要的 ， 并且其重要性與程序設(shè)計(jì)模型無關(guān) （ 盡管程序設(shè)計(jì)模型可能影響某些性能折衷考慮的特性 ） 。 在這里 ， 我們從一種不同的角度來看多處理器系統(tǒng) 。 ?多處理器系統(tǒng)看成為擴(kuò)展的存儲(chǔ)層次結(jié)構(gòu) ?在擴(kuò)展的存儲(chǔ)層次中的附加通信 ?用工作集的觀念看人為的通信和數(shù)據(jù)的復(fù)制 2021/11/10 66 性能的整合 ?減少人為通信： 開發(fā)時(shí)間局部性與空間局部性； ?將通信結(jié)構(gòu)化以降低開銷：通過減少通信開銷和降低延遲，增加帶寬，減少占有度，提供機(jī)制來分散沖突，用計(jì)算和通信來重疊通信 。 2021/11/10 67 從處理器角度看到的性能因素 在我們通常的分布存儲(chǔ)并行系統(tǒng)結(jié)構(gòu)上 ， 并行執(zhí)行時(shí)間有五個(gè)分量： ?忙有用 ：處理器花在執(zhí)行指令上的時(shí)間 ， 那些指令本來在串行程序中也是要執(zhí)行的 。 假設(shè)一個(gè)直接從串行算法中導(dǎo)出的確定性的并行程序 ， 所有處理器的有用忙時(shí)間之和等于串行執(zhí)行的有用忙時(shí)間 。 ?忙開銷 ：處理器花在執(zhí)行那些在串行程序中不需要的指令上的時(shí)間 。 這直接對(duì)應(yīng)于并行程序中的額外工作部分 。 ?數(shù)據(jù)局部 ：等待數(shù)據(jù)引用被它自己的存儲(chǔ)系統(tǒng)滿足的時(shí)間；即等待的引用不會(huì)產(chǎn)生和其它節(jié)點(diǎn)的通信 。 ?數(shù)據(jù)遠(yuǎn)程 ：等待數(shù)據(jù)通信的時(shí)間 ， 無論是固有通信還是附加通信 。 這代表處理器看到的通信代價(jià) 。 2021/11/10 68 ?同步 ：等待其它進(jìn)程給出某個(gè)事件發(fā)生的信號(hào) ， 有了該信號(hào) ，本進(jìn)程才能推進(jìn) 。 這包括負(fù)載不平衡和程序中的串行化現(xiàn)象 ，還有實(shí)際花在執(zhí)行同步操作和訪問同步變量上的時(shí)間 。 當(dāng)它等待的時(shí)候 ， 一個(gè)處理器可能重復(fù)檢測某個(gè)變量的值 ， 直到改變 —這就要執(zhí)行指令 —或者它停滯等待 ， 這取決于同步的實(shí)現(xiàn)方式 。 同步、忙開銷、遠(yuǎn)程數(shù)據(jù)訪問分量是由于并行所引入的開銷，在串行程序在單處理器上執(zhí)行沒有。固有通信大多數(shù)包含在遠(yuǎn)程數(shù)據(jù)分量中，它的某些（通常很?。┎糠挚赡芤苍跀?shù)據(jù)局部分量中體現(xiàn)出來。 從處理器角度看到的性能因素（續(xù)） 2021/11/10 69 程序設(shè)計(jì)模型的影響 經(jīng)驗(yàn)表明 ， 隨著應(yīng)用變得更復(fù)雜和更非規(guī)則 ， 透明命名和復(fù)制的有用性增加 ， 這是傾向于共享存儲(chǔ)的觀點(diǎn) 。 然而 ， 由于通信自然是細(xì)粒度的 （ 特別是非規(guī)則應(yīng)用 ） ， 還由于大粒度通信和一致性引起的性能問題 ， 支持共享空間就要求有大膽的通信系統(tǒng)結(jié)構(gòu) ， 用硬件來支持大多數(shù)功能 。 許多計(jì)算機(jī)公司現(xiàn)在正建造這樣的機(jī)器 ， 作為它們的高端系統(tǒng) 。 在另一方面 ， 便宜的工作站或者多處理器群也正在逐步流行起來 。 這些系統(tǒng)通常是消息傳遞程序設(shè)計(jì)的 ，這是由于消息傳遞的性能模型比較好定義 ， 可以用大消息來分?jǐn)傞_銷 ， 程序員有顯式的控制 ， 以及不同的機(jī)器操作粒度對(duì)性能的相對(duì)影響不大 。 2021/11/10 70 總結(jié)評(píng)述 我們已經(jīng)看到，性能的方方面面是相互制約的，設(shè)計(jì)好的并行程序的藝術(shù)在于在相互矛盾的要求中獲得適當(dāng)?shù)恼壑?。以高性能為目?biāo)的程序設(shè)計(jì)也是一個(gè)逐步求精的過程：在后面所發(fā)現(xiàn)的系統(tǒng)或者程序的特點(diǎn)，可能導(dǎo)致在前一個(gè)步驟中作的決定被修改。將性能的潛力都發(fā)揮出來可能需要很大的努力，這取決于應(yīng)用和系統(tǒng)兩個(gè)方面。進(jìn)而，不同技術(shù)一起發(fā)揮作用的程度和方式能夠大大影響表現(xiàn)給系統(tǒng)結(jié)構(gòu)的負(fù)載的特點(diǎn)。 2021/11/10 71 問題討論 請(qǐng)聯(lián)系 王振海、趙俊峰 Tel:8849355017 Email: 2021/11/10 72 Thanks!
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1