【正文】 2021/11/10 71 問題討論 請聯(lián)系 王振海、趙俊峰 Tel:8849355017 Email: 2021/11/10 72 Thanks! 。將性能的潛力都發(fā)揮出來可能需要很大的努力，這取決于應用和系統(tǒng)兩個方面。 2021/11/10 70 總結評述 我們已經看到，性能的方方面面是相互制約的，設計好的并行程序的藝術在于在相互矛盾的要求中獲得適當?shù)恼壑浴?在另一方面 ， 便宜的工作站或者多處理器群也正在逐步流行起來 。 然而 ， 由于通信自然是細粒度的 （ 特別是非規(guī)則應用 ） ， 還由于大粒度通信和一致性引起的性能問題 ， 支持共享空間就要求有大膽的通信系統(tǒng)結構 ， 用硬件來支持大多數(shù)功能 。固有通信大多數(shù)包含在遠程數(shù)據(jù)分量中，它的某些（通常很?。┎糠挚赡芤苍跀?shù)據(jù)局部分量中體現(xiàn)出來。 當它等待的時候 ， 一個處理器可能重復檢測某個變量的值 ， 直到改變 —這就要執(zhí)行指令 —或者它停滯等待 ， 這取決于同步的實現(xiàn)方式 。 2021/11/10 68 ?同步 ：等待其它進程給出某個事件發(fā)生的信號 ， 有了該信號 ，本進程才能推進 。 ?數(shù)據(jù)遠程 ：等待數(shù)據(jù)通信的時間 ， 無論是固有通信還是附加通信 。 這直接對應于并行程序中的額外工作部分 。 假設一個直接從串行算法中導出的確定性的并行程序 ， 所有處理器的有用忙時間之和等于串行執(zhí)行的有用忙時間 。 ?多處理器系統(tǒng)看成為擴展的存儲層次結構 ?在擴展的存儲層次中的附加通信 ?用工作集的觀念看人為的通信和數(shù)據(jù)的復制 2021/11/10 66 性能的整合 ?減少人為通信： 開發(fā)時間局部性與空間局部性； ?將通信結構化以降低開銷：通過減少通信開銷和降低延遲，增加帶寬，減少占有度，提供機制來分散沖突，用計算和通信來重疊通信 。系統(tǒng)這些組成部分的作用對程序執(zhí)行性能是十分重要的 ， 并且其重要性與程序設計模型無關 （ 盡管程序設計模型可能影響某些性能折衷考慮的特性 ） 。 劃分階段的性能問題 2021/11/10 64 平衡負載和減少同步等待時間的過程分為四步 ?在分解中識別足夠的并發(fā)性 （ 數(shù)據(jù)并行和功能并行 ） ； ?決定管理并發(fā)性的方式 (靜態(tài)分配和動態(tài)分配的對比 )； ?確定并發(fā)性開發(fā)的粒度； ?降低序列化和同步代價 。 我們只需知道在處理器之間的通信開銷是很大的 。（ ） 2021/11/10 60 MPI并行程序 例 3 一維 Dirichlet問題 ： 算法 :均勻網格有限差分離散 ,Jacobi迭代求解 。選用適當?shù)腂LAS庫可以大幅度提高程序的實際運行性能。（ ） ?使用異步通信函數(shù) MPI_Isend/MPI_Irecv， 在適當?shù)挠布h(huán)境下它可以使得計算與通信重疊進行。 work為工作數(shù)組，大小與數(shù)組 B一樣。其中 nprocs為 MPI進程數(shù)， myrank為當前進程的MPI進程號。如圖，是當 nprocs＝ 3時的計算流程示意圖。 A， B和 C的子塊大小分別為mloc N， N lloc和 mloc L， 其中 mloc＝ M/nprocs，lloc＝ L/nprocs。 算法描述 ：假設使用 nprocs個 MPI進程，為簡單起見假定 M和 L均為 nprocs的倍數(shù)。 2021/11/10 56 MPI并行編程 環(huán)境 進程與消息傳遞 MPI并行程序設計入門 初步的 MPI消息傳遞函數(shù) 先進的 MPI函數(shù) MPI并行程序示例 面向性能的程序設計 2021/11/10 57 MPI并行程序 例 2 矩陣乘積 ： A為 M N階矩陣， B為 N L階矩陣， C為M L階矩陣。 2021/11/10 55 并行 I/O ?各進程可以類似于串行程序獨立地讀 /寫 不同的文件 。 2021/11/10 53 自定義數(shù)據(jù)類型（續(xù)） real a(1000) 發(fā)送 : a(5:9) call MPI_Send(a(5), 5, MPI_ REAL,… ..) OK 發(fā)送 : a(5),a(7),a(9),a(11),a(13),a(15) do i=5, 15, 2 call MPI_Send(a(i),1,MPI_REAL,… .) OK enddo 缺點 : 多次發(fā)送 ， 效率低 ， 程序設計繁瑣 改進 ：用戶定義新的數(shù)據(jù)類型 call MPI_Type_vector(5,1,2,MPI_REAL,newtype,ierr) call MPI_Type_mit(newtype , ierr) 提交 call MPI_Send(a(5), 1, newtype,… .) call MPI_Type_free(newtype,ierr) 釋放 2021/11/10 54 進程拓撲結構 ?定義 ：根據(jù)應用程序的特征，在進程間建立的一種虛擬拓撲連接方式，以方便并行程序設計和提高并行計算性能。 ?用戶定義的數(shù)據(jù)類型，必須由函數(shù)MPI_Type_Commit()提交給 MPI系統(tǒng)；此后，就可以象基本數(shù)據(jù)類型一樣，在消息傳遞函數(shù)中重復使用；并由函數(shù) MPI_Type_free()釋放。 ?并行前綴計算 ： MPI_Scan() 2021/11/10 51 MPI并行編程 環(huán)境 進程與消息傳遞 MPI并行程序設計入門 初步的 MPI消息傳遞函數(shù) 先進的 MPI函數(shù) MPI并行程序示例 面向性能的程序設計 2021/11/10 52 自定義數(shù)據(jù)類型 ?定義 :在 MPI系統(tǒng)已定義的基本數(shù)據(jù)類型（ MPI_INTEGER,MPI_REAL,MPI_DOUBLE_PRECISION,MPI_CHARACTER等）基礎上，用戶根據(jù)需求，自己定義的數(shù)據(jù)類型 。 MPI_Barrier ( m , ierr ) ? 全局通信函數(shù) ? 全局規(guī)約函數(shù) 2021/11/10 47 全局通信函數(shù) ?廣播 : MPI_Bcast(buf,count,dtype,root,m,ierr) root 發(fā)送 other 接收 ?收集 ： MPI_Gather(bufs,bufr,count,dtype,root,m,ierr) all 發(fā)送大小一致的數(shù)據(jù)塊 root 接收并按序號連續(xù)存放 ?全收集： MPI_Allgather() all 發(fā)送 all 接收 2021/11/10 48 全局通信函數(shù)（續(xù)） ?索引收集 :MPI_Gatherv() all 發(fā)送大小不等的數(shù)據(jù)塊 root 接收并按索引間斷存放 ?索引全收集 :MPI_Allgatherv() all 發(fā)送大小不等的數(shù)據(jù)塊 all 接收并按索引間斷存放 2021/11/10 49 全局通信函數(shù)（續(xù)） ?分