【正文】 ag, MPI_COMM_WORLD )。 sendbuf[0] = rank + 1。 MPI_Init( amp。myid )。 myArray = (int *)malloc( length_per_process*sizeof(int))。 i = numProcs1。 i length_per_process。globalCount, 1, MPI_INT, MPI_SUM, 0, MPI_COMM_WORLD )。 }/*main()*/ 集合通信 三、掃描 (scan) ? 相當于逐級規(guī)約 – 進程 i對進程 0, 1, …, i 執(zhí)行規(guī)約 MPI_Scan()：掃描操作 int MPI_Scan( void *sendbuffer, //欲發(fā)送數(shù)據(jù)的地址 void *recvbuffer, //欲接收數(shù)據(jù)的地址 int count, //欲接收數(shù)據(jù)個數(shù) MPI_Datatype datatype, //數(shù)據(jù)類型 MPI_OP op, //MPI操作符 MPI_Comm m //通信子 )。 /* 執(zhí)行“加”掃描操作 */ MPI_Scan( sendbuf, recvbuf, 1, MPI_INT, MPI_SUM, MPI_COMM_WORLD )。 } MPI_Bcast( amp。 double PI25DT = 。 char processor_name[MPI_MAX_PROCESSOR_NAME]。 MPI_Comm_size(MPI_COMM_WORLD,amp。 MPI_Get_processor_name(processor_name,amp。 n = 10000。 h = / (double) n。 i += numprocs) { x = h * ((double)i )。mypi, amp。 printf(wall clock time = %f\n, endwtimestartwtime)。 } 注： MPI_Wtime()用于 獲取當前 MPI墻鐘時間 (wall clock time)，常用于統(tǒng)計程序執(zhí)行時間 五、數(shù)據(jù)分發(fā) ? MPI_Scatter()從根進程分發(fā)數(shù)據(jù)到組內(nèi)所有進程 MPI_Scatter()：從根進程分發(fā)數(shù)據(jù)到通信子中所有進程，包括根進程自身 int MPI_Scatter( void *sendbuffer, //欲發(fā)送數(shù)據(jù)的地址 int sendcount, //欲發(fā)送數(shù)據(jù)個數(shù) MPI_Datatype sendtype, //欲發(fā)送數(shù)據(jù)類型 void *destbuffer, //欲接收數(shù)據(jù)的地址 int destcount, //欲接收數(shù)據(jù)個數(shù) MPI_Datatype desttype, //欲接收數(shù)據(jù)類型 int root, //根進程編號 MPI_Comm m //通信子 )。 i++ ) /* 進程 2負責數(shù)據(jù)初始化 (或數(shù)據(jù)讀取 ) */ scanf( “%d”, amp。 /* 各進程使用 value作為參數(shù)，進行計算 */ … … 在“統(tǒng)計 3的個數(shù)”例子中，可以用 MPI_Scatter()分發(fā)數(shù)據(jù) 六、數(shù)據(jù)收集 ? MPI_Gather()是 MPI_Scatter()的逆操作 ? 根進程從組內(nèi)所有進程收集數(shù)據(jù)，依次放入自己的接收緩沖區(qū) MPI_Gather()：從通信子中所有進程收集數(shù)據(jù)，放置到根進程中 int MPI_Gather( void *sendbuffer, //欲發(fā)送數(shù)據(jù)的地址 int sendcount, //欲發(fā)送數(shù)據(jù)個數(shù) MPI_Datatype sendtype, //欲發(fā)送數(shù)據(jù)類型 void *recvbuffer, //欲接收數(shù)據(jù)的地址 int recvcount, //欲接收數(shù)據(jù)個數(shù) MPI_Datatype recvtype, //欲接收數(shù)據(jù)類型 int root, //根進程編號 MPI_Comm m //通信子 )。 集合通信 七、進程間同步 ? MPI_Barrier()將阻塞進程，直到組內(nèi)進程都到達該點 MPI_Barrier()：組內(nèi)進程同步 int MPI_Barrier( MPI_Comm m //通信子 )。 MPI_Comm rowComm[numCols]。newGroup )。 /* 在新通信子范圍內(nèi)廣播隨機數(shù) */ MPI_Bcast( amp。argc, amp。 MPI_Comm_rank( MPI_COMM_WORLD, amp。 return 0。 pragma omp parallel num_threads(2) { printf(thread %d in process %d\n, omp_get_thread_num(), myid )。 MPI_Comm_size( MPI_COMM_WORLD, amp。 組和通信子 ? 組和通信子都可在運行時動態(tài)創(chuàng)建和刪除 ? 一個進程可以同時屬于多個組 /通信子，其在各自的組 /通信子內(nèi)擁有唯一的 rank 0 1234567891011M PI _ COM M _ WORLD0 1234567891011group 2group 10 ( 0 )1 ( 1 )2 ( 2 ) 3 ( 3 )4 ( 4 )5 ( 5 )Co mm 16 ( 0 )7 ( 1 )9 ( 3 )8 ( 2 )11 ( 5 )10 ( 4 )Co mm 2分組通信示例 注意：一個進程在不同組 /通信子內(nèi)的 rank不相等 MPI與多線程 MPI與多線程 ? MPI進程中可以執(zhí)行多個線程，同一個進程的多個線程具有均等的機會參與該進程的 MPI通信 ? 應用程序自身負責維護多線程安全 – 例如：為避免線程的 MPI通信相互干擾，可以讓不同的線程使用不同的通信子 ? MPI并不提供多線程編程接口 – 可以與 pthread或 OpenMP配合編程 ? MPI要求 MPI_Init()和 MPI_Finalize()必須在相同線程內(nèi)配對執(zhí)行，執(zhí)行這兩個操作的線程稱為主線程 (main thread) – 必須在所有線程的 MPI調(diào)用結束后，主線程才可以執(zhí)行MPI_Finalize() ? 同一進程內(nèi)，不允許兩個線程同時等待一個 MPI調(diào)用完成 – 需由程序的線程間同步 /互斥機制保證 MPI與多線程 MPI+OpenMP混合編程簡單示例 include include include int main(int argc,char **argv) { int numProcs, myid。newComm )。globalGroup )。 函數(shù)名稱 功 能 通信子的創(chuàng)建與取消 MPI_Comm_create() 利用進程組創(chuàng)建新的通信子 MPI_Comm_dup() 復制通信子 MPI_Comm_split() 將通信子關聯(lián)的進程組分為兩個子組 MPI_Comm_free() 將通信子標記為無效 訪問信息 MPI_Comm_size() 返回通信子關聯(lián)的進程組中進程個數(shù) MPI_Comm_rank() 返回調(diào)用進程在進程組中編號 MPI_Comm_pare() 比較兩個通信子并返回結果 組和通信子 三、通信子管理 創(chuàng)建新組和通信子代碼示例 int ranks[4][4] = { { 0, 1, 2, 3 }, { 4, 5, 6, 7 }, { 8, 9, 10, 11 }, { 12, 13, 14, 15 } }。 /* 各進程將計算結果放入 result */ result = … /* 進程 2作為根進程從各進程收集 result放入 recvbuf */ MPI_Gather( amp。 } /* 進程 2作為根進程將數(shù)據(jù)分發(fā)給各個進程 */ MPI_Scatter( sendbuf, 1, MPI_INT, amp。 if ( rank == 2 ) { for ( i = 0。 } MPI_Finalize()。 if (myid == 0) { endwtime = MPI_Wtime()。 } mypi = h * sum。 for (i = myid + 1。 /* 從進程 0向其他進程分發(fā)數(shù)據(jù) */ MPI_Bcast(amp。 fprintf(stdout,Process %d of %d is on %s\n, myid, numprocs, processor_name)。 MPI_Comm_rank(MPI_COMM_WORLD,amp。argc,amp。 double startwtime = , endwtime。 /* 各進程使用 value作為參數(shù)，進行計算 */ … … CPI程序 : 計算圓周率 PI include include include double f(double a) { return ( / ( + a*a))。 進 程 0 進 程 1 進 程 21 0 0進 程 3廣 播 前消 息緩 沖 區(qū)進 程 01 0 0進 程 11 0 0進 程 21 0 0進 程 3