【正文】 供了多種矩陣輸入格式，這些由參數(shù) ICNTL(5)和ICNTL(18)控制。 43 子程序調用 ParMetis可以執(zhí)行下列操作 無結構圖劃分 是否存在頂點坐標 ParMETIS_V3_PartKway 你有什么時間 /質量權衡 ParMETISV3_PartGeomKway ParMETIS_V3_PartGeom ParMETIS_V3_Mesh2Dual ParMETIS_V3_PartMeshKway ParMETIS_V3_AdaptiveRepart ParMETIS_V3_RefineKway ParMETIS_V3_NodeND 網格劃分 由網格構造圖 自適應加密重劃分圖 精化劃分質量 計算填充約化次序 44 無結構圖劃分 ? 圖劃分的并行子程序 ParMETIS_V3_PartKway基于串行多層 k路分區(qū)算法。一旦一個圖被劃分并被重新分布，可以調用 ParMETIS_V3_ RefineKway,進一步改善劃分的質量。 ? 圖得結構采用壓縮存儲格式（ CSR） ,我們首先為串行圖描述 CSR存儲結構，然后描述圖如何被分布到各處理器上。 ? 線性方程求解 構成了 PETSc最核心的部分。但是 PETSc 更希望用戶將其視為一個在分布式計算環(huán)境中的PDE 數(shù)值模擬和科學計算的平臺，用戶基于 PETSc 提供的大量線性方程和非線性方程求解器、豐富的數(shù)值迭代方法和各種預條件子，大量的對象和庫資源，以及軟件接口來開發(fā)和調試應用程序。argc, amp。 CHKERRQ(ierr)。v,INSERT_VALUES)。I,1,amp。b)。one,u)。 CHKERRQ(ierr)。 /*釋放存儲空間 */ ierr = SLESDestroy(sles)。 return 0。norm)。 ierr =SLESSetOperators(sles,A,A,DIFFERENT_NONZERO_PATTERN)。 CHKERRQ(ierr)。 CHKERRQ(ierr)。v,INSERT_VALUES)。} if (im1) {J = I + n。 CHKERRQ(ierr)。 PetscTruth flg。 ? 基本用法 ? TSCreate：創(chuàng)建一個 TS求解環(huán)境 ? TSSetType：設置 TS求解器的類型 ? TSSetInitialTimeStep：設置初始時間和步長 ? TSSetTimeStep：設置時間步長 ? TSGetTimeStep：獲得時間步長 ? TSSetDuration：設置最大時間步數(shù) ? TSSetUp：啟動 TS求解環(huán)境 ? TSDestroy：釋放 TS求解環(huán)境 ? TSView：啟動 TS屏幕輸出 62 PETSc與其它軟件 PETSc 可擴展性的另一個方面表現(xiàn)在其為非常廣泛的一類數(shù)值軟件和數(shù)學庫提供了很方便的軟件接口。 PETSc同時提供了稠密矩陣和稀疏行矩陣的基本運算功能，以及一些特殊格式（如“無矩陣”實現(xiàn)，無結構網格劃分等內容）和用戶提供的某些功能擴展和實現(xiàn)。接下來計算 logp層消去樹。 ? 從本質上講 ， ParMETIS_V3_PartMeshKway和ParMETIS_V3_Mesh2Dual承擔 著用戶高效地編寫一個網格到圖的子程序責任。 ? 網格劃分 – 直接計算非常大規(guī)模網格高質量劃分 , 無需應用程序創(chuàng)建基本圖； – 提供網格對偶圖的高效并行程序。 29 Struct和 IJ兩種界面下 , 各求解器的迭代次數(shù)和運行時間 (256 256,Np=4 ) 界面 結構化網格界面 矩陣界面 求解器 SMG PCG + SMG AMG PCG + AMG PCG + Parasails CG 迭代次數(shù) 9 6 9 7 209 437 計算時間 (s) 注 : T(SMG) = T(SMG_setup) + T(SMG_solve), (cpu clock time), Np=4, tol= AMG的并行效率 (網格規(guī)模為 1024 1024) 30 MUMPS 由 CEC ESPRIT IV長期研究計劃項目資助 31 MUMPS概述 MUMPS：多波前大規(guī)模并行稀疏直接解法器（ A MUltifrontal Massively Parallel sparse direct Solver） ? MUMPS是一個通過直接方法求解線性方程組 : Ax=b 的并行軟件包，其中 A是一個對稱或非對稱的稀疏方陣。 HYPRE_StructVectorDestroy(x)。x)。 HYPRE_StructGridSetExtents(grid, ilower, iupper)。 ? 常用的迭代法實現(xiàn)： Hypre提供一些最常用的基于 Krylov子空間迭代法。輸入向量的第 j個元素在處理器 P上，輸出向量的第 j個元素也必須在處理器 P上 14 ? 主要模塊和接口： (1) p*lancs： Lanczos框架接口。 ? 量子點（ Quantum Dots）中較大規(guī)模稀疏本征問題的并行求解，形成了 2048核的可擴展性并行計算； ? HPSEPS已被安裝到中山大學光電材料與技術國家重點實驗室的并行計算機系統(tǒng)上。求解了 光子晶體中 大規(guī)模問題，得到了非常好的效果。其通過調用不同的模塊，完成矩陣的三對角分解、正交化處理，得到收斂的 Ritz對等。比如求解非對稱矩陣的 GMRES和求解對稱矩陣的 CG（包括 PCG, CGNR, BiCGStab）。 HYPRE_StructGridAssemble(grid)。 HYPRE_StructVectorInitialize(x)。 28 算例 ? 對流 反應 擴散方程 對流 反應 擴散 (ConvectionReactionDiffusion)方程 : div (K grad u + B u) + C u = F in Ω, 采用五點差分離散 , 得到方程組 : Au = b, 其中 A = [Aii Aib 。 ? MUMPS基于多波前方法的直接求解方法。 ? 圖重劃分 – 快速計算自適應加密網格的高質量再劃分； – 優(yōu)化移去的頂點個數(shù)以及所得劃分的邊切割。實驗表明，這個例行通常占用了 PARMETIS計算劃分時約一半的運行時間 47 自適應加密網格 PARMETIS提供了重劃分自適應加密網格的子程序 ParMETIS_V3_ AdaptiveRepart。當圖已經被分成 P部分（ P是處理器數(shù)），圖被重新分布在各處理器。 PETSc 的矩陣運算和操作主要包括矩陣的創(chuàng)建、插值、聚集、各種算術運算和釋放。主要包括以下幾種類型： ? 線性代數(shù)求解器，如 AMG、 BlockSolve9 DSCPACK、hypre、 ILUTP、 LUSOL、 SPAI、 SPOOLES、 SuperLU、SuperLU_Dist； ? 最優(yōu)化軟件，如 TAO、 Veltisto； ? 離散化和網格生成和優(yōu)化工具包，如 Overture、 SAMRAI、SUMAA3d； ? 常微分方程求解器，如 PVODE； ? 其它，如 Matlab、 ParMETIS。 PetscScalar v, one = , neg_one = 。 /*獲得局部劃分的上下界 */ ierr = MatGetOwnershipRange(A,amp。 ierr = MatSetValues(A,1,amp。CHKERRQ(ierr)。 ierr =VecSetFromOptions(u)。 ierr = PetscRandomDestroy(rctx)。 CHKERRQ(ierr)。 CHKERRQ(ierr)。 } 。 CHKERRQ(ierr)。ksp)。 } else{ ierr = VecSet(amp。 ierr =VecDuplicate(u,amp。 ierr = MatSetValues(A,1,amp。J,amp。Iend)。 PetscInitialize(amp。在這個意義上，用戶可以在 PETSc上開發(fā)任何基于消息傳遞的應用程序。 59 PETSc的核心組件 PETSc的三個核心組件包括：線性方程求解器（ SLES）、非線性方程求解器（ SNES）和時間步進積分器（ TS）。 50 Parmetis輸入輸出格式 ? 在 Parmetis中，所有與圖有關的子程序的輸入格式包括：圖的鄰接結構、頂點和邊的權重、描述圖如何被分布在各處理器上的數(shù)組。 48 劃分加密 PARMETIS提供了用來改善已存在劃分質量的子程序ParMETIS_V3_ RefineKway。 ? 矩陣重排序 – 計算稀疏矩陣的填充 約化 (fillreducing)次序； – 使用基于節(jié)點的嵌套剖分算法，此算法顯示比其它流行重排序算法更優(yōu)越。 32 主要功能 ? 求解不同類型的稀疏矩陣方程問題： 對稱或非對稱矩陣（部分主元法），復和實算術矩陣 ? 提供了多種矩陣輸入格式： ? 組裝格式（ assembled format） ? 分布式組裝格式（ distributed assembled format） ? 單元格式（ elemental format） ? 迭代加密和向前誤差分析 。 ub], b = [bi 。 ... HYPRE_StructVectorAssemble(x)。stencil)。 20 網格接口 HYPRE為不同的應用提供了不同的接口 , 該接口目前僅支持標量偏微分方程。 (3) p*sletr： m步 Lanczos并行化處理和分解。整個軟件包由多層結構構成，其層次結構如下圖。 ? 應用范圍廣 ? 是國外許多超級計算機極力求解的計算問題之一。 (6) pdist_A: 將矩陣按 2D塊方式分布到二維處理器網格中 ? 其它子程序 (1) p*gnrm: 廣義特征問題特征向量余范數(shù)求解 (2) p*nrm: 標準特征問題特征向量余范數(shù)求解 (3) *lag_app_eigen： Laguerre迭代求解函數(shù)近似值 (4) *sort： 數(shù)據(jù)排序子程序 (5) Mem_free： 釋放內存空間 (6) Comm_free： 釋放通信器 12 稀疏對稱特征問題 ? 在 HPSEPS中，提供了基于顯式重啟 再正交和deflate技術的 Lanczos算法的稀疏對稱矩陣特征問題并行求解模塊。 2048個核上性能達到了較高的可擴展性能 N u m o f C o r e s 5 1 2 1 0 2 4 2 0 4 8T i m e ( s e c ) 2 2 2 0 . 6 1 3 5 0 . 4 9 1 2 . 5T F L O P S 4 . 5 T 8 . 2 T 1 4 . 5 TRun n i n g tim e (s) Num of C or e s 3 0000* 3 0000 6 0000* 6 0000 128 8 5 6 5 9 8 5 256 6 7 8 3 8 3 2 .78 512 4 6 5 2 7 5 8 .77 1024 4 0 3 2 2 3 0 .48 17 Hypre軟件包 美國加州大學（ UC） 勞倫斯 利弗