【正文】 1 并行軟件庫介紹 趙永華 中國科學院計算機網(wǎng)絡信息中心 超級計算中心 2 主要內(nèi)容 ? 自主并行軟件包 HPSEPS介紹 ? MUMPS并行軟件包介紹 ? hypre并行軟件包介紹 ? Parmetis并行軟件包介紹 ? PETSc并行軟件包介紹 3 自主并行軟件包 HPSEPS 開發(fā)者：趙永華 遲學斌等 中國科學院計算機網(wǎng)絡信息中心 超級計算中心 4 概述 HPSEPS（ High Performance Symmetric Eigenproblem Software，高性能對稱特征問題軟件）是由中科院計算機網(wǎng)絡信息中心 /超級計算中心自主開發(fā)。主要用于高性能并行求解實對稱 /厄密矩陣特征問題、 SVD奇異值分解、 LSQR分解及其相關(guān)問題。 ? 是目前國際上唯一提供了稠密和稀疏特征問題等多個并行求解器 的并行軟件包 ： ? 稠密問題并行求解器優(yōu)于國際通用軟件包 ScaLAPACK，并被鑒定專家評為國際領(lǐng)先水平（十五信息化建設(shè)專項鑒定專家）； ? 稀疏問題并行求解器在可擴展性優(yōu)于國際通用軟件包PARPACK； ? 形成了在千核以上對大規(guī)模問題的可擴展并行計算； ? 已用于多個具體應用問題的并行求解 ? 用戶應用程序可以直接調(diào)用所需的并行求解器 ? 可將軟件包的并行模塊作為黑匣子嵌入應用程序 5 應用領(lǐng)域 大規(guī)模特征值問題是許多科學和工程應用：結(jié)構(gòu)動力分析、量子化學、電子結(jié)構(gòu)和材料科學等計算核心，成為國外許多超級計算機極力求解的計算問題之一。 隨著計算模型變得越來越復雜，導致的稀疏矩陣規(guī)模達到千萬階甚至上億。 ?量子計算中電子結(jié)構(gòu)遇到的特征問題達到了千萬階以上規(guī)模，有時需要得到幾百個特征對； ?離子加速器產(chǎn)生的大規(guī)模稀疏特征問題可達到上億階； ?日本 地球模擬器上費米 Hubbard模型中遇到的大規(guī)模稀疏特征問題規(guī)模達到了幾百億階。 ? 應用范圍廣 ? 是國外許多超級計算機極力求解的計算問題之一。需要擴展到幾千處理器規(guī)模；具有求解上億個自由度的計算能力； 6 HPSEPS功能 ? HPSEPS軟件包主要包括下列一些求 解器： ? 稠密對稱特征問題并行求解器（基于不同的塊算法） ? 稀疏對稱特征問題并行求解器 ? 顯示重開始＋ deflate技術(shù)＋ Lanczos 方法 ? LOPBCG方法 ? SVD奇異值分解和 LQSR并行求解器 ? 并已用于： ? 中科院化學所的二百萬規(guī)?！坝袡C共軛體系分子”的求解。 ? 量子點（ Quantum Dots）中較大規(guī)模稀疏本征問題的并行求解，形成了 2048核的可擴展性并行計算； ? HPSEPS已被安裝到中山大學光電材料與技術(shù)國家重點實驗室的并行計算機系統(tǒng)上。求解了 光子晶體中 大規(guī)模問題，得到了非常好的效果。 7 軟件包架構(gòu) HPSEPS的設(shè)計采用了自底向上的層次設(shè)計方法，每個子程序建立在一些基本例程之上。整個軟件包由多層結(jié)構(gòu)構(gòu)成，其層次結(jié)構(gòu)如下圖。 稠密和稀疏矩陣存儲分布方式： 2D塊循環(huán) AIJ BAIJ BDIAG matrixfree 其它 稠密矩陣處理 LANCZOS迭代處理 LOBPCG迭代處理 SVD和 PLSQR 分解并行器 求解器 厄密 /對稱稀疏矩陣 特征問題并行求解器 厄密 /對稱稠密矩陣特征問題并行求解器 并行 QR、 LU、 LLT分解 HouseHolder并行轉(zhuǎn)化 特征求解器有關(guān)的線性代數(shù)子程序， 預條件： ILU AMG 塊 Jacobi等 塊 Jacobi等 不同的譜轉(zhuǎn)換：（ Aδ I） 1 、 M1A、（ Aδ M） M1等 不同的并行正交化、重正交 以及 B正交化等 管理通信、錯誤核查和一些輔助子程序 BLAS LAPACK Sparse Matrixvector MPI OpenMP Multicore User selects a parallel solver 8 軟件包涉及到的主要算法 ? 提出了各類大規(guī)模數(shù)值計算和對稱特征問題有效并行算法和實現(xiàn)技術(shù)。 ? 求解稠密特征問題的不同并行塊算法； ? 求解稀疏特征問題的 deflate Lanczos 并行算法； ? 基于最優(yōu)化的各類預處理并行算法； ? 多級混合并行實現(xiàn)技術(shù)。 9 軟件包功能模塊接口 下面給出了 HPSEPS提供的子程序的簡要說明，其中在子程序名中出現(xiàn)的符號 *代表 z(復雙精度 )、 c（復單精度）、 d（雙精度）或 s（單精度）。 ? 稠密對稱矩陣特征問題的子程序主要模塊和接口： ? 第一層是計算對稱特征系統(tǒng)問題的一些驅(qū)動程序。包括： (1) p *gseps：廣義對稱 /厄密特征問題并行求解（選定的特 征值和特征向量） (2) p*sseps: 標準對稱 /厄密特征問題并行求解（選定的特征 值和特征向量） ? 第二層包含特征問題并行求解器所需要的矩陣轉(zhuǎn)換子程序、分解子程序和線性代數(shù)子程序等，主要包括： (1) p*syg2st：廣義實對稱特征問題轉(zhuǎn)化為標準特征問題 (2) p*heg2st：廣義 Hermitian特征問題轉(zhuǎn)化為標準特征問題 (3) p*trsm：并行計算含有多個右端項的實三角矩陣方程組 (4) p*htrsm： 并行計算含有多個右端項的復三角矩陣方程組 (5) p*sytrd： Householder并行轉(zhuǎn)換對稱矩陣為三對角形式 10 (6) p*hetrd： Householder并行轉(zhuǎn)換 Hermitian矩陣為三對角形式。 (7) p*stebz： 分而治之并行求解實對稱三對角矩陣的特征值。 (8) p*steiz： 逆迭代并行求解實對稱三對角矩陣的特征向量 (9) p*t2s： 回代轉(zhuǎn)化并行求解標準特征問題的特征向量 (10) p*st2g： 回代轉(zhuǎn)化并行求解廣義特征問題的特征向量 ? 最后一層包含 HPSEPS內(nèi)部子程序、通信有關(guān)的子程序和一些數(shù)據(jù)處理、錯誤檢測等管理工具。下面列出了其中部分主要子程序。 ? 與通信有關(guān)的子程序： (1) mpi_init： MPI初始化子程序 (2) mpi_creat_cart： 創(chuàng)建二維處理器網(wǎng)格通信器 (3) mpi_sub_col： 創(chuàng)建一維行通信器 (4) mpi_sub_row： 創(chuàng)建一維列通信器 ? 與矩陣分布有關(guān)的子程序： (1) mat_2d: 矩陣的二維 塊循環(huán)分布子程序，得到矩陣的數(shù)據(jù) 結(jié)構(gòu)和在二維處理器網(wǎng)格上的分布信息 11 (2) indxg2l： 得到存儲全局矩陣元素（ i, j）的處理器在二 維處理器網(wǎng)格中的邏輯坐標（ row_i, col_j） (3) indxg2p： 得到全局矩陣元素（ i, j）在處理器器上的局 部子矩陣中對應的元素坐標 (loc_i, loc_j) (4) mat _ div： 三對角矩陣秩 2劃分。 (5) *get_sub_mat： 得到三對角矩陣秩 2后的子矩陣。 (6) pdist_A: 將矩陣按 2D塊方式分布到二維處理器網(wǎng)格中 ? 其它子程序 (1) p*gnrm: 廣義特征問題特征向量余范數(shù)求解 (2) p*nrm: 標準特征問題特征向量余范數(shù)求解 (3) *lag_app_eigen： Laguerre迭代求解函數(shù)近似值 (4) *sort： 數(shù)據(jù)排序子程序 (5) Mem_free： 釋放內(nèi)存空間 (6) Comm_free： 釋放通信器 12 稀疏對稱特征問題 ? 在 HPSEPS中，提供了基于顯式重啟 再正交和deflate技術(shù)的 Lanczos算法的稀疏對稱矩陣特征問題并行求解模塊。 ? HPSEPS為標準稀疏對稱特征問題和廣義稀疏對稱標準特征問題求解提供了不同的方法和接口 : ?對于標準稀疏對稱特征問題： Ax=λ x HPSEPS提供了兩種求解方式： 標準求解方式 OP=A 位移逆 求解方式 OP=(AδI )1 13 ?對于廣義稀疏對稱特征問題： Ax=λMx 首先將此問題轉(zhuǎn)換為標準特征問題， HPSEPS提 供了四種求解方式： (1) 標準逆方式 OP=M1A (2) 位移逆方式 OP=(AδM) 1M 為此， HPSEPS提供了不同的用戶求解接口，為了給 用戶使用該軟件包提供更好的靈活性，軟件包允許用戶 提供不同的 OP操作： 為了保持操作的有效性，矩陣－向量應保持輸入向量和輸出向量在處理器上分布的一致性。輸入向量的第 j個元素在處理器 P上，輸出向量的第 j個元素也必須在處理器 P上 14 ? 主要模塊和接口： (1) p*lancs： Lanczos框架接口。其通過調(diào)用不同的模塊，完成矩陣的三對角分解、正交化處理，得到收斂的 Ritz對等。 (2) p*getv：產(chǎn)生分布在不同處理器上的初始向量。 (3) p*sletr： m步 Lanczos并行化處理和分解。 (4) p*orth：向量并行正交化過程 (5) p*norm2：并行計算向量的 2范數(shù)。 另外，針對一般性稀疏矩陣結(jié)構(gòu)， HPSEPS提供了稀疏矩陣 向量積的并行求解模塊。 15 使用 HPSEPS編程的方法 HPSEPS為求解不同模式的矩陣特征問題提供了相應的模板。用戶通過適當?shù)男薷倪@些模板，可以得到求解具體特征問題的程序。下面是使用 HPSEPS軟件包應遵循的一些步驟： – 選擇一個合適的驅(qū)動程序。 – 確定處理器的二維網(wǎng)格結(jié)構(gòu)，分布矩陣到各處理器（稠密問題）。 – 修改問題依賴的變量。 – 核查計算結(jié)果的精度。 16 ? 稠密特征問題： 在深騰 7000超級計算機，使用 128， 256，512， 1024核并行求解 30000 30000和 60000 60000 規(guī)模問題的全部本征對。 ? 稀疏特征問題： 求解問題規(guī)模大約為 190萬，得到 5個最小