【正文】 M或FVM離散得到的方程組。矩陣 A支持 HYPRE 的 ParCSR格式 、 PETSc 的矩陣形式和 ISIS++ Row的矩陣形式。 ? 預(yù)條件子 Diagonal：對(duì)角，塊 Jacobi預(yù)條件子 (缺省情形 )； PILUT：具有閾值（ threshold）的并行不完全 LU分解（ PILU）； Euclid：并行 ILU預(yù)條件子的擴(kuò)展； SMG：半粗化（ semicoarsening）多重網(wǎng)格預(yù)條件子；二維和三維情形的光滑子 (smoother)分別采用線松弛和面松弛 PFMG：半粗化多重網(wǎng)格預(yù)條件子，使用簡(jiǎn)單點(diǎn)松弛作為光滑子； BoomerAMG：并行代數(shù)多重網(wǎng)格（ AMG）預(yù)條件子；用戶可選擇不同的并行粗化策略及松馳格式光滑子 . ParaSails：并行稀疏近似逆預(yù)條件子 22 – ParaSails用于計(jì)算優(yōu)化問(wèn)題： , 因此 M為 Frobenius范數(shù)下 A的近似逆 。如有限差分（ FDM） ? 半結(jié)構(gòu)化 （ Sstruct）接口 面向半結(jié)構(gòu) (semistruct)網(wǎng)格離散的應(yīng)用，如局部加密 AMG、塊結(jié)構(gòu)網(wǎng)格上的應(yīng)用 , 如有限差分方法（ FDM） , 有限體積方法（ FVM） ? 基于有限元的無(wú)結(jié)構(gòu)界面 （ FEI） 應(yīng)用于有限元（ FEM）得到的線性方程組 ? 基于線性代數(shù)的非結(jié)構(gòu)矩陣界面 （ IJ） 該接口以矩陣方式顯式地表示線性代數(shù)方程組 ,是適用范圍最廣泛的接口。 20 網(wǎng)格接口 HYPRE為不同的應(yīng)用提供了不同的接口 , 該接口目前僅支持標(biāo)量偏微分方程。比如求解非對(duì)稱矩陣的 GMRES和求解對(duì)稱矩陣的 CG（包括 PCG, CGNR, BiCGStab）。主要用于大規(guī)模并行計(jì)算機(jī)上求解大型稀疏線性方程組，目的是為用戶提供高級(jí)并行預(yù)條件子 ， Hypre具有強(qiáng)壯性、易用性、 適應(yīng)性和互動(dòng)性，其 主要特性為： ? 可擴(kuò)展的預(yù)條件子： 包括諸如結(jié)構(gòu)化多重網(wǎng)格（ SMG）和代數(shù)多重網(wǎng)格（ AMG）等幾類可擴(kuò)展求解超大規(guī)模稀疏線性方程組的預(yù)條件子算法。 ? 稀疏特征問(wèn)題： 求解問(wèn)題規(guī)模大約為 190萬(wàn)，得到 5個(gè)最小本征值。 – 核查計(jì)算結(jié)果的精度。 – 確定處理器的二維網(wǎng)格結(jié)構(gòu)，分布矩陣到各處理器（稠密問(wèn)題）。用戶通過(guò)適當(dāng)?shù)男薷倪@些模板，可以得到求解具體特征問(wèn)題的程序。 另外，針對(duì)一般性稀疏矩陣結(jié)構(gòu)， HPSEPS提供了稀疏矩陣 向量積的并行求解模塊。 (3) p*sletr： m步 Lanczos并行化處理和分解。其通過(guò)調(diào)用不同的模塊，完成矩陣的三對(duì)角分解、正交化處理，得到收斂的 Ritz對(duì)等。 ? HPSEPS為標(biāo)準(zhǔn)稀疏對(duì)稱特征問(wèn)題和廣義稀疏對(duì)稱標(biāo)準(zhǔn)特征問(wèn)題求解提供了不同的方法和接口 : ?對(duì)于標(biāo)準(zhǔn)稀疏對(duì)稱特征問(wèn)題： Ax=λ x HPSEPS提供了兩種求解方式： 標(biāo)準(zhǔn)求解方式 OP=A 位移逆 求解方式 OP=(AδI )1 13 ?對(duì)于廣義稀疏對(duì)稱特征問(wèn)題： Ax=λMx 首先將此問(wèn)題轉(zhuǎn)換為標(biāo)準(zhǔn)特征問(wèn)題， HPSEPS提 供了四種求解方式： (1) 標(biāo)準(zhǔn)逆方式 OP=M1A (2) 位移逆方式 OP=(AδM) 1M 為此， HPSEPS提供了不同的用戶求解接口，為了給 用戶使用該軟件包提供更好的靈活性，軟件包允許用戶 提供不同的 OP操作： 為了保持操作的有效性，矩陣－向量應(yīng)保持輸入向量和輸出向量在處理器上分布的一致性。 (5) *get_sub_mat： 得到三對(duì)角矩陣秩 2后的子矩陣。下面列出了其中部分主要子程序。 (7) p*stebz： 分而治之并行求解實(shí)對(duì)稱三對(duì)角矩陣的特征值。 ? 稠密對(duì)稱矩陣特征問(wèn)題的子程序主要模塊和接口： ? 第一層是計(jì)算對(duì)稱特征系統(tǒng)問(wèn)題的一些驅(qū)動(dòng)程序。 ? 求解稠密特征問(wèn)題的不同并行塊算法； ? 求解稀疏特征問(wèn)題的 deflate Lanczos 并行算法； ? 基于最優(yōu)化的各類預(yù)處理并行算法； ? 多級(jí)混合并行實(shí)現(xiàn)技術(shù)。整個(gè)軟件包由多層結(jié)構(gòu)構(gòu)成，其層次結(jié)構(gòu)如下圖。求解了 光子晶體中 大規(guī)模問(wèn)題，得到了非常好的效果。需要擴(kuò)展到幾千處理器規(guī)模；具有求解上億個(gè)自由度的計(jì)算能力； 6 HPSEPS功能 ? HPSEPS軟件包主要包括下列一些求 解器： ? 稠密對(duì)稱特征問(wèn)題并行求解器（基于不同的塊算法） ? 稀疏對(duì)稱特征問(wèn)題并行求解器 ? 顯示重開(kāi)始＋ deflate技術(shù)＋ Lanczos 方法 ? LOPBCG方法 ? SVD奇異值分解和 LQSR并行求解器 ? 并已用于： ? 中科院化學(xué)所的二百萬(wàn)規(guī)?！坝袡C(jī)共軛體系分子”的求解。 ?量子計(jì)算中電子結(jié)構(gòu)遇到的特征問(wèn)題達(dá)到了千萬(wàn)階以上規(guī)模，有時(shí)需要得到幾百個(gè)特征對(duì)； ?離子加速器產(chǎn)生的大規(guī)模稀疏特征問(wèn)題可達(dá)到上億階； ?日本 地球模擬器上費(fèi)米 Hubbard模型中遇到的大規(guī)模稀疏特征問(wèn)題規(guī)模達(dá)到了幾百億階。 ? 是目前國(guó)際上唯一提供了稠密和稀疏特征問(wèn)題等多個(gè)并行求解器 的并行軟件包 ： ? 稠密問(wèn)題并行求解器優(yōu)于國(guó)際通用軟件包 ScaLAPACK，并被鑒定專家評(píng)為國(guó)際領(lǐng)先水平（十五信息化建設(shè)專項(xiàng)鑒定專家）； ? 稀疏問(wèn)題并行求解器在可擴(kuò)展性優(yōu)于國(guó)際通用軟件包PARPACK； ? 形成了在千核以上對(duì)大規(guī)模問(wèn)題的可擴(kuò)展并行計(jì)算； ? 已用于多個(gè)具體應(yīng)用問(wèn)題的并行求解 ? 用戶應(yīng)用程序可以直接調(diào)用所需的并行求解器 ? 可將軟件包的并行模塊作為黑匣子嵌入應(yīng)用程序 5 應(yīng)用領(lǐng)域 大規(guī)模特征值問(wèn)題是許多科學(xué)和工程應(yīng)用：結(jié)構(gòu)動(dòng)力分析、量子化學(xué)、電子結(jié)構(gòu)和材料科學(xué)等計(jì)算核心，成為國(guó)外許多超級(jí)計(jì)算機(jī)極力求解的計(jì)算問(wèn)題之一。1 并行軟件庫(kù)介紹 趙永華 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 超級(jí)計(jì)算中心 2 主要內(nèi)容 ? 自主并行軟件包 HPSEPS介紹 ? MUMPS并行軟件包介紹 ? hypre并行軟件包介紹 ? Parmetis并行軟件包介紹 ? PETSc并行軟件包介紹 3 自主并行軟件包 HPSEPS 開(kāi)發(fā)者：趙永華 遲學(xué)斌等 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 超級(jí)計(jì)算中心 4 概述 HPSEPS（ High Performance Symmetric Eigenproblem Software，高性能對(duì)稱特征問(wèn)題軟件）是由中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 /超級(jí)計(jì)算中心自主開(kāi)發(fā)。主要用于高性能并行求解實(shí)對(duì)稱 /厄密矩陣特征問(wèn)題、 SVD奇異值分解、 LSQR分解及其相關(guān)問(wèn)題。 隨著計(jì)算模型變得越來(lái)越復(fù)雜，導(dǎo)致的稀疏矩陣規(guī)模達(dá)到千萬(wàn)階甚至上億。 ? 應(yīng)用范圍廣 ? 是國(guó)外許多超級(jí)計(jì)算機(jī)極力求解的計(jì)算問(wèn)題之一。 ? 量子點(diǎn)（ Quantum Dots）中較大規(guī)模稀疏本征問(wèn)題的并行求解，形成了 2048核的可擴(kuò)展性并行計(jì)算； ? HPSEPS已被安裝到中山大學(xué)光電材料與技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室的并行計(jì)算機(jī)系統(tǒng)上。 7 軟件包架構(gòu) HPSEPS的設(shè)計(jì)采用了自底向上的層次設(shè)計(jì)方法，每個(gè)子程序建立在一些基本例程之上。 稠密和稀疏矩陣存儲(chǔ)分布方式： 2D塊循環(huán) AIJ BAIJ BDIAG matrixfree 其它 稠密矩陣處理 LANCZOS迭代處理 LOBPCG迭代處理 SVD和 PLSQR 分解并行器 求解器 厄密 /對(duì)稱稀疏矩陣 特征問(wèn)題并行求解器 厄密 /對(duì)稱稠密矩陣特征問(wèn)題并行求解器 并行 QR、 LU、 LLT分解 HouseHolder并行轉(zhuǎn)化 特征求解器有關(guān)的線性代數(shù)子程序， 預(yù)條件： ILU AMG 塊 Jacobi等 塊 Jacobi等 不同的譜轉(zhuǎn)換：（ Aδ I） 1 、 M1A、（ Aδ M） M1等 不同的并行正交化、重正交 以及 B正交化等 管理通信、錯(cuò)誤核查和一些輔助子程序 BLAS LAPACK Sparse Matrixvector MPI OpenMP Multicore User selects a parallel solver 8 軟件包涉及到的主要算法 ? 提出了各類大規(guī)模數(shù)值計(jì)算和對(duì)稱特征問(wèn)題有效并行算法和實(shí)現(xiàn)技術(shù)。 9 軟件包功能模塊接口 下面給出了 HPSEPS提供的子程序的簡(jiǎn)要說(shuō)明，其中在子程序名中出現(xiàn)的符號(hào) *代表 z(復(fù)雙精度 )、 c（復(fù)單精度）、 d（雙精度）或 s（單精度）。包括： (1) p *gseps：廣義對(duì)稱 /厄密特征問(wèn)題并行求解（選定的特 征值和特征向量） (2) p*sseps: 標(biāo)準(zhǔn)對(duì)稱 /厄密特征問(wèn)題并行求解（選定的特征 值和特征向量） ? 第二層包含特征問(wèn)題并行求解器所需要的矩陣轉(zhuǎn)換子程序、分解子程序和線性代數(shù)子程序等，主要包括： (1) p*syg2st：廣義實(shí)對(duì)稱特征問(wèn)題轉(zhuǎn)化為標(biāo)準(zhǔn)特征問(wèn)題 (2) p*heg2st：廣義 Hermitian特征問(wèn)題轉(zhuǎn)化為標(biāo)準(zhǔn)特征問(wèn)題 (3) p*trsm：并行計(jì)算含有多個(gè)右端項(xiàng)的實(shí)三角矩陣方程組 (4) p*htrsm： 并行計(jì)算含有多個(gè)右端項(xiàng)的復(fù)三角矩陣方程組 (5) p*sytrd： Householder并行轉(zhuǎn)換對(duì)稱矩陣為三對(duì)角形式 10 (6) p*hetrd： Householder并行轉(zhuǎn)換 Hermitian矩陣為三對(duì)角形式。 (8) p*steiz： 逆迭代并行求解實(shí)對(duì)稱三對(duì)角矩陣的特征向量 (9) p*t2s： 回代轉(zhuǎn)化并行求解標(biāo)準(zhǔn)特征問(wèn)題的特征向量 (10) p*st2g： 回代轉(zhuǎn)化并行求解廣義特征問(wèn)題的特征向量 ? 最后一層包含 HPSEPS內(nèi)部子程序、通信有關(guān)的子程序和一些數(shù)據(jù)處理、錯(cuò)誤檢測(cè)等管理工具。 ? 與通信有關(guān)的子程序： (1) mpi_init： MPI初始化子程序 (2) mpi_creat_cart： 創(chuàng)建二維處理器網(wǎng)格通信器 (3) mpi_sub_col： 創(chuàng)建一維行通信器 (4) mpi_sub_row： 創(chuàng)建一維列通信器 ? 與矩陣分布有關(guān)的子程序： (1) mat_2d: 矩陣的二維 塊循環(huán)分布子程序，得到矩陣的數(shù)據(jù) 結(jié)構(gòu)和在二維處理器網(wǎng)格上的分布信息 11 (2) indxg2l： 得到存儲(chǔ)全局矩陣元素（ i, j）的處理器在二 維處理器網(wǎng)格中的邏輯坐標(biāo)（ row_i, col_j） (3) indxg2p： 得到全局矩陣元素（ i, j）在處理器器上的局