【正文】 系統(tǒng) /tmp 目錄為內(nèi)存虛擬目錄，大小只為 100M。管理員一旦發(fā)現(xiàn)，有權(quán)立即終止程序。用戶如果需要其他環(huán)境配置，可直接和管理員聯(lián)系，管理員將根據(jù)需求安裝 gcc、 pgi 編譯器及基于相關(guān)編譯器的 mpi 編程環(huán)境。 b) 程序運(yùn)行以后想殺掉程序，直接按 ctrl+c，就可以殺掉一個 mpirun 啟動的所有進(jìn)程。檢查 intel 編譯器及 openmpi 環(huán)境變量是否設(shè)置正確。 1) 指定運(yùn)行作業(yè)的節(jié)點。 3) 查看 mpd 進(jìn)程是否啟動 運(yùn)行命令 mpdtrace，可以看到 node01 node02 說明啟動成功 4) 運(yùn)行 mpi mpiexec –machinefile hosts –n 24 ./progmpi n:啟動進(jìn)程數(shù) 清華大學(xué)生物高性能計算平臺 用戶使用手冊 11 5) 關(guān)閉后臺進(jìn)程 程序結(jié)束后，運(yùn)行 mpdallexit ? openmpi 的使用： 程序安裝路徑： /Share/util/ompi162gnu openmpi 的編譯： openmpi 使用 mpicc、 mpicxx、 mpif7 mpif90 來編譯程序 c、 c++、 f7 f90，底層均調(diào)用的是 intel 編譯器。建立 hosts 文件，內(nèi)容為： node01:12 node02:12 其中 node01 為運(yùn)行節(jié)點， 12 為在 node01 運(yùn)行的進(jìn)程數(shù)。 impi 程序運(yùn)行： intel mpi 與其他 mpi 編程工具不同，運(yùn)行之前需要啟動 MPD 守護(hù)進(jìn)程，再通過machinefile 文件指定進(jìn)程分布。 編譯方法如下 : mpiicc –o progmpi mpiicpc –o progmpi mpifort –o progmpi mpifort –o progmpi impi 也提供 mpicc 和 mpif90 內(nèi)部命令 ,其底層調(diào)用的 gcc 和 gfortran 編譯程序。 impi openmpi 支持 infiniband 網(wǎng)絡(luò)，可獲得較快的計算速度 . 并行程序編譯運(yùn)行之前，請參看 部分，核對環(huán)境變量的設(shè)置，確認(rèn)無誤后再進(jìn)行mpi 程序的編譯。和 mp 相比， mp1 對性能影響較小 （ 4） 鏈接選項 Ldir：指定鏈接時搜索的庫路徑 lstring：鏈接特定庫 static：靜態(tài)鏈接 shared：生成共享庫 Intel 編譯器編譯運(yùn)行 mpi 并行程序 測試節(jié)點 node01~node10，每個節(jié)點配置雙 CPU8 核處理器（即單節(jié)點 16 核），最多可運(yùn)行 24 核的例程。 需要注意的是， O3 并不一定適合所有程序。 glibc 環(huán)境設(shè)定 ： source /Share/scripts/ source /Share/scripts/ 環(huán)境設(shè)定 source /Share/scripts/ ? Intel 編譯器串行、 OpenMP 并行程序環(huán)境設(shè)定： source /opt/intel/bin/ intel64 source /opt/intel/bin/ intel64 ? Intel 編譯器及 Intelmpi 環(huán)境設(shè)定： source /opt/intel/bin/ intel64 source /opt/intel/bin/ intel64 source /opt/intel/impi/? Intel 編譯器及 openmpi 環(huán)境設(shè)定： source /opt/intel/bin/ intel64 source /opt/intel/bin/ intel64 清華大學(xué)生物高性能計算平臺 用戶使用手冊 8 export LD_LIBRARY_PATH=/Share/util/ompi162gnu/lib:$LD_LIBRARY_PATH export PATH=/Share/util/ompi162gnu/bin:$PATH export LD_LIBRARY_PATH=/opt/intel/lib/intel64:$LD_LIBRARY_PATH ? MKL 數(shù)學(xué)庫環(huán)境設(shè)定： source /opt/intel/? 其他環(huán)境設(shè)置模板： export LD_LIBRARY_PATH=庫路徑 :$LD_LIBRARY_PATH export PATH=可執(zhí)行文件路徑 :$PATH 編譯及測試 Intel 編譯器編譯串行程序及 Openmp 程序 ? icc:編譯 C 程序： 編譯： icc –o prog 運(yùn)行： ./prog ? icpc:編譯 C++程序： 編譯： icpc –o prog 運(yùn)行： ./prog ? ifort:編譯 fortran 程序 編譯： ifort –o prog 編譯： ifort –o prog 運(yùn)行： ./prog ? 編譯 Openmp 程序 編譯： icc –o progomp –openmp 編譯： ifort –o progomp –openmp 運(yùn)行： export OMP_NUM_THREADS=啟動線程數(shù) (啟動線程數(shù) =12) ./ progomp 常用編譯選項： （ 1）優(yōu)化選項 ： O0：禁止優(yōu)化 O1：優(yōu)化代碼大小和代碼局部性。 目錄 資源說明 /Share/util 平臺基礎(chǔ)軟件目錄，包括 gcc， mpi， java，fftw， glibc 等 /Share/app 平臺應(yīng)用軟件目錄，包括 relion， R，EMAN， EMAN2， Xmipp 等 /opt/intel Intel 軟件（ C/C++/fortran/mkl/impi 等） 表 1 軟件資源目錄分布 配置用戶的環(huán)境變量 用戶在編譯及運(yùn)行程序之前， 必須在用戶自家的 ~/.bashrc 文件中配置環(huán)境變量指定使用的編譯器、 MPI 編譯環(huán)境、數(shù)學(xué)庫等相關(guān)路徑，對 PATH 和 LD_LIBRARY_PATH 進(jìn)行正確設(shè)置。集群系統(tǒng)采用 infiniband 網(wǎng)絡(luò)，系統(tǒng)安裝了基于infiniband 網(wǎng)絡(luò)的 3 種 MPI 并行編程環(huán)境 、 ， 推薦用戶使用以上 3 種MPI 并行編程環(huán)境 ，獲得高速網(wǎng)絡(luò)通信。用戶在 login0 node01~node10 均可訪問共享目錄內(nèi)容。 軟件資源 系統(tǒng)在軟件服務(wù)器（ appserver）預(yù)安裝 intel 編譯器，并基于 Intel 編譯器安裝各類 MPI并行庫、數(shù)學(xué)庫及各類應(yīng)用軟件。確保軟件正常運(yùn)行后，MPI 并行作業(yè)跨節(jié)點運(yùn)行正常，再使用 lsf 提交作業(yè)，以免作業(yè)運(yùn)行出錯導(dǎo)致機(jī)器故障（死機(jī)或網(wǎng)絡(luò)阻塞）?。? 清華大學(xué)生物高性能計算平臺 用戶使用手冊 6 第 4 章 編譯及測試環(huán)境 訪問編譯環(huán)境 集群計算節(jié)點 node01~node10用戶測試節(jié)點。 使用集群 用戶可以根據(jù)需求，進(jìn)行程序調(diào)試（參見第 4 章編譯及測試環(huán)境）或提交作業(yè)進(jìn)行計算。 登錄步驟 輸入登錄前端機(jī) login01， IP： ，并鍵入申請的用戶名密碼。用戶也可以異地編寫上傳到用戶工作目錄中，但是一定要注意 dos2unix 轉(zhuǎn)換一下。 用戶必須使用 lsf 作業(yè)管理軟件提交作業(yè)，才能使用計算節(jié)點。用戶只能 通過 login0 node01~node10 修改 ~/下的數(shù)據(jù)。 用戶目錄 ~：登錄節(jié)點、所有計算節(jié)點通過 NFS 模式共享用戶目錄管理節(jié)點 6T 的存儲空間。 清華大學(xué)生物高性能計算平臺 用戶使用手冊 3 第 2 章 系統(tǒng)環(huán)境及磁盤共享 操作系統(tǒng)版本 清華大學(xué)生物高性能計算平臺 采用 CentOS release (Final)(內(nèi)核 )，遵循POSIX， LSB 等標(biāo)準(zhǔn)，提供了 64 位程序開發(fā)與運(yùn)行環(huán)境。支持 MPI 并行任務(wù)間通信，并實現(xiàn)全局文件系 清華大學(xué)生物高性能計算平臺 用戶使用手冊 2 統(tǒng)的數(shù)據(jù)傳輸。 網(wǎng)絡(luò)互連 生物高性能計算平臺集群 由 InfiniBand QDR 通信網(wǎng)絡(luò)構(gòu)成，理論帶寬 40Gb。所有用戶目錄下 /Share 目錄為全局共享，所有節(jié)點 /Share 目錄都有讀寫權(quán)限。用于提供文件存儲和共享服務(wù)，受控于管理結(jié)點。 生物高性能計算平臺集群 每個計算節(jié)點為 16 核的 SMP 服務(wù)器 ,可以最大支持 80* 16 =1280 核并行作業(yè)的計算。 每個節(jié)點都是一個多核 SMP 服務(wù)器，計算節(jié)點用于運(yùn)行串行和并行計算任務(wù)，支持 MPI、OpenMP 及 MPI/OpenMP 混合并行編程模式。其他節(jié)點需要通過 lsf 作業(yè)管理系統(tǒng)提交作業(yè)，加載程序。 計算節(jié)點 集群機(jī)計算節(jié)點共計 80 個。 登錄節(jié)點 集群登錄節(jié)點為 login01。 清華大學(xué) 生物高性能計算平臺 用戶使用手冊 國家蛋白質(zhì)設(shè)施（清華大學(xué)）實驗技術(shù)中心 生物計算平臺技術(shù)部 2020111 清華大學(xué)生物高性能計算平臺 用戶使用手冊 I 目錄 第 1 章 硬件環(huán)境 ..................................................... 1 登錄節(jié)點 ............................................................ 1 計算節(jié)點 ............................................................ 1 存儲節(jié)點 ............................................................ 1 管理節(jié)點 ............................................................ 1 網(wǎng)絡(luò)互連 ............................................................ 1 第 2 章 系統(tǒng)環(huán)境及磁盤共享 ............................................. 3 操作系統(tǒng)版本 ........................................................ 3 磁盤共享 .........................................