【正文】 臺 A840G10 服務(wù)器，以及一臺I620G10 服務(wù)器作為管理登錄節(jié)點。部署有曙光 Gridview 集群管理系統(tǒng)。用戶可通過 IP地址實現(xiàn) Web 訪問。 2 使用集群進行計算業(yè)務(wù) 系統(tǒng)登陸 登陸 IP 地址 管理登陸節(jié)點 login 配置有園區(qū)網(wǎng)絡(luò)地址 和 ， 用戶可以通過多種登錄方式登錄集群系統(tǒng)。 命令行終端登錄 Windows 用戶 可以用 SSH Secure Shell Client， PuTTY， SecureCRT 等 SSH 客戶端軟件登錄。推薦使用 SSH Secure Shell Client，它集成了 SFTP 文件上傳下載功能。 Linux 用戶可以直接在 命令行 終端中 執(zhí)行 ssh 命令進行登錄 ： $ ssh username@登錄節(jié)點 IP地址 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 2 文件上傳下載 Windows 用戶 可以用 SSH Secure Shell Client， winscp 等 軟件實現(xiàn)文件的上傳下載。 Linux 操作系統(tǒng)直接使用命令 scp filename test@ip:/home/test 圖形界面登錄 遠程圖形界面登錄推薦采用 VNC 方式。第一次使用 VNC 登錄前，需要先以命令行終端方式登錄到集群登錄節(jié)點，執(zhí)行 vncserver 命令，會提示用戶輸入 VNC 登錄密碼，輸入后會得到一個 VNC 會話，一般是“主機名 :VNC 會話號”格式，如“ node32:4”。 Windows 用戶推薦使用 RealVNC 軟件進行 VNC 遠程圖形界面登錄，登錄時輸入集群登錄節(jié)點 IP 地址加 VNC 會話號即可： Linux 用戶可以直接在 命令行 終端中 執(zhí)行 vncviewer 命令進行登錄，如 ： vncviewer [登錄節(jié)點 IP地址 ]:[session number] Gridview Web 登錄 用戶也可以通過 WEB 方式登入曙光 GridView 集群管理系統(tǒng)， 對集群進行管理、監(jiān)控、配置和使用等操作。在 WEB 瀏覽器的地址欄中輸入以下 URL 即可出現(xiàn)登錄界面： 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 3 登彔節(jié)點 IP 地址 :6080/gridview_portal 登入后，如果部分圖表顯示不正常，請為瀏覽器安裝 FLASH 插件。 編譯、安裝 OpenMPI 示例 以 OpenMPI 為例： $ tar zxvf $ cd $ ./configure prefix=/public/software/mpi/openmpi16intel enablempirunprefixbydefault withoutpsm CC=icc CXX=icpc FC=ifort F77=ifort $ make j 8 amp。amp。 make install 設(shè)置環(huán)境變量腳本： vim /public/software/ !/bin/bash export MPI_HOME=/public/software/mpi/openmpi16intel export PATH=${MPI_HOME}/bin:${PATH} export LD_LIBRARY_PATH=${MPI_HOME}/lib:${LD_LIBRARY_PATH} export MANPATH=${MPI_HOME}/share/man:${MANPATH} ? Tips： 1. OpenMPI 安裝會自動檢測編譯節(jié)點本地可用的通信網(wǎng)絡(luò)設(shè)備，如需支持 InfiniBand 網(wǎng)絡(luò)，請確保編譯 MPI 前該節(jié)點已安裝 OFED 驅(qū)動。 2. 執(zhí)行 OpenMPI 安裝目錄 $MPI_HOME/bin 下的 ompi_info 命令，可查詢當前 OpenMPI配置信息。 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 4 手動運行程序 運行串行程序 方法一 cd /home/your_account/your_workdir ./your_code 方法二 cd $HOME vi .bashrc 添加 export PATH=/home/your_account/your_workdir:$PATH 執(zhí)行命令 your_code 使用 openmpi 運行并行程序 編譯 MPI 程序 OpenMPI 提供了 C/C++， Fortran 等語言的 MPI 編譯器，如下表所示： 語言類型 MPI編譯器 C mpicc C++ mpicxx Fortran77 mpif77 Fortran90 mpif90 MPI 編譯器是對底層編譯器的一層包裝，通過 show 參數(shù)可以查看實際使用的編譯器。比如： $ mpicc show icc I/public/software/mpi/openmpi16intel/include pthread L/public/software/mpi/openmpi16intel/lib lmpi ldl lm lnuma Wl,exportdynamic lrt lnsl lutil 編譯程序示例： $ source /public/software/$ mpicc o hello $ mpif90 o hello 運行 MPI 程序 OpenMPI 使用自帶的 OpenRTE 進程管理器，啟動命令為 mpirun/mpiexec/orterun，基本格式如下： 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 5 $ mpirun np N hostfile filename program ? np N：運行 N 個進程 ? hostfile：指定計算節(jié)點，文件格式如下： node1 slots=8 node2 slots=8 slots=8 代表可在該節(jié)點上執(zhí)行 8 個進程，也可將 node1 和 node2 分別寫 8 行。 使用 mpich2 運行并行程序 編譯 MPI 程序 MPICH2 編譯 C、 C++、 Fortran77 和 Fortran90 的編譯器分別為 mpicc,mpicxx,mpif70 和mpif90。編譯程序示例： source /public/software/mpicc o hello mpif90 o hello 運行 MPI 程序 MPICH2 默認使用 hydra 進程管理器，使用 mpiexec 啟動 MPI 進程（無 mpirun），命令格式如下： $ mpiexec f hostfile n 6 ./program hostfile 文件格式如下： node1:4 node name:number of cores node2:4 遠程節(jié)點訪問協(xié)議選擇： MPICH2 默認使用 ssh，也可選擇使用 rsh， fork， slurm 等，利用 launcher 選項進行設(shè)置： $ mpiexec launcher rsh f hostfile n 6 ./program 使用 mvapich2 運行并行程序 編譯 MPI 程序 $ source /public/software/$ mpicc o hello $ mpif90 o hello MVAPICH2 編譯 C、 C++、 Fortran77 和 Fortran90 的編譯器分別為 mpicc,mpicxx,mpif70 和mpif90。 運行 MPI 程序 MVAPICH2 提供了兩種進程管理器： mpirun_rsh/mpispawn 方式和 mpiexec/Hydra 方式。其中 mpirun_rsh/mpispawn 方式啟動速度更快，支持集群規(guī)模更大， 但容易出現(xiàn)任務(wù)意外終止后計算節(jié)點存在僵尸進程的情況發(fā)生。雖然官方推薦使用 mpirun_rsh 方式，但曙光 HPC推薦使用 mpiexec/Hydra 方式。 下面分別介紹： 1. mpirun_rsh 命令 $ mpirun_rsh rsh np 4 hostfile hosts [ENV=value] ./program 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 6 ? rsh 或 ssh：指定使用 rsh 或 ssh 通信（默認 ssh） ? np：進程數(shù)， hostfile 文件格式與 MPICH2 相同（ np 和 hostfile 是必備選項，不可缺少 ） ? ENV=value 設(shè)置運行環(huán)境變量，如網(wǎng)絡(luò)選擇，進程綁定等，見下文。 2. Hydra 方式 launcher ssh f hosts n 4 [env ENV value]./program ? launcher ssh/rsh：指定啟動遠程任務(wù)的方式，默認 ssh ? f hosts：格式同 MPICH2 相同， node name:proc num ? n 4：指定進程數(shù) ? env ENV=value：設(shè)置運行環(huán)境變量 使用 intelmpi 運行并行程序 編譯 MPI 程序 IntelMPI 提供了非常完整的 MPI 編譯器，如下表所示： MPI編譯器 編譯器說明 mpicc， mpigcc 使用 gcc 編譯 C 語言 mpicxx， mpigxx 使用 g++編譯 C++語言 mpif77 使用 g77 編譯 Fortran77 語言 mpif90 使用 gfortran 編譯 Fortran90 語言 mpifc 使用 gfortran 編譯 Fortran77/90 語言 mpiicc 使用 icc 編譯 C 語言，推薦使用 mpiicpc 使用 icpc 編譯 C++語言，推薦使用 mpiifort 使用 ifort 編譯 Fortran 語言，推薦使用 可通過 mpiicc show 來查看具體的編譯器信息： $ mpiicc show icc ldl I/public/software/intel/impi/L/public/software/intel/impi/enablenewdtags Xlinker rpath Xlinker /public/software/intel/impi/Xlinker /opt/intel/mpirt/ lmpi lmpigf lmpigi lrt lpthread 編譯示例： $ mpiicc o hello 運行 MPI 程序 ? mpirun 是簡化的啟動 MPI 進程方式，相當于執(zhí)行 mpdboot+mpiexec+mpdallexit ? $ mpirun r ssh f machinefile np 16 env I_MPI_DEVICE rdma ./program 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 7 ? 選項順序 ? (1) [mpdboot options r ssh f (n 在 mpirun 中不能用 )] ? (2) [mpiexec global options machinefile ] ? (3) [mpiexec local options np 16 env ...] 曙光 信息產(chǎn)業(yè)（ 北京 ） 有 限公司 8 命令行使用作業(yè)調(diào)度 PBS 的基本命令 在 PBS 系統(tǒng)中，用戶使用 qsub 命令提交用戶程序。 qsub 用戶運行程序的命令及 PBS 環(huán)境變量設(shè)置組成 PBS 作業(yè)腳本，提交格式如下： 注釋 ,以“ ”開頭 PBS 指令 ,以“ PBS”開頭 示例 OpenMPI 腳本： PBS N openmpi PBS l nodes=1:ppn=8 PBS j oe PBS l walltime=2:00:00 cd $PBS_O_WORKDIR echo my job id is $PBS_JOBID | tee echo run nodes is following: | tee a cat $PBS_NODEFILE | tee a echo begin time is `date` | tee a id=`echo $PBS_JOBID|awk F. 39。{print $1}39。 ` NP=`cat $PBS_NODEFILE|wc l` mpirun np $NP hostfile $PBS_NODEFILE mca orte_rsh_agent ssh mca btl self,openib,sm ./program 2amp。1 | tee a echo end time is `date` | tee a 注意： 算例規(guī)模的大小合理估算所需的 walltime 和 Mem，把其寫進作業(yè)腳本里，這樣有助于更快、更有效地分配資源； 查詢隊列信息 qmgr c 39。p s39