常州大学曙光高性能计算集群系统用户手册x

常州大学曙光高性能计算集群系统用户手册x内容摘要：

以 gpu 节点为例： Create and define queue gpu create queue gpu set queue gpu queue_type = Execution 曙光 信息产业（ 北京 ） 有 限公司 9 set queue gpu = 8 set queue gpu = 120:00:00 set queue gpu = gpu set queue gpu max_user_run = 2 set queue gpu enabled = True set queue gpu started = True qmgr c “ set queue gpu acl_users += guest” 添加可使用该队列的用户 guest 查询节点信息 pestat pestat |more 如下输出 node state load pmem ncpu mem resi usrs tasks jobids/users a110 busy* 12020 12 12020 4605 4/3 12 8904 hcding a111 busy* 12020 12 12020 4842 3/3 12 8904 hcding a112 free 12020 12 12020 1182 1/1 0 a113 busy* 12020 12 12020 4753 2/2 12 8904 hcding a114 free 12020 12 12020 962 2/2 0 a115 busy* 12020 12 12020 1473 4/3 12 9537 john a116 free 12020 12 12020 1156 3/3 0 a117 busy* 12020 12 12020 5090 3/3 12 8904 hcding a118 free 12020 12 12020 2606 2/2 0 a119 busy* 12020 12 12020 1674 4/3 12 9410 wxxu a120 busy* 12020 12 12020 1616 4/4 12 9410 wxxu a121 excl 12020 12 12020 2034 5/4 12 9503 john a122 free 12020 24 12020 2181 1/1 0 a123 busy* 12020 12 12020 1625 3/3 12 9410 wxxu a124 free 12020 12 12020 2389 2/2 0 a125 busy* 12020 12 12020 1652 4/4 12 9410 wxxu a126 free 12020 12 12020 2442 1/1 0 a127 excl * 12020 12 12020 1898 3/3 12 9503 john a128 free 12020 12 12020 1032 1/1 0 a129 excl 12020 12 12020 1712 3/3 12 9503 john a130 free * 12020 12 12020 3264 5/3 3 8216 wxxu 9187 wxxu 9533 wxxu ……………………………………. ……………………………………. 节点状态 excl ：所有 CPU 资源已被占用； busy ： CPU 已接近满负荷运行； 曙光 信息产业（ 北京 ） 有 限公司 10 free ：全部或部分 CPU 空闲； offl ：管理员手动指定离线状态； 查询作业运行状态 qstat an |more 如下输出： mgmt: Req39。 d Req39。 d Elap Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time ymei itcs ga88_remd1_zj 22516 8 96 720:0 R 231:2 a330/11+a330/10+a330/9+a330/8+a330/7+a330/6+a330/5+a330/4+a330/3+a330/2 +a330/1+a330/0+a331/11+a331/10+a331/9+a331/8+a331/7+a331/6+a331/5+a331/4 +a331/3+a331/2+a331/1+a331/0+a332/11+a332/10+a332/9+a332/8+a332/7+a332/6 +a332/5+a332/4+a332/3+a332/2+a332/1+a332/0+a334/11+a334/10+a334/9+a334/8 +a334/7+a334/6+a334/5+a334/4+a334/3+a334/2+a334/1+a334/0+a335/11+a335/10 +a335/9+a335/8+a335/7+a335/6+a335/5+a335/4+a335/3+a335/2+a335/1+a335/0 +a337/11+a337/10+a337/9+a337/8+a337/7+a337/6+a337/5+a337/4+a337/3+a337/2 +a337/1+a337/0+a339/11+a339/10+a339/9+a339/8+a339/7+a339/6+a339/5+a339/4 +a339/3+a339/2+a339/1+a339/0+a435/11+a435/10+a435/9+a435/8+a435/7+a4 曙光 信息产业（ 北京 ） 有 限公司 11 35/6 +a435/5+a435/4+a435/3+a435/2+a435/1+a435/0 查询作业命令 qstat [参数 ]，其中参数可为 : q ：列出系统 队列信息 B ：列出 PBS 服务器的相关信息 Q ：列出队列的一些限制信息 an：列出队列中的所有作业及其分配的节点 r ：列出正在运行的作业 f jobid ：列出指定作业的信息 Qf queue：列出指定队列的所有信息 删除作业 作业删除命令： qdel 作业号 注意事项 非 root 用户只能查看、删除自己提交的作业； 强制删除作业 ，当某些作业由于节点死机无法删除时，可由 root 用户登录，使用qdel p 作业号 来 强制删除作业 作业调度系统使用举例 串行作业 !/bin/bash x PBS N serial PBS l nodes=1:ppn=1 PBS l walltime=60:00:00 PBS j oe PBS q serial define variables 曙光 信息产业（ 北京 ） 有 限公司 12 echo This jobs is $PBS_JOBID@$PBS_QUEUE cd ${PBS_O_WORKDIR} date sleep 100 hostname date PBS l nodes=1:ppn=1 表示申请 1 个节点上的 1 颗 CPU。 PBS q serial 表示提交到集群上的 serial 队列。 并行作业  openmpi 并行作业的脚本以 cpi 为例。 示例 OpenMPI 脚本： PBS N openmpi PBS l nodes=1:ppn=8 PBS j oe PBS l walltime=2:00:00 cd $PBS_O_WORKDIR echo my job id is $PBS_JOBID | tee echo run nodes is following: | tee a cat $PBS_NODEFILE | tee a echo begin time is `date` | tee a id=`echo $PBS_JOBID|awk F. 39。 {print $1}39。 ` NP=`cat $PBS_NODEFILE|wc l` mpirun np $NP hostfile $PBS_NODEFILE mca orte_rsh_agent ssh mca btl self,openib,sm ./program 2amp。 1 | tee a echo end time is `date` | tee a  mpich2 示例 MPICH2 脚本： PBS N mpich2 PBS l nodes=1:ppn=8 PBS j oe 曙光 信息产业（ 北京 ） 有 限公司 13 PBS l walltime=2:00:00 cd $PBS_O_WORKDIR echo my job id is $PBS_JOBID | tee echo run nodes is following: | tee a cat $PBS_NODEFILE | tee a echo begin time is `date` | tee a id=`echo $PBS_JOBID|awk F. 39。 {print $1}39。 ` NP=`cat $PBS_NODEFILE|wc l` n $NP launcher ssh f $PBS_NODEFILE ./program 2amp。 1 | tee a echo end time is `date` | tee a  mvapich2 MVAPICH2 示例脚本： PBS N mvapich2 PBS l nodes=1:ppn=8 PBS j oe PBS l walltime=2:00:00 cd $PBS_O_WORKDIR echo my job id is $PBS_JOBID | tee echo run nodes is following: | tee a cat $PBS_NODEFILE | tee a echo begin time is `date` | tee a id=`echo $PBS_JOBID|awk F. 39。 {print $1}39。 ` NP=`cat $PBS_NODEFILE|wc l` n $NP launcher ssh f $PBS_NODEFILE cpi 2amp。 1 | tee a echo end time is `date` | tee a  IntelMPI 示例脚本： PBS N intelmpi PBS l nodes=1:ppn=8 PBS j oe PBS l walltime=2:00:00 cd $PBS_O_WORKDIR 曙光 信息产业（ 北京 ） 有 限公司 14 echo my job id is $PBS_JOBID | tee echo run nodes is following: | tee a cat $PBS_NODEFILE | tee a echo begin time is `date` | tee a id=`echo $PBS_JOBID|awk F. 39。 {print $1}39。 ` NP=`cat $PBS_NODEFILE|wc l` qstat f1 $PBS_JOBID | grep exec_host | awk 39。 {print $3}39。 |。