Ÿ 刀片计算系统共有10台曙光CX50-G20双路刀片，CPU整体峰值性能达到8.231万亿次/秒。每台刀片计算节点配置2颗Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz十二处理器，64G DDR4内存。

Ÿ GPU计算系统共有2台曙光W580I-G20。每台GPGPU计算节点配置2块Nvidia Tesla K40m GPU卡。

Ÿ 系统配备曙光Parastor200分布式并行文件系统，存储容量为90TB。

Ÿ 系统配置登陆管理节点2台，部署曙光Gridview 3.2集群管理系统。用户可通过IP地址实现Web访问。

Ÿ 系统配置1套线速互联的56Gb FDR Infiniband网络。

12.1.0

/public/software/intel/composer_xe_2011_sp1.7.256

source /public/software/profile.d/intel-env.sh

C:icc

C++:icpc

F77:ifort

F90:ifort

clussoft自动安装

12.1.0

/public/software/intel/composer_xe_2011_sp1.7.256/mkl

source /public/software/profile.d/intel-env.sh

ifort/icc ... -L/public/software/intel/composer_xe_2011_sp1.7.256/mkl/lib/intel64 -lmkl_intel_lp64 -lmkl_sequential -lmkl_core ...

clussoft自动安装

5.1.0

/public/software/mathlib/acml-510

source /public/software/profile.d/acml-gfortran-env.sh

source /public/software/profile.d/acml-ifort-env.sh

ifort/icc ... -/public/software/mathlib/acml-510/ifort64/lib -lmkl_intel_lp64 -lacml.a…

clussoft自动安装

fftw2-

float

2.1.5

/public/software/mathlib/fftw215-float

clussoft自动安装

fftw2-

double

2.1.5

/public/software/mathlib/fftw215-double

clussoft自动安装

fftw3-

float

3.3.1

/public/software/mathlib/fftw331-float

clussoft自动安装

fftw3-double

3.3.1

/public/software/mathlib/fftw331-double

clussoft自动安装

scalapack

2.0.2

/public/software/mathlib/scalapack-202

clussoft自动安装

计算子系统

可用作业队列

刀片计算节点(默认)

node1-node20

2*AMD Opteron 6172，24 CPU核，32GB内存

queue_blade

GPGPU计算节点

node21-node25

2*Intel Xeon E5620，8 CPU核，12GB内存，4*Nvidia Tesla C2050 GPGPU卡

queue_gpu

SMP计算节点

node26-node30

4*AMD Opteron 6172，48 CPU核，128GB内存

queue_smp

2.使用集群进行计算业务

管理登陆节点node1和node2配置有园区网络地址 202.114.200.61 和 202.114.200.X ，用户可以通过多种登录方式登录集群系统。

Windows用户可以用SSH Secure Shell Client，PuTTY，SecureCRT等SSH客户端软件登录。推荐使用SSH Secure Shell Client，它集成了SFTP文件上传下载功能。

Linux用户可以直接在命令行终端中执行ssh命令进行登录：

$ ssh username@登录节点IP地址

Windows用户可以用SSH Secure Shell Client，winscp等软件实现文件的上传下载。

Linux操作系统直接使用命令

scp filename test@ip:/home/test

远程图形界面登录推荐采用VNC方式。第一次使用VNC登录前，需要先以命令行终端方式登录到集群登录节点，执行vncserver命令，会提示用户输入VNC登录密码，输入后会得到一个VNC会话，一般是“主机名:VNC会话号”格式，如“node32:4”。

Windows用户推荐使用RealVNC软件进行VNC远程图形界面登录，登录时输入集群登录节点IP地址加VNC会话号即可：

Linux用户可以直接在命令行终端中执行vncviewer命令进行登录，如：

vncviewer [登录节点IP地址]:[session number]

用户也可以通过WEB方式登入曙光GridView集群管理系统，对集群进行管理、监控、配置和使用等操作。在WEB浏览器的地址栏中输入以下URL即可出现登录界面：

http://登录节点IP地址:6080

登入后，如果部分图表显示不正常，请为浏览器安装FLASH插件。

以OpenMPI 1.6.3为例：

$ tar zxvf openmpi-1.6.3.tar.gz

$ cd openmpi-1.6.3

$ ./configure --prefix= /public/software/mpi/openmpi-16-intel --enable-mpirun-prefix-by-default --without-psm CC=icc CXX=icpc FC=ifort F77=ifort

$ make -j 8 && make install

设置环境变量脚本：

vim /public/software/profile.d/openmpi-intel-env.sh

#!/bin/bash

export MPI_HOME= /public/software/mpi/openmpi-16-intel

export PATH=${MPI_HOME}/bin:${PATH}

export LD_LIBRARY_PATH=${MPI_HOME}/lib:${LD_LIBRARY_PATH}

export MANPATH=${MPI_HOME}/share/man:${MANPATH}

þ Tips ：

1. OpenMPI安装会自动检测编译节点本地可用的通信网络设备，如需支持InfiniBand网络，请确保编译MPI前该节点已安装OFED驱动。

2.执行OpenMPI安装目录$MPI_HOME/bin下的ompi_info命令，可查询当前OpenMPI配置信息。

cd /home/your_account/your_workdir

./your_code

cd $HOME

vi .bashrc

export PATH=/home/your_account/your_workdir:$PATH

your_code

OpenMPI提供了C/C++，Fortran等语言的MPI编译器，如下表所示：

$ mpicc -show

icc -I/public/software/mpi/openmpi-16-intel/include -pthread -L/public/software/mpi/openmpi-16-intel/lib -lmpi -ldl -lm -lnuma -Wl,--export-dynamic -lrt -lnsl -lutil

编译程序示例：

$ source /public/software/profile.d/openmpi-intel-env.sh

$ mpicc -o hello hello.c

$ mpif90 -o hello hello.f90

OpenMPI使用自带的OpenRTE进程管理器，启动命令为mpirun/mpiexec/orterun，基本格式如下：

$ mpirun -np N -hostfile <filename> <program>

Ÿ -np N：运行N个进程

Ÿ -hostfile：指定计算节点，文件格式如下：

node1 slots=8

node2 slots=8

slots=8代表可在该节点上执行8个进程，也可将node1和node2分别写8行。

MPICH2编译C、C++、Fortran77和Fortran90的编译器分别为mpicc,mpicxx,mpif70和mpif90。编译程序示例：

source /public/software/profile.d/mpich2-intel-env.sh

mpicc -o hello hello.c

mpif90 -o hello hello.f90

MPICH2默认使用hydra进程管理器，使用mpiexec启动MPI进程（无mpirun），命令格式如下：

$ mpiexec -f hostfile -n 6 ./program

hostfile文件格式如下：

node1:4 #<node name>:<number of cores>

node2:4

远程节点访问协议选择：MPICH2默认使用ssh，也可选择使用rsh，fork，slurm等，利用-launcher选项进行设置：

$ mpiexec -launcher rsh -f hostfile -n 6 ./program

2.3.4.1编译MPI程序

$ source /public/software/profile.d/mvapich2-intel.sh

$ mpicc -o hello hello.c

$ mpif90 -o hello hello.f90

MVAPICH2编译C、C++、Fortran77和Fortran90的编译器分别为mpicc,mpicxx,mpif70和mpif90。

MVAPICH2提供了两种进程管理器：mpirun_rsh/mpispawn方式和mpiexec/Hydra方式。其中mpirun_rsh/mpispawn方式启动速度更快，支持集群规模更大， 但容易出现任务意外终止后计算节点存在僵尸进程的情况发生。虽然官方推荐使用 mpirun_rsh 方式，但曙光HPC 推荐使用mpiexec/Hydra 方式。 下面分别介绍：

1. mpirun_rsh 命令

$ mpirun_rsh -rsh -np 4 -hostfile hosts [ENV=value] ./program

Ÿ -rsh或-ssh：指定使用rsh或ssh通信（默认ssh）

Ÿ np：进程数，hostfile文件格式与MPICH2相同（-np和-hostfile是必备选项，不可缺少）

Ÿ ENV=value设置运行环境变量，如网络选择，进程绑定等，见下文。

2. Hydra 方式

mpiexe.hydra -launcher ssh -f hosts -n 4 [-env ENV value]./program

Ÿ -launcher ssh/rsh：指定启动远程任务的方式，默认ssh

Ÿ -f hosts：格式同MPICH2相同，<node name>:<proc num>

Ÿ -n 4：指定进程数

Ÿ -env ENV=value：设置运行环境变量

IntelMPI提供了非常完整的MPI编译器，如下表所示：

icc -ldl -I/public/software/intel/impi/4.1.0.024/intel64/include -L/public/software/intel/impi/4.1.0.024/intel64/lib -Xlinker --enable-new-dtags -Xlinker -rpath -Xlinker /public/software/intel/impi/4.1.0.024/intel64/lib -Xlinker -rpath -Xlinker /opt/intel/mpi-rt/4.1 -lmpi -lmpigf -lmpigi -lrt -lpthread

编译示例：

$ mpiicc -o hello hello.c

2.3.5.2运行MPI程序

Ÿ mpirun是简化的启动MPI进程方式，相当于执行mpdboot+mpiexec+mpdallexit

Ÿ $ mpirun -r ssh -f mpd.hosts -machinefile mpd.hosts -np 16 -env I_MPI_DEVICE rdma ./program

Ÿ 选项顺序

Ÿ (1) [mpdboot options -r ssh -f mpd.hosts (-n在mpirun中不能用)]

Ÿ (2) [mpiexec global options -machinefile mpd.hosts]

Ÿ (3) [mpiexec local options -np 16 -env ...]

Hosts 文件格式：

格式同MPICH2相同，<node name>:<proc num>

在PBS系统中，用户使用qsub命令提交用户程序。

qsub xxx.pbs

用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，提交格式如下：

注释,以“#”开头

PBS指令,以“#PBS”开头

示例OpenMPI脚本：openmpi.pbs

#PBS -N openmpi

#PBS -l nodes=1:ppn=8

#PBS -j oe

#PBS -l walltime=2:00:00

cd $PBS_O_WORKDIR

echo my job id is $PBS_JOBID | tee openmpi.log

echo run nodes is following: | tee -a openmpi.log

cat $PBS_NODEFILE | tee -a openmpi.log

echo begin time is `date` | tee -a openmpi.log

id=`echo $PBS_JOBID|awk -F. '{print $1}' `

NP=`cat $PBS_NODEFILE|wc -l`

mpirun -np $NP -hostfile $PBS_NODEFILE --mca orte_rsh_agent ssh --mca btl self,openib,sm ./program 2>&1 | tee -a openmpi.log

echo end time is `date` | tee -a openmpi.log

注意：算例规模的大小合理估算所需的walltime和Mem，把其写进作业脚本里，这样有助于更快、更有效地分配资源；

qmgr -c 'p s'

以gpu节点为例：

# Create and define queue gpu

create queue gpu

set queue gpu queue_type = Execution

set queue gpu resources_max.nodect = 8

set queue gpu resources_max.walltime = 120:00:00

set queue gpu resources_default.neednodes = gpu

set queue gpu max_user_run = 2

set queue gpu enabled = True

set queue gpu started = True

qmgr -c“set queue gpu acl_users += guest”

添加可使用该队列的用户guest

pestat |more

node state load pmem ncpu mem resi usrs tasks jobids/users

a110 busy* 12.00 12001 12 12001 4605 4/3 12 8904 hcding

a111 busy* 12.00 12001 12 12001 4842 3/3 12 8904 hcding

a112 free 0.00 12001 12 12001 1182 1/1 0

a113 busy* 12.00 12001 12 12001 4753 2/2 12 8904 hcding

a114 free 0.00 12001 12 12001 962 2/2 0

a115 busy* 12.00 12001 12 12001 1473 4/3 12 9537 john

a116 free 0.00 12001 12 12001 1156 3/3 0

a117 busy* 12.00 12001 12 12001 5090 3/3 12 8904 hcding

a118 free 0.00 12001 12 12001 2606 2/2 0

a119 busy* 12.12 12001 12 12001 1674 4/3 12 9410 wxxu

a120 busy* 12.00 12001 12 12001 1616 4/4 12 9410 wxxu

a121 excl 11.91 12001 12 12001 2034 5/4 12 9503 john

a122 free 0.07 12001 24 12001 2181 1/1 0

a123 busy* 12.00 12001 12 12001 1625 3/3 12 9410 wxxu

a124 free 0.01 12001 12 12001 2389 2/2 0

a125 busy* 12.00 12001 12 12001 1652 4/4 12 9410 wxxu

a126 free 0.00 12001 12 12001 2442 1/1 0

a127 excl 11.39* 12001 12 12001 1898 3/3 12 9503 john

a128 free 0.00 12001 12 12001 1032 1/1 0

a129 excl 11.68 12001 12 12001 1712 3/3 12 9503 john

a130 free 1.75* 12001 12 12001 3264 5/3 3 8216 wxxu 9187 wxxu 9533 wxxu

…………………………………….

…………………………………….

excl：所有CPU资源已被占用；

busy：CPU已接近满负荷运行；

free：全部或部分CPU空闲；

offl：管理员手动指定离线状态；

qstat -an |more

如下输出：

mgmt:

Req'd Req'd Elap

Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time

-------------------- -------- -------- ---------------- ------ ----- --- ------ ----- - -----

7010.mgmt ymei itcs ga88_remd1_zj 22516 8 96 -- 720:0 R 231:2

a330/11+a330/10+a330/9+a330/8+a330/7+a330/6+a330/5+a330/4+a330/3+a330/2

+a330/1+a330/0+a331/11+a331/10+a331/9+a331/8+a331/7+a331/6+a331/5+a331/4

+a331/3+a331/2+a331/1+a331/0+a332/11+a332/10+a332/9+a332/8+a332/7+a332/6

+a332/5+a332/4+a332/3+a332/2+a332/1+a332/0+a334/11+a334/10+a334/9+a334/8

+a334/7+a334/6+a334/5+a334/4+a334/3+a334/2+a334/1+a334/0+a335/11+a335/10

+a335/9+a335/8+a335/7+a335/6+a335/5+a335/4+a335/3+a335/2+a335/1+a335/0

+a337/11+a337/10+a337/9+a337/8+a337/7+a337/6+a337/5+a337/4+a337/3+a337/2

+a337/1+a337/0+a339/11+a339/10+a339/9+a339/8+a339/7+a339/6+a339/5+a339/4

+a339/3+a339/2+a339/1+a339/0+a435/11+a435/10+a435/9+a435/8+a435/7+a435/6

+a435/5+a435/4+a435/3+a435/2+a435/1+a435/0

查询作业命令 qstat [参数]，其中参数可为:

-q ：列出系统队列信息

-B ：列出PBS服务器的相关信息

-Q：列出队列的一些限制信息

-an：列出队列中的所有作业及其分配的节点

-r ：列出正在运行的作业

-f jobid ：列出指定作业的信息

-Qf queue：列出指定队列的所有信息

作业删除命令：qdel 作业号

1、非root用户只能查看、删除自己提交的作业；

2 、强制删除作业 ，当某些作业由于节点死机无法删除时，可由root用户登录，使用qdel -p作业号来强制删除作业

3.6.6.1 串行作业

#!/bin/bash -x

#PBS -N serial

#PBS -l nodes=1:ppn=1

#PBS -l walltime=60:00:00

#PBS -j oe

#PBS -q serial

#define variables

echo "This jobs is "$PBS_JOBID@$PBS_QUEUE

cd ${PBS_O_WORKDIR}

sleep 100

hostname

#PBS -l nodes=1:ppn=1表示申请1个节点上的1颗CPU。

#PBS -q serial表示提交到集群上的serial队列。

3.6.6.2 并行作业

Ÿ openmpi

并行作业的脚本以cpi为例。示例OpenMPI脚本：openmpi.pbs

#PBS -N openmpi

#PBS -l nodes=1:ppn=8

#PBS -j oe

#PBS -l walltime=2:00:00

cd $PBS_O_WORKDIR

echo my job id is $PBS_JOBID | tee openmpi.log

echo run nodes is following: | tee -a openmpi.log

cat $PBS_NODEFILE | tee -a openmpi.log

echo begin time is `date` | tee -a openmpi.log

id=`echo $PBS_JOBID|awk -F. '{print $1}' `

NP=`cat $PBS_NODEFILE|wc -l`

mpirun -np $NP -hostfile $PBS_NODEFILE --mca orte_rsh_agent ssh --mca btl self,openib,sm ./program 2>&1 | tee -a openmpi.log

echo end time is `date` | tee -a openmpi.log

Ÿ mpich2

示例MPICH2脚本：mpich2.pbs

#PBS -N mpich2

#PBS -l nodes=1:ppn=8

#PBS -j oe

#PBS -l walltime=2:00:00

cd $PBS_O_WORKDIR

echo my job id is $PBS_JOBID | tee mpich2.log

echo run nodes is following: | tee -a mpich2.log

cat $PBS_NODEFILE | tee -a mpich2.log

echo begin time is `date` | tee -a mpich2.log

id=`echo $PBS_JOBID|awk -F. '{print $1}' `

NP=`cat $PBS_NODEFILE|wc -l`

mpiexec.hydra -n $NP -launcher ssh -f $PBS_NODEFILE ./program 2>&1 | tee -a mpich2.log

echo end time is `date` | tee -a mpich2.log

Ÿ mvapich2

MVAPICH2示例脚本：mvapich2.pbs

#PBS -N mvapich2

#PBS -l nodes=1:ppn=8

#PBS -j oe

#PBS -l walltime=2:00:00

cd $PBS_O_WORKDIR

echo my job id is $PBS_JOBID | tee mvapich2.log

echo run nodes is following: | tee -a mvapich2.log

cat $PBS_NODEFILE | tee -a mvapich2.log

echo begin time is `date` | tee -a mvapich2.log

id=`echo $PBS_JOBID|awk -F. '{print $1}' `

NP=`cat $PBS_NODEFILE|wc -l`

mpiexec.hydra -n $NP -launcher ssh -f $PBS_NODEFILE cpi 2>&1 | tee -a mvapich2.log

echo end time is `date` | tee -a mvapich2.log

Ÿ intelmpi.pbs

IntelMPI示例脚本：intelmpi.pbs

#PBS -N intelmpi

#PBS -l nodes=1:ppn=8

#PBS -j oe

#PBS -l walltime=2:00:00

cd $PBS_O_WORKDIR

echo my job id is $PBS_JOBID | tee intelmpi.log

echo run nodes is following: | tee -a intelmpi.log

cat $PBS_NODEFILE | tee -a intelmpi.log

echo begin time is `date` | tee -a intelmpi.log

id=`echo $PBS_JOBID|awk -F. '{print $1}' `

NP=`cat $PBS_NODEFILE|wc -l`

qstat -f1 $PBS_JOBID | grep exec_host | awk '{print $3}' | tr '+/' '\n ' | awk -v prog="cpi " -v net="" 'NR==1 {node=$1; count=1; core[count]=$2; next}; $1==node {count++; core[count]=$2}; $1!=node {printf("-n %d -host %s -env %s -env I_MPI_PIN_PROCESSOR_LIST ",count,node,net); for(i=1;i<count;i++) printf("%d,",core[i]); printf("%d %s\n",core[count],prog); node=$1; count=1; core[count]=$2}; END {printf("-n %d -host %s -env %s -env I_MPI_PIN_PROCESSOR_LIST ",count,node,net); for(i=1;i<count;i++) printf("%d,",core[i]); printf("%d %s\n",core[count],prog)}' >rankfile.${id}

mpirun -r ssh -f $PBS_NODEFILE -configfile rankfile.$id 2>&1 | tee -a intelmpi.log

echo end time is `date` | tee -a intelmpi.log

Gridview产品的标准配置中包括了basic类型的mpi、serial、general三个基本应用portal，在完成了安装之后的集群系统中即可直接使用。如果您选购的产品中包括了其他的Web Portal，具体使用参见相关的系统说明；如果您需要增加新的Web Portal，请访问曙光官方网站：www.sugon.com或拨打免费服务电话800-810-0466/400-810-0466。

2.5.2.1serial应用portal

点击“作业提交”->basic类型“基础模板”打开作业提交页面，选择相应的Portal模板,将在浏览器中打开相应的页面，如下图所示：

serial是GridviewClusportal最基本的portal，可以支持串行程序和openmp程序的作业提交运行，并支持vnc的图形作业，以及clusnap的自动checkpoint功能，此portal适用串行程序和openmp程序，故支持的节点数只能为1。

相关选项、状态说明：

CPU Time：如果部署了ClusQuota集群资源配额计费系统，将显示您目前可用的机时配额，计量单位为“CPU*Hours”。例如，系统显示目前可用配额为120 CPU*Hours，表明最多可以用12个CPU并行运算10小时。本次计算任务结束之后，将按照“CPU并行数*实际运行时间”扣除相应的机时配额。队列状态的“Charge Rate”一栏表示它们在ClusQuota系统中的计费比率，例如，优先权高的工作队列其计费比率也相应要高一些。

Nnodes：本次计算任务需要使用多少个节点。本portal中只能选1

Cores/Node：本次计算任务每个节点需要使用多少CPU核。

Wall Time：本次计算任务预计将运行多长时间。根据系统的调度策略，WallTime较短的任务将有机会优先运行；不过须注意，一旦WallTime时间到了而程序尚未运行结束，本次任务将被强行终止。因此请合理预估WallTime的长短。此外，如果部署了ClusQuota集群资源配额计费系统，本次任务申请的机时资源不允许超过您目前可用的机时配额。

Queue：本次计算任务将使用的工作队列。

Name：本次计算任务的名称。

WinScp File Manager：启动WinSCP程序上传/下载计算任务的输入输出文件。

Web File Manager：启动文件管理

Program：选择本次计算任务的可执行程序或命令。

Arguments：如果应用程序运行时需要提供自定义的参数，请在此输入。

Working DIR：本次计算任务的工作目录。

Output File：计算过程中的标准输出和标准错误输出信息，将被重定向保存为文件。

PBS Options：如果需要手动添加PBS作业的高级参数，可在此处设置。这类参数的行首必须包含“#PBS”关键字，将被加到PBS脚本文件的开始处。该选项默认无需设置。

Pre Commands：如果运行mpirun命令之前需要做前处理操作，可在此处设置相关命令参数，命令。

2.5.2.2MPI应用portal

点击“作业提交”->basic类型“基础模板”打开作业提交页面，选择相应的Portal模板,将在浏览器中打开相应的页面，mpi portal如下图所示:

MPI(Message Passing Interface)是并行程序使用最为广泛的程序设计标准，可以支持大规模多节点并行.目前发展的版本为MPI2.MPI的具体实现为openmpi、intelmpi、mvapich、mpich等。相关选项、状态说明：

CPU Time：如果部署了ClusQuota集群资源配额计费系统，将显示您目前可用的机时配额，计量单位为“CPU*Hours”。例如，系统显示目前可用配额为120 CPU*Hours，表明最多可以用12个CPU并行运算10小时。本次计算任务结束之后，将按照“CPU并行数*实际运行时间”扣除相应的机时配额。队列状态的“Charge Rate”一栏表示它们在ClusQuota系统中的计费比率，例如，优先权高的工作队列其计费比率也相应要高一些。

Nnodes：本次计算任务需要使用多少个节点。

Cores/Node：本次计算任务每个节点需要使用多少CPU核。

Wall Time：本次计算任务预计将运行多长时间。根据系统的调度策略，WallTime较短的任务将有机会优先运行；不过须注意，一旦WallTime时间到了而程序尚未运行结束，本次任务将被强行终止。因此请合理预估WallTime的长短。此外，如果部署了ClusQuota集群资源配额计费系统，本次任务申请的机时资源不允许超过您目前可用的机时配额。

Queue：本次计算任务将使用的工作队列。

MPI Type：选择MPI并行环境，如Open MPI或Intel MPI。

Remote Shell：多节点并行任务，MPI初始化并行环境时，节点之间的访问模式。建议采用默认的SSH模式。

Communication：节点连接方式，InfiniBand和TCP两种方式。建议采用默认的InfiniBand方式。

Other Paramasters：多节点并行任务，节点之间数据交换采用何种网络。如果勾选“Share Memory”选项，表示同一节点内的MPI进程采用共享内存方式进行数据交换；如果勾选“CPU Binding”选项，表示将MPI进程与固定的CPU核心绑定，防止进程漂移。开启这两个选项通常可以提高MPI程序的运行速度。

MPI Envfile：文件环境变量配置文件。用户可浏览集群，选择配置文件。

MPI Program：选择本次计算任务的可执行程序。本Portal安装后提供基本的MPI版本CPI可进行测试，用户也可浏览选择集群中的其他MPI程序。

Arguments：如果MPI应用程序运行时需要提供自定义的参数，请在此输入。

Working DIR：本次计算任务的工作目录。

Output File：计算过程中的标准输出和标准错误输出信息，将被重定向保存为文件。

MPI Options：如果需要手动添加MPI并行时的高级参数，可在此处设置，这些参数将被传递成为mpirun命令行参数的一部分。该选项默认无需设置。

PBS Options：如果需要手动添加PBS作业的高级参数，可在此处设置。这类参数的行首必须包含“#PBS”关键字，将被加到PBS脚本文件的开始处。该选项默认无需设置。

Pre Commands：如果运行mpirun命令之前需要做前处理操作，可在此处设置相关命令参数，命令行格式必须遵循bash脚本规范。该选项默认无需设置。

Post Commands：如果在mpirun命令运行结束之后需要做后处理操作，可在此处设置相关命令参数，命令行格式必须遵循bash脚本规范。该选项默认无需设置。进入作业管理à作业列表，查看或更改作业运行状态，查看计算结果。

点击“作业管理”->“作业列表”进入作业列表页面；页面提供了常用的状态视图、历史作业等跳转功能，作业查询和作业控制功能，如下图所示：

2.5.3.1查询作业

查询条件为“作业名”、“作业状态”、“作业所有者”，用户输入单个或者多个相应的查询条件后，单击查询按钮即可完成对作业的单一或组合查询，如下图所示：

按作业名查询为精确匹配查询。

作业状态有“传输”，“等待”，“排队”，“保留”，“运行”，“挂起”，“退出”，“完成”。按状态查询为精确匹配查询，其中“不限状态”是一个特殊的选项，表示不对作业状态做限制。

作业所有者

按作业所有者查询为模糊匹配查询。如果不设置任何查询条件，直接单击“确定”按钮，则查询出所有的作业。如果输入多个查询条件，则会查询同时满足这些条件的作业。查询到的作业以表格形式展现在页面主区域部分，默认只显示作业的部分属性，例如，将鼠标挪动

到“作业编号”一列，再单击该列上出现的下拉三角形即可对本例进行排序操作。

由于系统刷新间隔的影响，在页面上看到的属性“运行时间”的值和真实值最多有45s的误差。

2.5.3.2作业控制

作业控制包括保留、释放、挂起、恢复、重新运行和删除六种操作。先在作业列表页面中选择要控制的一个或多个作业，然后单击工具栏中的作业控制按钮，如下图所示，单击相应的控制作，即可完成对作业指定的操作。

目前支持的控制操作包括：

只能对排队状态的作业执行保留操作，操作成功后作业会进入保留状态。保留状态的作业不会被调度执行。

只能对保留状态的作业执行释放操作，释放成功后作业会进入排队状态。排队状态的作业在资源满足后会被调度执行。

只能对运行状态的作业执行挂起操作，操作成功后作业会进入挂起状态。挂起状态的作业会暂停执行，只能通过恢复操作来唤醒运行。

只能对挂起状态的作业执行恢复操作，操作成功后作业会进入运行状态。

重新运行作业

只能对运行状态的作业执行重新运行操作，操作成功后作业会重新运行。

VNC查看

如果作业是VNC作业会出现打开VNC的图标按钮，如下图所示，点击即可打开VNC的图形界面。

在作业管理页面的表格中选择要删除的一个或多个作业，单击工具栏中的“删除作业”按钮即可实现删除操作。

1.如果在某些大型作业的运行过程中发现无法删除作业,请以root身份登录到管理节点,进入/opt/gridview/pbs目录，应用命令./pbs_killjob.sh JOBID命令删除作业编号为JOBID的作业。由于该功能是强制删除作业且不能恢复，所以建议慎用该命令。

2．被唤醒的作业不计入作业总数中。

附录一——Linux常用命令