Page Comparison

...

QUT eResearch data storage and computing infrastructure leverage both on-prem and hybrid cloud resources. QUT host hosts a local High-Performance Computing (HPC) facility comprised of 254 compute nodes, with a total of 7,256 conventional CPU cores (14,512 virtual cores with hyperthreading) and 74 GPUs. The highest memory allocation is 6 TB. Additionally, the HPC file storage for data analytics has a an 1800TB disk capacity. 

Getting an HPC account

Apply for a new HPC account here.

Introduction

All jobs on the HPC must be scheduled via the PBS Pro batch job submission system. Jobs are submitted to PBS Pro scheduler specifying required resources, for example, number of CPUs the number of CPUs, amount of memory, and estimated time to complete the job (walltime). PBS  will then schedule will then schedule the job to run on the cluster when requested resources are/become available.  Existing HPC usage principles are in place to ensure fair access by all users.

...

Find below information on basic PBS commands:

...

A Job Script Example

An example PBS Pro submission script is provided below: 

#!/bin/bash -l
#PBS -N Example_Job #PBS -q defaultJob 
#PBS -l select=2:ncpus=16 16:mem=4gb 
#PBS -l walltime=<hh:mm:ss> 
#PBS -o <output-file>
#PBS -e <error-file>

cd $PBS_O_WORKDIR

module load java
conda activate ConsGenome

matlab –nodisplay –nosplash –r example_job.m

Where the line "-l select=2:ncpus=16 " is the number of processors required for the job. select specifies the number of nodes (or chunks of resource) required; ncpus indicates the number ofCPUs per chunk requiredindicates the number of CPUs per chunk/node required.

Find below a table illustrating how the above command works: 

 The line The line "-l walltime=<hh:mm:ss>" is the time limit for the job is the time limit you set for the job. If your job exceeds this time the scheduler will terminate the job. It is recommended to find a usual runtime for a job of the job and add some moresame size and add some more (say 20%) to it. For example, if a job took approximately 10 hours, the walltime limit could be set to 12hours 

For example, if a job normally takes approximately 10 hours, the wall time limit for a similar job could be set to 12 hours, e.g. "-l walltime=12:00:00". By setting the walltime the scheduler can perform job schedulingmore efficiently and also reduces occasions where errors can leave the job stalled but still taking upresource for the default much longer walltime limit (for queue walltime defaults run  

By setting a wall time, the scheduler can perform job scheduling more efficiently and also reduces occasions where errors can leave the job stalled but still taking up resources for the default (much longer) wall time limit.

To find out what the default queue wall times are run the "qstat -q" command).

 Job management

 The qstat command displays the status of the PBS scheduler and queues. Using the flags -Qa shows thequeue partitions availableshows the queue partitions available. If no queue is defined, it will use the queue called default. The following table shows the commonly using queues

If no queue is defined, the PBS scheduler will assign the job to a queue based on the resources requested. The following table shows the commonly used queues:

...

The table below describes the different job states through the life cycle of a job. There are some attributesthat are only applicable when submitting jobs to an Enterprise PBS Professional complex.

...

 Queue Scheduling Issues

 The scheduling algorithm used on the HPC aims to:

• promote large scale parallel use of the large-scale parallel use of the HPC

• allow equal access to resources for all users

• provide good turnaround for all users

• minimize the impact of jobs on one another

...

•  resources are strictly allocated so jobs will not start unless there is sufficient free resources (e.g. cpus and memory).

• queued jobs are shuffled so that jobs from different users are "interleaved". This means your first jobshould appear near the top of the queue even if there are many jobs in the queue This means your first job should appear near the top of the queue even if there are many jobs in the queue.

From a user's perspective, it is very important that you minimize your requests for resources (e.g. walltime, memory and cpus). Otherwise your job may be queued or suspended longer than  Otherwise, your job may be queued or suspended longer than necessary. Of course, make sure you ask for sufficient resources - a little experimentation might help.

...

PBS sets multiple environment variables at submission time. The following PBS variables are commonly usedin command filesfollowing PBS variables are commonly used in command files:

Interactive PBS Jobs

Use of PBS is not limited to batch jobs onlyThe use of PBS is not limited to batch jobs only. It also allows users to use the compute nodes interactively, when needed. For example, users can work with the developer environments provided by Matlab or R oncompute nodes 

For example, users can work with the developer environments provided by Matlab or R on compute nodes, and run their jobs (until the walltime expiresuntil the wall-time expires). Instead of preparing a submission script 

Instead of preparing a submission script, users pass the job requirements directly to the qsub command. For instance, the following PBS script:

...

corresponds to the following interactive job command:

qsub -I -X -q defaultS /bin/bash -l select=1:ncpus=2,:mem=4gb, -l walltime=505:00:00