[mephi-hpc] Директория /tmp на NVMe

[anikeev]

Уважаемые пользователи!

На узле t2n1 модуля Basis в директории /tmp доступна локальная
высокопроизводительная файловая система для временных данных,
работающая на основе RAID-0 массива NVMe SSD накопителей:

- объем массива 12 TiB;
- пиковая скорость последовательного чтения/записи 12.4/8.0 GB/s;
- пиковая скорость случайного чтения/записи 2000/500 kIOPS.

Данная файловая система предназначена исключительно для интенсивной
обработки временных данных непосредственно в момент запуска задачи. 

Внимание! Файлы старше 2-х месяцев автоматически удаляются с
данной файловой системы.

Использовать директорию /tmp рекомендуется с помощью раздельного
запуска задачи. Такой подход позволяет не дожидаться освобождения
основных вычислительных ресурсов (например, графических ускорителей) в
момент копирования исходных данных с постоянного хранилища во временную
директорию, сократить время расчета за счет высокой скорости работы
временной директории и освободить основные ресурсы для следующей задачи
в момент копирования результатов из временной директории в постоянную.

Пример скрипта препроцессинга pre.sh:

#!/bin/bash
#
#SBATCH --partition=gpu
#SBATCH --nodelist=t2n1
#SBATCH --ntasks=1
#SBATCH --time=1:00:00

mkdir /tmp/2022-08-24-100500
chmod 700 /tmp/2022-08-24-100500
cp -r /mnt/pool/6/username/100500/* /tmp/2022-08-24-100500

Пример скртипа запуска расчета comp.sh:

#!/bin/bash
#
#SBATCH --partition=gpu
#SBATCH --nodelist=t2n1
#SBATCH --gres=gpu:1
#SBATCH --ntasks=1
#SBATCH --time=1:00:00

cd /tmp/2022-08-24-100500
/mnt/pool/6/username/run/my_gpu_app

Пример скрипта постпроцессинга post.sh:

#!/bin/bash
#
#SBATCH --partition=gpu
#SBATCH --nodelist=t2n1
#SBATCH --ntasks=1
#SBATCH --time=1:00:00

mv /tmp/2022-08-24-100500 /mnt/pool/6/username/

Пример запуска составной задачи:

$ sbatch pre.sh
Submitted batch job 4376
$ sbatch --dependency=afterok:4376 calc.sh
Submitted batch job 4377
$ sbatch --dependency=afterany:4377 post.sh
Submitted batch job 4378

-- 
С уважением,
ведущий инженер отдела Unix-технологий МИФИ,
к.ф.-м.н., Аникеев Артём.
Тел.: +7 (495) 788-56-99, доб. 8998
e-mail: aaanikeyev at mephi.ru, anikeev at ut.mephi.ru

Best regards,
MEPhI UNIX-technology department lead engineer,
Artem Anikeev, Ph.D.
Phone: +7 (495) 788-56-99, ext. 8998
e-mail: aaanikeyev at mephi.ru, anikeev at ut.mephi.ru