[mephi-hpc] Quantum ESPRESSO GPU with CUDA (qe-gpu cuda)

[Углов Владимир Васильевич]

Здравствуйте!


В рассылке как-то поднималась тема насчет PGI компиляторов и был дан совет установить для своего пользователя NVIDIA HPC SDK.


Однако, возникли вопросы насчет сборки Quantum ESPRESSO c CUDA.

Например, для HPC-SDK + OpenMPI (MPI implementation that wraps PGI Fortran) + CUDA:


./configure CC=pgcc FC=pgf90 F90=pgf90 MPIF90=mpipgifort --enable-openmp --with-cuda=/PATH/ --with-cuda-runtime=Y.y --with-cuda-cc=70


В руководстве пользователя указано, что на кластере установлено NVIDIA CUDA Toolkit 9.2.148.

На сайте NVIDIA самая ранняя версия HPC SDK 20.7 (August 2020) https://developer.nvidia.com/nvidia-hpc-sdk-releases, которая поддерживает CUDA 10.1 и Minimum CUDA Driver 418.39 https://docs.nvidia.com/hpc-sdk/archive/20.7/hpc-sdk-release-notes/index.html.

Т.е., получается, что перед установкой https://docs.nvidia.com/hpc-sdk/archive/21.3/hpc-sdk-install-guide/index.html,например, последней версии HPC SDK 21.3 <https://developer.nvidia.com/nvidia-hpc-sdk-213-downloads> (April 2021) необходимо удалить предыдущую версию CUDA Toolkit c драйвером и затем установить соответствующие новые CUDA Toolkit 11.3 <https://developer.nvidia.com/cuda-downloads> (April 2021), но для этого нужны права sudo

https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html.


1. Учитывая, что обновление планируется с выходом нового релиза Debian в июне-июле, то пока нет возможности задействовать CUDA ядра при сборке Quantum ESPRESSO GPU?


2. Второй вопрос связан с запросом ресурсов на GPU узле. Чтобы задействовать больше CUDA ядер, то в bash скрипте мы занижаем --ntasks, например, до 2, а --cpus-per-task до 1 с тем, чтобы поставить 24 задачи (т.е. полностью загрузить GPU узел задействовав 48 графических ускорителя, учитывая, что --gres=gpu:2)?


В рекомендациях по выбору числа потоков CPU на каждый GPU для QE приводится (наверно,

--cpus-per-task нужно указывать какое-то другое)

[cid:7ba00c6b-831e-4293-ae3b-346c879471c9]



Спасибо!




С уважением, Игорь Сафронов, Владимир Углов
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.mephi.ru/pipermail/hpc/attachments/20210504/5d5c7069/attachment-0001.html>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: pastedImage.png
Type: image/png
Size: 66203 bytes
Desc: pastedImage.png
URL: <http://lists.mephi.ru/pipermail/hpc/attachments/20210504/5d5c7069/attachment-0001.png>