[mephi-hpc] hpc Digest, Vol 85, Issue 5
Углов Владимир Васильевич
VVUglov at mephi.ru
Wed Jul 28 18:59:47 MSK 2021
В дополнение.
Возможно, будет полезна следующая информация.
После многочисленных сборок pw удалось установить, что более быстрая версия получается, если:
1. при configure для СС компилятора задать pgcc, т.е.
./configure CC=pgcc FC=pgf90 F77=pgf90 F90=pgf90 MPIF90=mpif90 --with-cuda=/opt/nvidia/hpc_sdk/ --with-cuda-runtime=11.3 --with-cuda-cc=80 --with-scalapack=no
2. после подкорректировать вручную make.inc файл
- где DFLAGS после -D__MPI добавить -D__GPU_MPI (https://gitlab.com/QEF/q-e-gpu/-/wikis/home)
- где FFLAGS повысить уровень оптимизации до О2 вместо О1. Более агрессивная оптимизация О3 производительности не повысит.
Также можно ускорить расчеты (в частности, в ~1.3 раза), если использовать "real-space algorithm for augmentation charges", т.е. в блоке &ELECTRONS прописать tqr = .true. (https://www.quantum-espresso.org/Doc/INPUT_PW.html#idm853)
Однако, есть замечание:
"Faster but numerically less accurate than the default G-space algorithm. Use with care and after testing!"
С уважением, Игорь Сафронов, Владимир В Углов
________________________________________
От: hpc <hpc-bounces at lists.mephi.ru> от имени hpc-request at lists.mephi.ru <hpc-request at lists.mephi.ru>
Отправлено: 28 июля 2021 г. 17:17
Кому: hpc at lists.mephi.ru
Тема: hpc Digest, Vol 85, Issue 5
Send hpc mailing list submissions to
hpc at lists.mephi.ru
To subscribe or unsubscribe via the World Wide Web, visit
https://lists.mephi.ru/listinfo/hpc
or, via email, send a message with subject or body 'help' to
hpc-request at lists.mephi.ru
You can reach the person managing the list at
hpc-owner at lists.mephi.ru
When replying, please edit your Subject line so it is more specific
than "Re: Contents of hpc digest..."
Today's Topics:
1. сборка QE-gpu на кластере basis
(konstantin grishakov)
2. Re: сборка QE-gpu на кластере basis (anikeev)
3. Re: сборка QE-gpu на кластере basis (anikeev)
----------------------------------------------------------------------
Message: 1
Date: Wed, 28 Jul 2021 14:57:02 +0300
From: konstantin grishakov <gks88 at mail.ru>
To: hpc at lists.mephi.ru
Subject: [mephi-hpc] сборка QE-gpu на кластере basis
Message-ID: <1627473422.700253976 at f486.i.mail.ru>
Content-Type: text/plain; charset="utf-8"
Здравствуйте!
Не получается скомпилировать QE-6.8 (версию 6.7 тоже не получается) на кластере basis с использованием GPU. Все делаю по следующей схеме, предложенной в одном из предыдущих сообщений:
P.S. GPU-enabled Quantum Espresso 6.7 успешно конфигурируется при
помощи:
source /opt/intel/parallel_studio_xe_2020/psxevars.sh
source /opt/nvidia/hpc_sdk/nvvars.sh
source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
./configure --with-cuda=/opt/nvidia/hpc_sdk/ --with-cuda-runtime=11.3 --with-cuda-cc=80 --enable-openmp --with-scalapack=no
make
На этапе ./configure выдается ошибка:
configure: error: You do not have the cudafor module. Are you using a PGI compiler?
Не могли бы вы подсказать: в чем проблема и что нужно делать?
--
konstantin grishakov
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.mephi.ru/pipermail/hpc/attachments/20210728/e8f2c74e/attachment-0001.html>
------------------------------
Message: 2
Date: Wed, 28 Jul 2021 16:40:53 +0300
From: anikeev <anikeev at ut.mephi.ru>
To: konstantin grishakov <gks88 at mail.ru>, NRNU MEPhI HPC discussion
list <hpc at lists.mephi.ru>
Subject: Re: [mephi-hpc] сборка QE-gpu на кластере
basis
Message-ID:
<60f6af604592888508e7f4607b482f8d7334a3bd.camel at ut.mephi.ru>
Content-Type: text/plain; charset="UTF-8"
On Wed, 2021-07-28 at 14:57 +0300, konstantin grishakov wrote:
> Здравствуйте!
Здравствуйте!
> Не получается скомпилировать QE-6.8 (версию 6.7 тоже не
> получается) на кластере basis с использованием GPU. Все делаю по
> следующей схеме, предложенной в одном из предыдущих сообщений:
> P.S. GPU-enabled Quantum Espresso 6.7 успешно конфигурируется при
> помощи:
> source /opt/intel/parallel_studio_xe_2020/psxevars.sh
> source /opt/nvidia/hpc_sdk/nvvars.sh
> source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
> ./configure --with-cuda=/opt/nvidia/hpc_sdk/ --with-cuda-
> runtime=11.3 --with-cuda-cc=80 --enable-openmp --with-scalapack=no
> make
>
> На этапе ./configure выдается ошибка:
> configure: error: You do not have the cudafor module. Are you
> using a PGI compiler?
>
> Не могли бы вы подсказать: в чем проблема и что нужно делать?
Не делайте source /opt/intel/parallel_studio_xe_2020/psxevars.sh при
сборке, но делайте при запуске (и обязательно до source
/opt/nvidia/hpc_sdk/nvvars.sh и source
/opt/nvidia/hpc_sdk/nv_mpi_vars.sh). Конфигуратор QE немного со
странностями.
OpenMP лучше выключить, без него на бенчмарках быстрее. Во всяком
случае, попробуйте без него.
> --
> konstantin grishakov
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
--
С уважением,
инженер отдела Unix-технологий МИФИ,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
------------------------------
Message: 3
Date: Wed, 28 Jul 2021 17:17:54 +0300
From: anikeev <anikeev at ut.mephi.ru>
To: NRNU MEPhI HPC discussion list <hpc at lists.mephi.ru>, konstantin
grishakov <gks88 at mail.ru>
Subject: Re: [mephi-hpc] сборка QE-gpu на кластере
basis
Message-ID:
<a060f614a8109ab38e5c5abee68679526aea6d19.camel at ut.mephi.ru>
Content-Type: text/plain; charset="utf-8"
On Wed, 2021-07-28 at 16:40 +0300, anikeev wrote:
> On Wed, 2021-07-28 at 14:57 +0300, konstantin grishakov wrote:
> > Здравствуйте!
>
> Здравствуйте!
>
> > Не получается скомпилировать QE-6.8 (версию 6.7 тоже не
> > получается) на кластере basis с использованием GPU. Все делаю по
> > следующей схеме, предложенной в одном из предыдущих сообщений:
> > P.S. GPU-enabled Quantum Espresso 6.7 успешно конфигурируется
> > при
> > помощи:
> > source /opt/intel/parallel_studio_xe_2020/psxevars.sh
> > source /opt/nvidia/hpc_sdk/nvvars.sh
> > source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
> > ./configure --with-cuda=/opt/nvidia/hpc_sdk/ --with-cuda-
> > runtime=11.3 --with-cuda-cc=80 --enable-openmp --with-scalapack=no
> > make
> >
> > На этапе ./configure выдается ошибка:
> > configure: error: You do not have the cudafor module. Are you
> > using a PGI compiler?
> >
> > Не могли бы вы подсказать: в чем проблема и что нужно делать?
>
> Не делайте source /opt/intel/parallel_studio_xe_2020/psxevars.sh при
> сборке, но делайте при запуске (и обязательно до source
> /opt/nvidia/hpc_sdk/nvvars.sh и source
> /opt/nvidia/hpc_sdk/nv_mpi_vars.sh). Конфигуратор QE немного со
> странностями.
>
> OpenMP лучше выключить, без него на бенчмарках быстрее. Во всяком
> случае, попробуйте без него.
>
> > --
> > konstantin grishakov
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
>
P.S.
Пример рабочего скрипта за пуска QE:
#SBATCH --nodes=1
#SBATCH --gres=gpu:1
#SBATCH --ntasks=1
source /opt/intel/parallel_studio_xe_2020/psxevars.sh
source /opt/nvidia/hpc_sdk/nvvars.sh
source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
mpirun --mca btl self,smcuda /mnt/pool/5/anikeev/basis/q-e-gpu-qe-gpu-
6.7/bin/pw.x < pw.in > output
Общие замечания:
- Лучше использовать минимум ускорителей в отдельно взятой задаче. Если
хватает памяти одного ускорителя - лучше использовать один ускоритель
на задачу;
- Лучше использовать один MPI поток на ускоритель, особенно, если
используются 2 и более ускорителей;
- При использовании --mca btl self,smcuda и перенастроенном
nvidia_persistenced разницы между видеокартами нет.
Результаты бенчмарков в приложении.
--
С уважением,
инженер отдела Unix-технологий МИФИ,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
-------------- next part --------------
A non-text attachment was scrubbed...
Name: qe_A100_bench.pdf
Type: application/pdf
Size: 14237 bytes
Desc: not available
URL: <http://lists.mephi.ru/pipermail/hpc/attachments/20210728/c8c44122/attachment.pdf>
------------------------------
Subject: Digest Footer
_______________________________________________
hpc mailing list
hpc at lists.mephi.ru
https://lists.mephi.ru/listinfo/hpc
------------------------------
End of hpc Digest, Vol 85, Issue 5
**********************************
More information about the hpc
mailing list