[mephi-hpc] сборка QE-gpu на кластере basis

[anikeev]

On Wed, 2021-07-28 at 16:40 +0300, anikeev wrote:
> On Wed, 2021-07-28 at 14:57 +0300, konstantin grishakov wrote:
> > Здравствуйте!
> 
> Здравствуйте!
> 
> > Не получается скомпилировать QE-6.8 (версию 6.7 тоже не
> > получается) на кластере basis с использованием GPU. Все делаю по
> > следующей схеме, предложенной в одном из предыдущих сообщений:
> >     P.S. GPU-enabled Quantum Espresso 6.7 успешно конфигурируется
> > при
> >     помощи:
> >     source /opt/intel/parallel_studio_xe_2020/psxevars.sh
> >     source /opt/nvidia/hpc_sdk/nvvars.sh
> >     source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
> >     ./configure --with-cuda=/opt/nvidia/hpc_sdk/ --with-cuda-
> > runtime=11.3 --with-cuda-cc=80 --enable-openmp --with-scalapack=no
> >     make
> >  
> > На этапе ./configure выдается ошибка: 
> >     configure: error: You do not have the cudafor module. Are you
> > using a PGI compiler?
> >  
> > Не могли бы вы подсказать: в чем проблема и что нужно делать?
> 
> Не делайте source /opt/intel/parallel_studio_xe_2020/psxevars.sh при
> сборке, но делайте при запуске (и обязательно до source
> /opt/nvidia/hpc_sdk/nvvars.sh и source
> /opt/nvidia/hpc_sdk/nv_mpi_vars.sh). Конфигуратор QE немного со
> странностями.
> 
> OpenMP лучше выключить, без него на бенчмарках быстрее. Во всяком
> случае, попробуйте без него.
> 
> > --
> > konstantin grishakov
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> 
P.S.

Пример рабочего скрипта за пуска QE:

#SBATCH --nodes=1
#SBATCH --gres=gpu:1
#SBATCH --ntasks=1
source /opt/intel/parallel_studio_xe_2020/psxevars.sh
source /opt/nvidia/hpc_sdk/nvvars.sh
source /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
mpirun --mca btl self,smcuda /mnt/pool/5/anikeev/basis/q-e-gpu-qe-gpu-
6.7/bin/pw.x < pw.in > output

Общие замечания:

- Лучше использовать минимум ускорителей в отдельно взятой задаче. Если
хватает памяти одного ускорителя - лучше использовать один ускоритель
на задачу;

- Лучше использовать один MPI поток на ускоритель, особенно, если
используются 2 и более ускорителей;

- При использовании --mca btl self,smcuda и перенастроенном
nvidia_persistenced разницы между видеокартами нет.

Результаты бенчмарков в приложении.

-- 
С уважением,
инженер отдела Unix-технологий МИФИ,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
-------------- next part --------------
A non-text attachment was scrubbed...
Name: qe_A100_bench.pdf
Type: application/pdf
Size: 14237 bytes
Desc: not available
URL: <http://lists.mephi.ru/pipermail/hpc/attachments/20210728/c8c44122/attachment-0001.pdf>