[mephi-hpc] Установка QE basis

[anikeev]

On Wed, 2023-05-10 at 19:15 +0300, Павел Кулямин wrote:
> Большое спасибо за разъяснения! Пересобрал согласно вашим
> рекомендациям.
> 
> Хочу еще спросить про компиляцию qe на кластере tensor для работы с
> очередями avx512.
> 
> На кластере tensor я скомпилировал qe следующим образом:
> 
> git clone https://gitlab.com/QEF/q-e.git
> cd q-e/
> git checkout qe-7.2 
> 
> mkdir build
> cd build/
> source /opt/fftw-3.3.9/double/customvars.sh
> source /opt/openblas-0.3.17/customvars.sh 
> 
> cmake -DCMAKE_C_COMPILER=mpicc -DCMAKE_Fortran_COMPILER=mpif90 -
> DCMAKE_INSTALL_PREFIX=/mnt/pool/3/pakuliamin/qe_tensor_cpu/q-e -
> DBLA_VENDOR=OpenBLAS -DQE_FFTW_VENDOR=FFTW3 ../
> 
> make -j 16
> make install
> 
> Такой вариант скомпилированного qe подходит для использования в
> avx512 очередях на кластере tensor?

Да. Вы всегда можете проверить сборку самостоятельно:

anikeev at tensor:~$ source /opt/openblas-0.3.17/customvars.sh 
anikeev at tensor:~$ source /opt/fftw-3.3.9/double/customvars.sh 
anikeev at tensor:~$ ldd /mnt/pool/3/pakuliamin/qe_tensor_cpu/q-e/bin/pw.x
	linux-vdso.so.1 (0x00007ffdcebdc000)
	libfftw3.so.3 => /opt/fftw-3.3.9/double/lib/libfftw3.so.3
(0x00007feab6b99000)
	libopenblas.so.0 => /opt/openblas-0.3.17/lib/libopenblas.so.0
(0x00007feab5e8f000)
...

Не забывайте выплнять source внутри старторвых скриптов для sbatch.
Не забывайте управлять переменной окружения OMP_NUM_THREADS.

P.S. Если версию для GPU придется запускать на несколько карт, не
забывайте опцию mpirun --mca btl self,smcuda. Но лучше постараться
уложиться в одну видеократу - так эффективнее.

> С уважением, Кулямин П.А.
> Аспирант 2 курса НИЯУ МИФИ
> Кафедра № 67 "Физика конденсированных сред"
> Научный руководитель: Маслов М.М.
> Тел:8-905-582-00-63
> 
> 
> ср, 10 мая 2023 г. в 18:00, anikeev <anikeev at ut.mephi.ru>:
> > On Wed, 2023-05-10 at 11:41 +0300, Павел Кулямин wrote:
> > > К сожалению так тоже не сработало:
> > 
> > Здравствуйте!
> > 
> > Для начала, я настоятельно не рекомендую использовать ночные сборки
> > в
> > научных работах. Последний официальный релиз QE это 7.2:
> > 
> > anikeev at basis:/mnt/pool/6/anikeev/qe$ git clone
> > https://gitlab.com/QEF/q-e.git
> > anikeev at basis:/mnt/pool/6/anikeev/qe$ cd q-e/
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e$ git checkout qe-7.2
> > 
> > При работе с cmake рабочую директорию (build) нужно удалять
> > полностью
> > после каждой сборки. Аналога make clean для cmake нет.
> > 
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e$ mkdir build
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e$ cd build/
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e/build$ source
> > /opt/nvidia/hpc_sdk/nvvars.sh
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e/build$ source
> > /opt/nvidia/hpc_sdk/nv_mpi_vars.sh
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e/build$ which mpif90
> > /opt/nvidia/hpc_sdk/Linux_x86_64/21.3/comm_libs/mpi/bin/mpif90
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e/build$ which mpicc
> > /opt/nvidia/hpc_sdk/Linux_x86_64/21.3/comm_libs/mpi/bin/mpicc
> > anikeev at basis:/mnt/pool/6/anikeev/qe$ source /opt/fftw-
> > 3.3.9/double/customvars.sh
> > 
> > FFTW ROOT - это директория, которая содержит субдиректории ./lib и
> > ./include. 
> > 
> > anikeev at basis:/mnt/pool/6/anikeev/qe/q-e/build$ cmake -
> > DCMAKE_C_COMPILER=mpicc -DCMAKE_Fortran_COMPILER=mpif90 -
> > DCMAKE_INSTALL_PREFIX=/mnt/pool/6/anikeev/qe -DQE_ENABLE_CUDA=ON -
> > DQE_ENABLE_MPI_GPU_AWARE=ON -DNVFORTRAN_CUDA_CC=80 -
> > DNVFORTRAN_CUDA_VERSION=11.2 -DQE_FFTW_VENDOR=FFTW3 -
> > DFFTW3_ROOT=/opt/fftw-3.3.9/double/ ../
> > 
> > Если Вы выберете версию FFTW с поддержкой OMP, не забывайте
> > управлять
> > переменной окружения OMP_NUM_THREADS (export OMP_NUM_THREADS=1) при
> > запуске задач.
> > 
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc

-- 
С уважением,
инженер отдела UNIX-технологий НИЯУ МИФИ,
к.ф.-м.н.,
Аникеев Артем,
e-mail: anikeev at ut.mephi.ru
тел. 8 (495) 788-56-99, доб. 8998