<div dir="ltr"><div>Хорошо! Понял! <br></div><div>Большое спасибо за рекомендации!</div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="auto"><div dir="ltr" style="font-size:12.8px">С уважением, Кулямин П.А.<br></div><div dir="ltr" style="font-size:12.8px"><div dir="auto">Аспирант 2 курса НИЯУ МИФИ<br></div><div>Кафедра № 67 "Физика конденсированных сред"<br></div><div dir="auto">Научный руководитель: Маслов М.М.<br></div><div dir="auto">Тел:8-905-582-00-63</div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">ср, 10 мая 2023 г. в 20:59, anikeev <<a href="mailto:anikeev@ut.mephi.ru">anikeev@ut.mephi.ru</a>>:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, 2023-05-10 at 19:15 +0300, Павел Кулямин wrote:<br>
> Большое спасибо за разъяснения! Пересобрал согласно вашим<br>
> рекомендациям.<br>
> <br>
> Хочу еще спросить про компиляцию qe на кластере tensor для работы с<br>
> очередями avx512.<br>
> <br>
> На кластере tensor я скомпилировал qe следующим образом:<br>
> <br>
> git clone <a href="https://gitlab.com/QEF/q-e.git" rel="noreferrer" target="_blank">https://gitlab.com/QEF/q-e.git</a><br>
> cd q-e/<br>
> git checkout qe-7.2 <br>
> <br>
> mkdir build<br>
> cd build/<br>
> source /opt/fftw-3.3.9/double/customvars.sh<br>
> source /opt/openblas-0.3.17/customvars.sh <br>
> <br>
> cmake -DCMAKE_C_COMPILER=mpicc -DCMAKE_Fortran_COMPILER=mpif90 -<br>
> DCMAKE_INSTALL_PREFIX=/mnt/pool/3/pakuliamin/qe_tensor_cpu/q-e -<br>
> DBLA_VENDOR=OpenBLAS -DQE_FFTW_VENDOR=FFTW3 ../<br>
> <br>
> make -j 16<br>
> make install<br>
> <br>
> Такой вариант скомпилированного qe подходит для использования в<br>
> avx512 очередях на кластере tensor?<br>
<br>
Да. Вы всегда можете проверить сборку самостоятельно:<br>
<br>
anikeev@tensor:~$ source /opt/openblas-0.3.17/customvars.sh <br>
anikeev@tensor:~$ source /opt/fftw-3.3.9/double/customvars.sh <br>
anikeev@tensor:~$ ldd /mnt/pool/3/pakuliamin/qe_tensor_cpu/q-e/bin/pw.x<br>
        linux-vdso.so.1 (0x00007ffdcebdc000)<br>
        libfftw3.so.3 => /opt/fftw-3.3.9/double/lib/libfftw3.so.3<br>
(0x00007feab6b99000)<br>
        libopenblas.so.0 => /opt/openblas-0.3.17/lib/libopenblas.so.0<br>
(0x00007feab5e8f000)<br>
...<br>
<br>
Не забывайте выплнять source внутри старторвых скриптов для sbatch.<br>
Не забывайте управлять переменной окружения OMP_NUM_THREADS.<br>
<br>
P.S. Если версию для GPU придется запускать на несколько карт, не<br>
забывайте опцию mpirun --mca btl self,smcuda. Но лучше постараться<br>
уложиться в одну видеократу - так эффективнее.<br>
<br>
> С уважением, Кулямин П.А.<br>
> Аспирант 2 курса НИЯУ МИФИ<br>
> Кафедра № 67 "Физика конденсированных сред"<br>
> Научный руководитель: Маслов М.М.<br>
> Тел:8-905-582-00-63<br>
> <br>
> <br>
> ср, 10 мая 2023 г. в 18:00, anikeev <<a href="mailto:anikeev@ut.mephi.ru" target="_blank">anikeev@ut.mephi.ru</a>>:<br>
> > On Wed, 2023-05-10 at 11:41 +0300, Павел Кулямин wrote:<br>
> > > К сожалению так тоже не сработало:<br>
> > <br>
> > Здравствуйте!<br>
> > <br>
> > Для начала, я настоятельно не рекомендую использовать ночные сборки<br>
> > в<br>
> > научных работах. Последний официальный релиз QE это 7.2:<br>
> > <br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe$ git clone<br>
> > <a href="https://gitlab.com/QEF/q-e.git" rel="noreferrer" target="_blank">https://gitlab.com/QEF/q-e.git</a><br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe$ cd q-e/<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e$ git checkout qe-7.2<br>
> > <br>
> > При работе с cmake рабочую директорию (build) нужно удалять<br>
> > полностью<br>
> > после каждой сборки. Аналога make clean для cmake нет.<br>
> > <br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e$ mkdir build<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e$ cd build/<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e/build$ source<br>
> > /opt/nvidia/hpc_sdk/nvvars.sh<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e/build$ source<br>
> > /opt/nvidia/hpc_sdk/nv_mpi_vars.sh<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e/build$ which mpif90<br>
> > /opt/nvidia/hpc_sdk/Linux_x86_64/21.3/comm_libs/mpi/bin/mpif90<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e/build$ which mpicc<br>
> > /opt/nvidia/hpc_sdk/Linux_x86_64/21.3/comm_libs/mpi/bin/mpicc<br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe$ source /opt/fftw-<br>
> > 3.3.9/double/customvars.sh<br>
> > <br>
> > FFTW ROOT - это директория, которая содержит субдиректории ./lib и<br>
> > ./include. <br>
> > <br>
> > anikeev@basis:/mnt/pool/6/anikeev/qe/q-e/build$ cmake -<br>
> > DCMAKE_C_COMPILER=mpicc -DCMAKE_Fortran_COMPILER=mpif90 -<br>
> > DCMAKE_INSTALL_PREFIX=/mnt/pool/6/anikeev/qe -DQE_ENABLE_CUDA=ON -<br>
> > DQE_ENABLE_MPI_GPU_AWARE=ON -DNVFORTRAN_CUDA_CC=80 -<br>
> > DNVFORTRAN_CUDA_VERSION=11.2 -DQE_FFTW_VENDOR=FFTW3 -<br>
> > DFFTW3_ROOT=/opt/fftw-3.3.9/double/ ../<br>
> > <br>
> > Если Вы выберете версию FFTW с поддержкой OMP, не забывайте<br>
> > управлять<br>
> > переменной окружения OMP_NUM_THREADS (export OMP_NUM_THREADS=1) при<br>
> > запуске задач.<br>
> > <br>
> > _______________________________________________<br>
> > hpc mailing list<br>
> > <a href="mailto:hpc@lists.mephi.ru" target="_blank">hpc@lists.mephi.ru</a><br>
> > <a href="https://lists.mephi.ru/listinfo/hpc" rel="noreferrer" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
<br>
-- <br>
С уважением,<br>
инженер отдела UNIX-технологий НИЯУ МИФИ,<br>
к.ф.-м.н.,<br>
Аникеев Артем,<br>
e-mail: <a href="mailto:anikeev@ut.mephi.ru" target="_blank">anikeev@ut.mephi.ru</a><br>
тел. 8 (495) 788-56-99, доб. 8998<br>
<br>
_______________________________________________<br>
hpc mailing list<br>
<a href="mailto:hpc@lists.mephi.ru" target="_blank">hpc@lists.mephi.ru</a><br>
<a href="https://lists.mephi.ru/listinfo/hpc" rel="noreferrer" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
</blockquote></div>