<div dir="auto"><div><div>Добрый день! </div><div dir="auto"><br></div><div dir="auto">Большое вам спасибо! Разобрался! </div><div><br></div><div data-smartmail="gmail_signature">С уважением, Кулямин П.А.<br><br>Аспирант 3 курса НИЯУ МИФИ<br><br>Группа А21-433<br><br>Кафедра № 67 "Физика конденсированных сред"<br><br>Научный руководитель: Маслов М.М.<br><br>Тел:8-905-582-00-63<br><br>    </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">пн, 15 июл. 2024 г., 15:31  <<a href="mailto:anikeev@ut.mephi.ru">anikeev@ut.mephi.ru</a>>:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Павел Кулямин писал 2024-07-10 15:37:<br>
<br>
Здравствуйте!<br>
<br>
1)<br>
<br>
>> [tensor:19431] *** An error occurred in MPI_Win_allocate_shared<br>
<br>
Похоже, у DFTB+ частично сломана система сборки cmake - она всегда <br>
линкует приложение с библиотекой MPICH, даже если требуется OpenMPI. <br>
Простой способ исправить - работать с MPICH. Правильный способ - завести <br>
тикет в багтрекере разработчика DFTB+.<br>
<br>
Сборка с MPICH:<br>
<br>
rm -rf build<br>
mkdir build<br>
cd build/<br>
FC=mpifort.mpich CC=mpicc.mpich cmake -DWITH_OMP=N -DWITH_MPI=Y <br>
-DSCALAPACK_LIBRARY=scalapack-mpich <br>
-DCMAKE_INSTALL_PREFIX=/mnt/pool/4/anikeev/dftbplus ../<br>
make<br>
make install<br>
<br>
Ваш тест запускается:<br>
<br>
anikeev@cherenkov.cherenkov /mnt/pool/4/anikeev/testDFTB $ <br>
../dftbplus/bin/dftb+ | tail<br>
<br>
--------------------------------------------------------------------------------<br>
DFTB+ running times                          cpu [s]             wall <br>
clock [s]<br>
--------------------------------------------------------------------------------<br>
SCC                                    +       0.07 ( 75.6%)       0.05 <br>
( 71.2%)<br>
Post-SCC processing                    +       0.02 ( 21.2%)       0.02 <br>
( 24.7%)<br>
--------------------------------------------------------------------------------<br>
Missing                                +       0.00 (  3.2%)       0.00 <br>
(  4.1%)<br>
Total                                  =       0.09 (100.0%)       0.07 <br>
(100.0%)<br>
--------------------------------------------------------------------------------<br>
<br>
anikeev@cherenkov.cherenkov /mnt/pool/4/anikeev/testDFTB $ mpirun.mpich <br>
../dftbplus/bin/dftb+ | tail<br>
<br>
--------------------------------------------------------------------------------<br>
DFTB+ running times                          cpu [s]             wall <br>
clock [s]<br>
--------------------------------------------------------------------------------<br>
SCC                                    +       0.19 ( 86.8%)       0.17 <br>
( 86.7%)<br>
Post-SCC processing                    +       0.03 ( 11.6%)       0.02 <br>
( 11.3%)<br>
--------------------------------------------------------------------------------<br>
Missing                                +       0.00 (  1.6%)       0.00 <br>
(  2.1%)<br>
Total                                  =       0.22 (100.0%)       0.19 <br>
(100.0%)<br>
--------------------------------------------------------------------------------<br>
<br>
N.B. Не стоит прикладывать файлы к письму при обращении в поддержку по <br>
кластерам, достаточно просто отсваить их на кластерной файловой системе <br>
и указать в пиьсме путь.<br>
<br>
2)<br>
<br>
>> WARNING!<br>
>> -> Insufficient atoms for this number of MPI processors<br>
>> ERROR!<br>
>> -> Processor grid (1 x 2) too big (> 1 x 1)<br>
<br>
Параллельная версия DFTB+ не автоматическая, настройки параллельного <br>
выполнения нужно делать во входном файле [1].<br>
<br>
Кроме того, Ваша задача мала. Сокрее всего, у неё будет плохая кривая <br>
масштабирования. Не забудьте замерить кривую мастабирования перед <br>
прикладными параллельными рассчетами, как указано в руководстве <br>
пользователя [2]. Напоминаю, что эффективность параллельного выполнения <br>
должны быть не ниже 50% от эффективности последовательной версии.<br>
<br>
[1] <br>
<a href="https://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/2022/003873.html" rel="noreferrer noreferrer" target="_blank">https://mailman.zfn.uni-bremen.de/pipermail/dftb-plus-user/2022/003873.html</a><br>
[2] <a href="https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf" rel="noreferrer noreferrer" target="_blank">https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf</a><br>
<br>
P.S. Прошу прощения за задержку с ответом, был в отпуске.<br>
<br>
<br>
> + NRNU MEPhI HPC discussion list <<a href="mailto:hpc@lists.mephi.ru" target="_blank" rel="noreferrer">hpc@lists.mephi.ru</a>><br>
> <br>
> С уважением, Кулямин П.А.<br>
> <br>
> Аспирант 3 курса НИЯУ МИФИ<br>
> <br>
> Кафедра № 67 "Физика конденсированных<br>
> сред"<br>
> <br>
> Научный руководитель: Маслов М.М.<br>
> <br>
> Тел:8-905-582-00-63<br>
> <br>
> сб, 6 июл. 2024 г. в 02:56, Павел Кулямин<br>
> <<a href="mailto:dryes20115@gmail.com" target="_blank" rel="noreferrer">dryes20115@gmail.com</a>>:<br>
> <br>
>> Добрый день!<br>
>> <br>
>> Я установил dftb+ согласно вашим<br>
>> рекомендациям, а именно:<br>
>> <br>
>> wget<br>
>> <a href="https://github.com/dftbplus/dftbplus/archive/refs/tags/24.1.tar.gz" rel="noreferrer noreferrer" target="_blank">https://github.com/dftbplus/dftbplus/archive/refs/tags/24.1.tar.gz</a><br>
>> <br>
>> tar -xzf 24.1.tar.gz<br>
>> cd dftbplus-24.1<br>
>> mkdir build<br>
>> cd build<br>
>> FC=gfortran CC=gcc cmake -DWITH_OMP=N -DWITH_MPI=Y<br>
>> -DSCALAPACK_LIBRARY=scalapack-openmpi<br>
>> -DCMAKE_INSTALL_PREFIX=/mnt/pool/6/pakuliamin/dftbplus-24.1_mpirun<br>
>> -B_build ../<br>
>> cmake --build _build -- -j<br>
>> <br>
>> cmake --install _build<br>
>> cd /mnt/pool/6/pakuliamin/dftbplus-24.1_mpirun/bin<br>
>> <br>
>> Далее в эту папку я положил файл<br>
>> dftb_in.hsd (во вложении) и папку slakos с<br>
>> псевдопотенциалами,  также во<br>
>> вложении.<br>
>> <br>
>> Далее запустил тестовый расчет<br>
>> командой:<br>
>> ./dftb+<br>
>> <br>
>> Получил следующую ошибку (полный<br>
>> вывод во вложении):<br>
>> <br>
> --------------------------------------------------------------------------------<br>
>> <br>
>> ***  Geometry step: 0<br>
>> <br>
>> [tensor:19431] *** An error occurred in MPI_Win_allocate_shared<br>
>> [tensor:19431] *** reported by process [26673153,0]<br>
>> [tensor:19431] *** on communicator MPI COMMUNICATOR 3 SPLIT_TYPE<br>
>> FROM 0<br>
>> [tensor:19431] *** MPI_ERR_INTERN: internal error<br>
>> [tensor:19431] *** MPI_ERRORS_ARE_FATAL (processes in this<br>
>> communicator will now abort,<br>
>> [tensor:19431] ***    and potentially your MPI job)<br>
>> <br>
>> В случае запуска с использованием<br>
>> openmpi:<br>
>> <br>
>> mpirun -np 1 dftb+<br>
>> <br>
>> Результат аналогичный.<br>
>> <br>
>> mpirun -np 2 dftb+<br>
>> <br>
>> Полный результат во вложении:<br>
>> <br>
>> WARNING!<br>
>> -> Insufficient atoms for this number of MPI processors<br>
>> ERROR!<br>
>> -> Processor grid (1 x 2) too big (> 1 x 1)<br>
>> <br>
> --------------------------------------------------------------------------<br>
>> MPI_ABORT was invoked on rank 1 in communicator MPI_COMM_WORLD<br>
>> with errorcode 1.<br>
>> <br>
>> NOTE: invoking MPI_ABORT causes Open MPI to kill all MPI processes.<br>
>> You may or may not see output from other processes, depending on<br>
>> exactly when Open MPI kills them.<br>
>> <br>
> --------------------------------------------------------------------------<br>
>> [tensor:19791] 1 more process has sent help message help-mpi-api.txt<br>
>> / mpi-abort<br>
>> [tensor:19791] Set MCA parameter "orte_base_help_aggregate" to 0 to<br>
>> see all help / error messages<br>
>> <br>
>> Подскажите пожалуйста, в чем я мог<br>
>> ошибиться?<br>
>> <br>
>> Если я правильно понимаю, то проблема<br>
>> в том что процесс обращается не в то<br>
>> место в памяти.<br>
>> <br>
>> Приложенный скрипт удавалось<br>
>> запустить при запуске на локальной<br>
>> машине.<br>
>> <br>
>> С уважением, Кулямин П.А.<br>
>> <br>
>> Аспирант 3 курса НИЯУ МИФИ<br>
>> <br>
>> Кафедра № 67 "Физика конденсированных<br>
>> сред"<br>
>> <br>
>> Научный руководитель: Маслов М.М.<br>
>> <br>
>> Тел:8-905-582-00-63<br>
>> <br>
>> пн, 27 мая 2024 г. в 15:59, <<a href="mailto:anikeev@ut.mephi.ru" target="_blank" rel="noreferrer">anikeev@ut.mephi.ru</a>>:<br>
>> <br>
>>> Павел Кулямин писал 2024-05-25 00:07:<br>
>>>> Добрый день!<br>
>>> <br>
>>> Здравствуйте!<br>
>>> <br>
>>>> При попытке установить ПО dftb+ на<br>
>>>> кластере tensor возникает следующая<br>
>>>> ошибка:<br>
>>>> <br>
>>>> 1)  git clone <a href="https://github.com/dftbplus/dftbplus.git" rel="noreferrer noreferrer" target="_blank">https://github.com/dftbplus/dftbplus.git</a><br>
>>>> 2) Изменил в файле :<br>
>>>> <br>
>>>> Следующие строчки:<br>
>>>> <br>
>>>> option(WITH_OMP "Whether OpenMP thread parallisation should be<br>
>>>> enabled" FALSE)<br>
>>>> <br>
>>>> option(WITH_MPI "Whether DFTB+ should support MPI-parallelism"<br>
>>> TRUE)<br>
>>>> <br>
>>>> 3) FC=gfortran CC=gcc cmake<br>
>>>> -DCMAKE_INSTALL_PREFIX=/mnt/pool/6/pakuliamin/dft-bplus/dftbplus<br>
>>> -B<br>
>>>> _build .<br>
>>>> <br>
>>>> Получил следующую ошибку:<br>
>>>> <br>
>>>> CMake Error at<br>
>>>> /usr/lib/cmake/scalapack-2.2.1.mpich/scalapack-targets.cmake:93<br>
>>>> (message):<br>
>>>> The imported target "scalapack" references the file<br>
>>>> <br>
>>>> "/usr/lib/libscalapack-mpich.so.2.2.1"<br>
>>>> <br>
>>>> but this file does not exist.  Possible reasons include:<br>
>>>> <br>
>>>> * The file was deleted, renamed, or moved to another location.<br>
>>>> <br>
>>>> * An install or uninstall procedure did not complete<br>
>>> successfully.<br>
>>>> <br>
>>>> * The installation package was faulty and contained<br>
>>>> <br>
>>>> <br>
>>> "/usr/lib/cmake/scalapack-2.2.1.mpich/scalapack-targets.cmake"<br>
>>>> <br>
>>>> but not all the files it references.<br>
>>>> <br>
>>>> Call Stack (most recent call first):<br>
>>>> /usr/lib/cmake/scalapack-2.2.1.mpich/scalapack-config.cmake:2<br>
>>>> (include)<br>
>>>> cmake/Modules/FindCustomScalapack.cmake:88 (find_package)<br>
>>>> CMakeLists.txt:203 (find_package)<br>
>>>> <br>
>>>> Подскажите как решить данную<br>
>>>> проблему? Возможно я в чем то<br>
>>> ошибаюсь?<br>
>>> <br>
>>> 1) Для практических расчетов следует<br>
>>> стараться использовать стабильные<br>
>>> релизы. Последний стабильный релиз -<br>
>>> 24.1<br>
>>> <br>
>>> wget<br>
>>> <a href="https://github.com/dftbplus/dftbplus/archive/refs/tags/24.1.tar.gz" rel="noreferrer noreferrer" target="_blank">https://github.com/dftbplus/dftbplus/archive/refs/tags/24.1.tar.gz</a><br>
>>> <br>
>>> 2) Не стоит сразу править<br>
>>> конфигурационные файлы cmake или autotools<br>
>>> <br>
>>> вручную - сначала стоит попробовать<br>
>>> воспользоваться штатными<br>
>>> инструментами настройки (через<br>
>>> параметры командной строки).<br>
>>> Править<br>
>>> файлы стоит либо по указанию<br>
>>> руководства пользователя<br>
>>> приложения, либо<br>
>>> при попытке исправить заведомо<br>
>>> нерабочую систему сборки.<br>
>>> <br>
>>> 3) Как написано в руководстве<br>
>>> пользователя [1], по-умолчанию в<br>
>>> кластерах<br>
>>> используется реализация OpenMPI<br>
>>> библиотеки MPI. Приложение dftbplus<br>
>>> по-умолчанию пытается использовать<br>
>>> реализацию MPICH библиотеки MPI.<br>
>>> Поменять умолчание dftbplus можно так:<br>
>>> <br>
>>> FC=gfortran CC=gcc cmake -DWITH_OMP=N -DWITH_MPI=Y<br>
>>> -DSCALAPACK_LIBRARY=scalapack-openmpi<br>
>>> -DCMAKE_INSTALL_PREFIX=/mnt/pool/5/anikeev/dftbplus -B _build ../<br>
>>> <br>
>>> Если Вы хотите использовать MPICH,<br>
>>> нужно подменить вызовы mpicc на<br>
>>> mpicc.mpich, mpirun на mpirun.mpich и т.д.<br>
>>> (подробнее в руководстве<br>
>>> пользователя [1]).<br>
>>> <br>
>>> 4) Обратите внимание, что для<br>
>>> приложения заявлена поддержка GPU.<br>
>>> Расчеты<br>
>>> на GPU могут оказаться более<br>
>>> эффективными.<br>
>>> <br>
>>> [1] <a href="https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf" rel="noreferrer noreferrer" target="_blank">https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf</a><br>
>>> <br>
>>>> С уважением, Кулямин П.А.<br>
>>>> <br>
>>>> Аспирант 3 курса НИЯУ МИФИ<br>
>>>> <br>
>>>> Кафедра № 67 "Физика<br>
>>> конденсированных<br>
>>>> сред"<br>
>>>> <br>
>>>> Научный руководитель: Маслов М.М.<br>
>>>> <br>
>>>> Тел:8-905-582-00-63<br>
>>>> _______________________________________________<br>
>>>> hpc mailing list<br>
>>>> <a href="mailto:hpc@lists.mephi.ru" target="_blank" rel="noreferrer">hpc@lists.mephi.ru</a><br>
>>>> <a href="https://lists.mephi.ru/listinfo/hpc" rel="noreferrer noreferrer" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
>>> <br>
>>> --<br>
>>> С уважением,<br>
>>> ведущий инженер отдела<br>
>>> UNIX-технологий НИЯУ МИФИ,<br>
>>> к.ф.-м.н.,<br>
>>> Аникеев Артем.<br>
>>> e-mail: <a href="mailto:anikeev@ut.mephi.ru" target="_blank" rel="noreferrer">anikeev@ut.mephi.ru</a><br>
>>> тел.: 8 (495) 788-56-99, доб. 8998<br>
<br>
--<br>
С уважением,<br>
ведущий инженер отдела UNIX-технологий НИЯУ МИФИ,<br>
к.ф.-м.н.,<br>
Аникеев Артем.<br>
e-mail: <a href="mailto:anikeev@ut.mephi.ru" target="_blank" rel="noreferrer">anikeev@ut.mephi.ru</a><br>
тел.: 8 (495) 788-56-99, доб. 8998<br>
<br>
</blockquote></div></div></div>