[mephi-hpc] 18.05.2023. GEANT4 - как реализовать быстрые вычисления на кластере (G4mpi, ParGeant).

[anikeev]

On Thu, 2023-05-18 at 14:54 +0300, В.В.Дровников (mephi.ru) wrote:

Здравствуйте!

Для параллельных на раздельной памяти приложений (MPI), не
поддерживающих SIMD библиотеки, лучше всего подходит очередь cpu на
кластере cherenkov.

Сборка Geant4 на cherenkov с конфигруацией по-умолчанию:
> cd /mnt/pool/5/anikeev/
> tar -xzvf geant4-v11.1.1.tar.gz 
> mkdir geant4-v11.1.1-build
> cd geant4-v11.1.1-build/
> cmake -DCMAKE_INSTALL_PREFIX=/mnt/pool/5/anikeev/geant4-v11.1.1-
install /mnt/pool/5/anikeev/geant4-v11.1.1
> make
> make install

Сборка интерфейса G4MPI:
> cd /mnt/pool/5/anikeev/geant4-v11.1.1-
install/share/Geant4/examples/extended/parallel/MPI/
> mkdir build
> cd build
> make -DGeant4_DIR=/mnt/pool/5/anikeev/geant4-v11.1.1-
install/lib/cmake/Geant4/ -
DCMAKE_INSTALL_PREFIX=/mnt/pool/5/anikeev/g4mpi-install ../source/
> make
> make install

Сборка приложения-примера:
> cd /mnt/pool/5/anikeev/geant4-v11.1.1-
install/share/Geant4/examples/extended/parallel/MPI/examples/exMPI01/
> mkdir build
> cd build/
> cmake -DGeant4_DIR=/mnt/pool/5/anikeev/geant4-v11.1.1-
install/lib/cmake/Geant4/ -DG4mpi_DIR=/mnt/pool/5/anikeev/g4mpi-
install/lib/G4mpi-11.1.1/ ../
> make

Запуск примера:
> cat start.sh 
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --ntasks-per-node=1
#SBATCH --time=5:00:00
export LD_LIBRARY_PATH=/mnt/pool/5/anikeev/geant4-v11.1.1-
install/lib/:/mnt/pool/5/anikeev/g4mpi-install/lib/:$LD_LIBRARY_PATH
cd /mnt/pool/5/anikeev/geant4-v11.1.1-
install/share/Geant4/examples/extended/parallel/MPI/examples/exMPI01/bu
ild
mpirun exMPI01
> sbatch start.sh
> squeue

Пример заканчивается ошибкой:

G4ENSDFSTATEDATA environment variable must be set

Насколько я понимаю, эта переменная должна указывать на диреткорию с
данными эксперимента. Этот вопрос уже не к системному администратору, а
к руководителю научной группы.

NB. Поддержка G4MPI брошена разработчиком:

https://geant4-forum.web.cern.ch/t/error-while-instal-g4mpi-library/3420

Последняя протестированная версия Geant4 - 9.6.0. Последняя
протестированная версия OpneMPI - 1.8.1, её можно назвать архаичной. На
момент релиза этой версии технологии, использованные на кластерах
tensor и basis, не существовали даже в виде прототипов, она не сможет
работать на современном оборудований сколько-нибудь эффективно.

Не используйте пути из примера! Приведенные в примере приложения не
будут предоставляться в виде сервиса. Храните самостоятельные сборки.

Прочитайте раздел 4.5.2 руководства пользователя, чтобы правильно
выбрать число потоков для запуска приложения:

http://ut.mephi.ru/pdf/projects/hpc/userguide.pdf

> Уважаемые господа,
> в течение ряда лет я применяю GEANT4  для расчетов функций отклика и
> эффективности сцинтилляционных детекторов гамма-излучения в ближней и
> дальней геометриях, при этом расчеты занимают значительное время
> (несколько
> недель) под на ПК Debian Lnux при включенной опции MULTITHREADED и
> задействовании всех ядер/потоков процессора класса i5-Pentium.
> С появлением  высокопроизводительного вычислительного центра HPC МИФИ
> созрело понимание того, что можно перевести свои расчетные задачи на
> кластеры HPC, чтобы сократить продолжительность расчетов не менее чем
> в 10
> раз по сравнению с десктопом.
> Насколько мне известно, есть две штатные технологии ускорения
> вычислений для
> GEANT4 - это MPI (G4mpi) и ParGeant4.
> К сожалению, мне не удалось "с наскока" пересобрать на кластере
> GEANT4
> версии 4.11.1 c поддержкой G4mpi (точнее, хотя и G4mpi компилируется,
> и сам
> GEANT4 пересобирается, но моя прикладная программа с поддержкой G4mpi
> пока
> не может скомпилироваться без ошибки, а без использования G4mpi
> скорость
> расчетов на кластере оказывается не выше, чем на десктопе). Также я
> никогда
> не имел дела с ParGeant4, который, как уверяют, не менее эффективен,
> чем
> MPI.
> Буду признателен, если кто-то из опытных пользователей GEANT4 сможет
> дать
> мне конкретные практические рекомендации по настройке
> (работоспособный
> пример) GEANT4 на кластере HPC МИФИ  для перекомпиляции и выполнения
> имеющейся у меня прикладной программы с использованием преимуществ
> архитектуры HPC.
> С уважением,
> В.Дровников, 
> 
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc

-- 
С уважением,
инженер отдела UNIX-технологий НИЯУ МИФИ,
к.ф.-м.н.,
Аникеев Артем,
e-mail: anikeev at ut.mephi.ru
тел. 8 (495) 788-56-99, доб. 8998