[mephi-hpc] Устойчивая работа кластера Basis и разное время работы одинаковых задач

[anikeev]

On Tue, 2022-05-10 at 13:36 +0000, Углов Владимир Васильевич wrote:
> Здравствуйте!

Здравствуйте!

> 1. Почти год назад была проблема на Basis, связанная с разным
> временем работы одинаковых задач:
> 
> > Удалось поймать проблему с разным временем работы одинаковых задач
> > QE
> > на Basis. Время работы зависит от топологии шин внутри узла.
> > 
> > Медленный сегмент:
> > Name=gpu File=/dev/nvidia0 Cores=24-31
> > Name=gpu File=/dev/nvidia1 Cores=16-23
> > Name=gpu File=/dev/nvidia2 Cores=8-15
> > Name=gpu File=/dev/nvidia3 Cores=0-7
> > 
> > Быстрый сегмент:
> > Name=gpu File=/dev/nvidia4 Cores=56-63
> > Name=gpu File=/dev/nvidia5 Cores=48-55
> > Name=gpu File=/dev/nvidia6 Cores=40-47
> > Name=gpu File=/dev/nvidia7 Cores=32-39
> > 
> > Похоже, что в библиотеке OpenMPI из состава Nvidia SDK сломан канал
> > btl self, и она пытается передавать данные между сокетами через
> > сетевой
> > интерфейс, расположенный на PCIe-шине второго процессора. 
> > 
> > Поменять топологию не удалось - недостаточно PCIe шлейфов. Нашел,
> > как
> > обойти проблему программно через настройки nvidia_persistenced и
> > CUDA-
> > aware MPI.
> > 
> > С уважением,
> > инженер отдела Unix-технологий МИФИ,
> > Аникеев Артём.
> 
> Похоже, что после понижения версии NVIDIA HPC SDK 
> https://lists.mephi.ru/pipermail/hpc/2021-August/000878.html описанна
> я проблема снова всплыла.
> 
> 2. Почему-то на кластере Basis бывает обваливаются задачи (не связаны
> с нехваткой памяти), после повторной перестановки менеджер Slurm
> пишет:
> "(Nodes required for job are DOWN, DRAINED or reserved for jobs in
> higher priority partitions) или
> (ReqNodeNotAvail, UnavailableNodes:t2n1)"

Ваши задачи (например 3641) приводят к панике ядра ОС, которая вызывает
перезагрузку вычислительного узла. Именно эту ситуацию Вы видите через
Slurm.

Я обновил ядро ОС, но это не помогло справиться с ситуацией. Ввиду
отсутствия исходного кода от драйверов Nvidia отладить проблему
непросто.

Официальное руководство QE настоятельно рекомендует использовать по
одному MPI потоку на GPU. Вы используйте два. Попробуйте следовать
руководству. Если это не поможет, пришлите, пожалуйста, подробную
информацию по Вашей сборке QE и образец задачи, которую можно будет
запустить, не повредив Ваши данные. У других пользователей QE работает,
попробуем анализировать разницу в задачах. 

> Большое спасибо!
> С уважением, Владимир В Углов,
> Кафедра физических проблем материаловедения (№9) 
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc

-- 
С уважением,
инженер отдела Unix-технологий МИФИ,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998