[mephi-hpc] numpy и matplotlib на кластерах unicluster и basov

[Крылов Константин Сергеевич]

Здравствуйте!

Хорошо, спасибо за информацию!

> Но мы рекомендуем не использовать кластеры для обработки
> видео в принципе, поскольку те же задачи могут быть решены при помощи
> ноутбука за гораздо меньшие времена и при этом не занимать процессорное
> время расчётов, которые на пользовательском оборудовании быстро
> выполнены быть не могут.

К сожалению, у моего коллеги (Евгения Гельфера) есть в распоряжении только не очень производительный ноутбук с ограниченным объёмом оперативной памяти и у него возникают проблемы с построением на нём анимаций вплоть до зависания системы, и для него важно иметь возможность не только получить данные расчёта, но и обработать их прямо на кластере. При этом построение анимации производится не на вычислительных фермах, а на управляющем узле. Надеюсь, что это ничему не противоречит, ведь управляющий узел предназначен в том числе и для компиляции пользовательских приложений, что по времени и используемым ресурсам сопоставимо с построением анимации.

С уважением,
Константин Крылов,
каф. 32 НИЯУ МИФИ
________________________________________
От: hpc <hpc-bounces at lists.mephi.ru> от имени anikeev <anikeev at ut.mephi.ru>
Отправлено: 25 апреля 2017 г. 18:15
Кому: NRNU MEPhI HPC discussion list
Тема: Re: [mephi-hpc] numpy и matplotlib на кластерах unicluster и basov

On Thu, 2017-04-06 at 21:47 +0300, Konstantin Krylov wrote:
> Здравствуйте!

Добрый день!

Прошу прощения за задержку с ответом.

> Нам для построения графиков и анимаций по результатам расчётов
> требуется numpy и matplotlib. На ферме basov matplotlib отсутствует,
> а на unicluster'е с ним возникли проблемы. Ни с одной из 4-х
> установленных версий python не удаётся построить анимацию. Для
> последней версии python3.4 numpy и matplotlib вовсе не установлены, а
> с другими возникают следующие проблемы:
> ...

К сожалению, установка на кластере basov библиотеки matplotlib требует
существенного обновления системы с обновлением ABI, что может
потребовать пересборки всех скомпилированных вручную приложений для
всех пользователей.

Эта библиотека может быть установлена при запланированном глобальном
обновлении системы, которая будет проводиться со временной остановкой
эксплуатации. Такое обновление запланировано на летний период и не
может быть проведено до окончания экзаменационной сессии.

Описанная же Вами ошибка связана с тем, что на кластере unicluster
библиотека ffmpeg собрана без поддержки кодирования видео:

anikeev at master.unicluster /mnt/pool/1/anikeev $ ffmpeg -codecs
...
Codecs:
 D..... = Decoding supported
 .E.... = Encoding supported
 ..V... = Video codec
 ..A... = Audio codec
 ..S... = Subtitle codec
 ...I.. = Intra frame-only codec
 ....L. = Lossy compression
 .....S = Lossless compression
...
 D.V.L. mpeg4                MPEG-4 part 2
...

Это решение вызвано отсутствием на кластерах МИФИ графических
ускорителей.

> На кластере cherenkov всё работает без ошибок, но там есть некоторые
> проблемы с самими расчётами, а считать и обрабатывать данные лучше на
> одном и том же кластере. Хотелось бы, чтобы вы побороли эти ошибки и,
> по-возможности, обновили версии установленных numpy и matplotlib на
> unicluster, а также поставили matplotlib на basov. Для какой версии
> питона это будет работать, не принципиально.

До летнего глобального обновления Вы можете пользоваться кластером
cherenkov. Но мы рекомендуем не использовать кластеры для обработки
видео в принципе, поскольку те же задачи могут быть решены при помощи
ноутбука за гораздо меньшие времена и при этом не занимать процессорное
время расчётов, которые на пользовательском оборудовании быстро
выполнены быть не могут.

> Прикрепляю файл с простой программой, воспроизводящей перечисленные
> проблемы.
>
> С уважением,
> Константин Крылов,
> каф. 32 НИЯУ МИФИ
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
--
С уважением,
аспирант кафедры 4 МИФИ,
инженер отдела Unix-технологий,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
_______________________________________________
hpc mailing list
hpc at lists.mephi.ru
https://lists.mephi.ru/listinfo/hpc