[mephi-hpc] numpy и matplotlib на кластерах unicluster и basov

[anikeev]

On Tue, 2017-04-25 at 15:59 +0000, Крылов Константин Сергеевич wrote:
> Здравствуйте!

Добрый день!

> Хорошо, спасибо за информацию!
> 
> > Но мы рекомендуем не использовать кластеры для обработки
> > видео в принципе, поскольку те же задачи могут быть решены при
> > помощи
> > ноутбука за гораздо меньшие времена и при этом не занимать
> > процессорное
> > время расчётов, которые на пользовательском оборудовании быстро
> > выполнены быть не могут.
> 
> К сожалению, у моего коллеги (Евгения Гельфера) есть в распоряжении
> только не очень производительный ноутбук с ограниченным объёмом
> оперативной памяти и у него возникают проблемы с построением на нём
> анимаций вплоть до зависания системы, и для него важно иметь
> возможность не только получить данные расчёта, но и обработать их
> прямо на кластере. При этом построение анимации производится не на
> вычислительных фермах, а на управляющем узле. Надеюсь, что это ничему
> не противоречит, ведь управляющий узел предназначен в том числе и для
> компиляции пользовательских приложений, что по времени и используемым
> ресурсам сопоставимо с построением анимации.

Нет, Вы ничего не нарушили. Стоит иметь в виду, что на головных узлах
настроена автоматика, прерывающая слишком долгие процессы по
SIGTERM/SIGKILL. Если Вы с этим явлением не сталкивались, Ваши видео 
небольшие. Мы так же не запрещаем запуск таких задач на вычислительных
узлах cherenkov (здесь есть поддержка AVX/FMA), но при наличии
современной видеокарты на персональном компьютере лучше так не делать.
Производительность игровой видеокарты для кодирования MPEG может
превышать производительность всего кластера unicluster.

> С уважением,
> Константин Крылов,
> каф. 32 НИЯУ МИФИ
> ________________________________________
> От: hpc <hpc-bounces at lists.mephi.ru> от имени anikeev <anikeev at ut.mep
> hi.ru>
> Отправлено: 25 апреля 2017 г. 18:15
> Кому: NRNU MEPhI HPC discussion list
> Тема: Re: [mephi-hpc] numpy и matplotlib на кластерах unicluster и
> basov
> 
> On Thu, 2017-04-06 at 21:47 +0300, Konstantin Krylov wrote:
> > Здравствуйте!
> 
> Добрый день!
> 
> Прошу прощения за задержку с ответом.
> 
> > Нам для построения графиков и анимаций по результатам расчётов
> > требуется numpy и matplotlib. На ферме basov matplotlib
> > отсутствует,
> > а на unicluster'е с ним возникли проблемы. Ни с одной из 4-х
> > установленных версий python не удаётся построить анимацию. Для
> > последней версии python3.4 numpy и matplotlib вовсе не установлены,
> > а
> > с другими возникают следующие проблемы:
> > ...
> 
> К сожалению, установка на кластере basov библиотеки matplotlib
> требует
> существенного обновления системы с обновлением ABI, что может
> потребовать пересборки всех скомпилированных вручную приложений для
> всех пользователей.
> 
> Эта библиотека может быть установлена при запланированном глобальном
> обновлении системы, которая будет проводиться со временной остановкой
> эксплуатации. Такое обновление запланировано на летний период и не
> может быть проведено до окончания экзаменационной сессии.
> 
> Описанная же Вами ошибка связана с тем, что на кластере unicluster
> библиотека ffmpeg собрана без поддержки кодирования видео:
> 
> anikeev at master.unicluster /mnt/pool/1/anikeev $ ffmpeg -codecs
> ...
> Codecs:
>  D..... = Decoding supported
>  .E.... = Encoding supported
>  ..V... = Video codec
>  ..A... = Audio codec
>  ..S... = Subtitle codec
>  ...I.. = Intra frame-only codec
>  ....L. = Lossy compression
>  .....S = Lossless compression
> ...
>  D.V.L. mpeg4                MPEG-4 part 2
> ...
> 
> Это решение вызвано отсутствием на кластерах МИФИ графических
> ускорителей.
> 
> > На кластере cherenkov всё работает без ошибок, но там есть
> > некоторые
> > проблемы с самими расчётами, а считать и обрабатывать данные лучше
> > на
> > одном и том же кластере. Хотелось бы, чтобы вы побороли эти ошибки
> > и,
> > по-возможности, обновили версии установленных numpy и matplotlib на
> > unicluster, а также поставили matplotlib на basov. Для какой версии
> > питона это будет работать, не принципиально.
> 
> До летнего глобального обновления Вы можете пользоваться кластером
> cherenkov. Но мы рекомендуем не использовать кластеры для обработки
> видео в принципе, поскольку те же задачи могут быть решены при помощи
> ноутбука за гораздо меньшие времена и при этом не занимать
> процессорное
> время расчётов, которые на пользовательском оборудовании быстро
> выполнены быть не могут.
> 
> > Прикрепляю файл с простой программой, воспроизводящей перечисленные
> > проблемы.
> > 
> > С уважением,
> > Константин Крылов,
> > каф. 32 НИЯУ МИФИ
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> 
> --
> С уважением,
> аспирант кафедры 4 МИФИ,
> инженер отдела Unix-технологий,
> Аникеев Артём.
> Тел.: 8 (495) 788-56-99, доб. 8998
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
-- 
С уважением,
аспирант кафедры 4 МИФИ,
инженер отдела Unix-технологий,
Аникеев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998