[mephi-hpc] проблема с задачей

[Andrew A. Savchenko]

Здравствуйте,

On Sat, 21 Sep 2013 04:37:21 +0300 Alexandra Freidzon wrote:
> Добрый день,
> 
> У меня вдруг начались проблемы с программой, к-рая успешно работала до
> начала технических работ. 

Технические работы здесь ни при чём. Они начались почти на два дня
позже сообщения в mail-листе, а Ваши проблемы начались раньше.

> А теперь все время вылетает с сообщениями типа:
>  DDI Process 4: semget return an error.
>  semget errno=ENOSPC -- check system limit for sysv semaphores.
> Запускается из ~/pool
> 
> Что случилось?

В сообщении об ошибке написано, что случилось: Вы исчерпали лимит
семафоров. Диагностика с узлов это подтверждает, например, на n10:

# ipcs -s | grep freidzon | wc -l
120

Судя по датам последнего использования семафоров и датам запуска
Ваших задач, Ваше приложение работает грязно и не убирает после себя
семафоры, по крайней мере в ряде случаев.

У нас есть механизмы очистки системы, но слишком свежие семафоры не
удаляются, т.к. это может повредить работе задач, которые, возможно,
их используют. Лимиты я увеличивать не буду, т.к. в таком случае
некорректно работающее приложение приведёт к невозможности работы не
только Ваших приложений, но и задач всех остальных пользователей.

На данный момент я очистил пул семафоров на всех узлах. Рекомендую
Вам и остальным пользователям Кинтеха добавить
ipcrm --all=sem
в конец своих скриптов выполнения задачи.

К сожалению, данная проблема есть не только у Ваших задач, но у Вас
она выражена наиболее сильно.

Best regards,
Andrew Savchenko
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: application/pgp-signature
Size: 836 bytes
Desc: not available
URL: <http://lists.ut.mephi.ru/pipermail/hpc/attachments/20130921/96ced22d/attachment.sig>