[mephi-hpc] Место на хранилищах данных

[anikeev at ut.mephi.ru]

Grigory Nigmatkulov писал 2020-06-17 15:20:
> Добрый день, Артем,
> 
>> Используя кластеры как архивные
> хранилища, Вы блокируете выполнение
>> расчетов всех пользователей, включая
> себя.
>> все возможные данные на свои
> накопители.
> 
> Совершенно непонятные требования.
> Люди выполняли расчеты и сейчас
> хранят результаты
> вычислений, которые могут быть
> использованы в любой момент. Какой
> смысл тогда иметь
> хранилища /mnt/pool/N ?

Хранилища /mnt/pool предназначены непосредственно для расчетов. 
Пользователи копируют на хранилища исходные данные, выполняют на 
кластерах обработку и забирают на свои хранилища результаты. Если Вы не 
можете спланировать выполнение расчетов на неделею, Вам следует забрать 
данные и провести планирование задач.

> Если на вычислительном кластере нет
> места для хранения данных, то где оно
> есть?

Использование хранилищ составляет 93%. На данный момент мы стоит перед 
выбором:

1) Остановить кластеры по исчерпанию места и продолжить работать как 
архив ранее проведенных вычислений
2) Предоставить пользователям время для архивирования данных и 
продолжить работу как вычислительный центр после очистки хранилищ

>> Администрация вычислительного
> центра оставляет за собой право на
>> принудительное удаление данных после
> повторного предупреждения.
> 
> Это тирания!!!
> 
> Либо надо разделять общедоступное
> место квотами, оговаривать их и
> оставлять определенное
> дисковое пространство на то, что будет
> использовано для системных + текущих
> (вычислительных) нужд,
> 
> либо есть что-то, что я упускаю. Если
> последнее, то что именно?

На общественных хранилищах имеется суммарно 38.6 TB на 413 
пользователей. При введении гарантированных жестких квот они составят 93 
GB. В письме упомянуты только те пользователи, которые хранят более 1 TB 
на общественных хранилищах. Вопрос введения квот менее 100 GB может быть 
рассмотрен, но, на мой взгляд, такой вариант не конструктивен.

> В противном случае теряется всякий
> смысл использования МИФИстского
> вычислительного кластера
> для нужд групп релятивистской ядерной
> физики и физики высоких энергий.

Крупные релятивистские коллаборации, для функционирования которых 
требуются большие объемы архивных данных, обычно приобретают хранилища 
самостоятельно (/mnt/pool/rhic, /mnt/pool/nica, /mnt/pool/red100). Вы 
можете обратиться к начальнику управления информатизации Романову 
Николаю Николаевичу для решения вопроса архивирования данных.

Обратите внимание, что у Вас сохранено 1.3 TB данных на общественных 
хранилищах. Стоимость жесткого USB диска на 2TB несопоставимо меньше 
стоимости 3.4% от всех суперкомпьютеров МИФИ, которые Вы на данный 
момент блокируете.

> С уважением,
> Григорий Нигматкулов

С уважением,
инженер отдела UNIX-технологий,
Аникеев Артем.

> On Wed, 17 Jun 2020 at 14:51, <anikeev at ut.mephi.ru> wrote:
> 
>> Уважаемые пользователи!
>> 
>> На хранилищах вычислительных
>> кластеров МИФИ заканчивается место.
>> Пожалуйста, перенесите все возможные
>> данные на свои накопители. Просьба
>> в первую очередь обращена к
>> следующим пользователям:
>> 
>> shargatov /mnt/pool/1/ 867GB + /mnt/pool/3 3415GB + /mnt/pool/4
>> 3553GB
>> hydra /mnt/pool/1/ 2605GB
>> nigmatkulov /mnt/pool/2 1382GB
>> alpatov /mnt/pool/2 1487GB
>> samteyla /mnt/pool/3 1475GB + /mnt/pool/4 2401GB
>> phkorneev /mnt/pool/3 1857GB
>> romanenkovli /mnt/pool/3 2730GB
>> ikrysko /mnt/pool/3 3870GB
>> egelfer /mnt/pool/4 2137GB
>> mrworm /mnt/pool/4 2490GB
>> 
>> Используя кластеры как архивные
>> хранилища, Вы блокируете выполнение
>> расчетов всех пользователей, включая
>> себя. Скоростные хранилища
>> переназначены только для данных,
>> которые обрабатываются
>> непосредственно
>> в данный момент или будут поставлены
>> в очередь на обработку в ближайшую
>> неделю.
>> 
>> Администрация вычислительного
>> центра оставляет за собой право на
>> принудительное удаление данных
>> после повторного предупреждения.
>> 
>> С уважением,
>> инженер отдела UNIX-технологий,
>> Аникеев Артем.
>> _______________________________________________
>> hpc mailing list
>> hpc at lists.mephi.ru
>> https://lists.mephi.ru/listinfo/hpc
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc