[mephi-hpc] Место на хранилищах данных

[anikeev at ut.mephi.ru]

anikeev at ut.mephi.ru писал 2020-06-17 15:56:
> Grigory Nigmatkulov писал 2020-06-17 15:20:

P.S. Возможно введение послаблений для групп пользователей, использующих 
общие данные. Ваши данные хранятся на персональном аккаунте.

>> Добрый день, Артем,
>> 
>>> Используя кластеры как архивные
>> хранилища, Вы блокируете выполнение
>>> расчетов всех пользователей, включая
>> себя.
>>> все возможные данные на свои
>> накопители.
>> 
>> Совершенно непонятные требования.
>> Люди выполняли расчеты и сейчас
>> хранят результаты
>> вычислений, которые могут быть
>> использованы в любой момент. Какой
>> смысл тогда иметь
>> хранилища /mnt/pool/N ?
> 
> Хранилища /mnt/pool предназначены непосредственно для расчетов.
> Пользователи копируют на хранилища исходные данные, выполняют на
> кластерах обработку и забирают на свои хранилища результаты. Если Вы
> не можете спланировать выполнение расчетов на неделею, Вам следует
> забрать данные и провести планирование задач.
> 
>> Если на вычислительном кластере нет
>> места для хранения данных, то где оно
>> есть?
> 
> Использование хранилищ составляет 93%. На данный момент мы стоит перед 
> выбором:
> 
> 1) Остановить кластеры по исчерпанию места и продолжить работать как
> архив ранее проведенных вычислений
> 2) Предоставить пользователям время для архивирования данных и
> продолжить работу как вычислительный центр после очистки хранилищ
> 
>>> Администрация вычислительного
>> центра оставляет за собой право на
>>> принудительное удаление данных после
>> повторного предупреждения.
>> 
>> Это тирания!!!
>> 
>> Либо надо разделять общедоступное
>> место квотами, оговаривать их и
>> оставлять определенное
>> дисковое пространство на то, что будет
>> использовано для системных + текущих
>> (вычислительных) нужд,
>> 
>> либо есть что-то, что я упускаю. Если
>> последнее, то что именно?
> 
> На общественных хранилищах имеется суммарно 38.6 TB на 413
> пользователей. При введении гарантированных жестких квот они составят
> 93 GB. В письме упомянуты только те пользователи, которые хранят более
> 1 TB на общественных хранилищах. Вопрос введения квот менее 100 GB
> может быть рассмотрен, но, на мой взгляд, такой вариант не
> конструктивен.
> 
>> В противном случае теряется всякий
>> смысл использования МИФИстского
>> вычислительного кластера
>> для нужд групп релятивистской ядерной
>> физики и физики высоких энергий.
> 
> Крупные релятивистские коллаборации, для функционирования которых
> требуются большие объемы архивных данных, обычно приобретают хранилища
> самостоятельно (/mnt/pool/rhic, /mnt/pool/nica, /mnt/pool/red100). Вы
> можете обратиться к начальнику управления информатизации Романову
> Николаю Николаевичу для решения вопроса архивирования данных.
> 
> Обратите внимание, что у Вас сохранено 1.3 TB данных на общественных
> хранилищах. Стоимость жесткого USB диска на 2TB несопоставимо меньше
> стоимости 3.4% от всех суперкомпьютеров МИФИ, которые Вы на данный
> момент блокируете.
> 
>> С уважением,
>> Григорий Нигматкулов
> 
> С уважением,
> инженер отдела UNIX-технологий,
> Аникеев Артем.
> 
>> On Wed, 17 Jun 2020 at 14:51, <anikeev at ut.mephi.ru> wrote:
>> 
>>> Уважаемые пользователи!
>>> 
>>> На хранилищах вычислительных
>>> кластеров МИФИ заканчивается место.
>>> Пожалуйста, перенесите все возможные
>>> данные на свои накопители. Просьба
>>> в первую очередь обращена к
>>> следующим пользователям:
>>> 
>>> shargatov /mnt/pool/1/ 867GB + /mnt/pool/3 3415GB + /mnt/pool/4
>>> 3553GB
>>> hydra /mnt/pool/1/ 2605GB
>>> nigmatkulov /mnt/pool/2 1382GB
>>> alpatov /mnt/pool/2 1487GB
>>> samteyla /mnt/pool/3 1475GB + /mnt/pool/4 2401GB
>>> phkorneev /mnt/pool/3 1857GB
>>> romanenkovli /mnt/pool/3 2730GB
>>> ikrysko /mnt/pool/3 3870GB
>>> egelfer /mnt/pool/4 2137GB
>>> mrworm /mnt/pool/4 2490GB
>>> 
>>> Используя кластеры как архивные
>>> хранилища, Вы блокируете выполнение
>>> расчетов всех пользователей, включая
>>> себя. Скоростные хранилища
>>> переназначены только для данных,
>>> которые обрабатываются
>>> непосредственно
>>> в данный момент или будут поставлены
>>> в очередь на обработку в ближайшую
>>> неделю.
>>> 
>>> Администрация вычислительного
>>> центра оставляет за собой право на
>>> принудительное удаление данных
>>> после повторного предупреждения.
>>> 
>>> С уважением,
>>> инженер отдела UNIX-технологий,
>>> Аникеев Артем.
>>> _______________________________________________
>>> hpc mailing list
>>> hpc at lists.mephi.ru
>>> https://lists.mephi.ru/listinfo/hpc
>> _______________________________________________
>> hpc mailing list
>> hpc at lists.mephi.ru
>> https://lists.mephi.ru/listinfo/hpc
> 
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc