[mephi-hpc] Ошибка подключения к хранилищу pool/6

[anikeev]

On Mon, 2023-03-13 at 10:22 +0300, Nikolai Bukharskii wrote:
> Добрый день!
> 
> Спасибо, все работает! 
> 
> Rsync в последние два месяца вообще не пользовался. Для передачи
> файлов использовал только scp.

Возможно, воспользовался кто-то другой из пользователей.

Слабое место GlusterFS - большое время переименования файла из-за DHT
адресации внутри кластера хранения.

Утилита копирования rsync оптимизирована для работы по TCP сетям с
неустойчивым каналом, поэтому при копировании дробит каждый файл на
множество частей, копирует их независимо друг от друга параллельно, а
потом на месте назначения локально собирает из частей оригинальный
файл. Такой алгоритм работы может вызывать тысячи операций
переименования на каждый копируемый файл, которых тоже может быть очень
много.

При использовании rsync на GlusterFS нужно обязательно использовать
опции --whole-file --inplace, иначе можно вызвать сбой клиента
GlusterFS на том узле, на котором выполнялся rsync.

Это требование указано в руководстве пользователя:

https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf

И проводилось дополнительное оповещение пользователей через рассылку:

https://lists.mephi.ru/pipermail/hpc/2022-October/000971.html

Увжаемые пользователи, пожалуйста, будьте внимательны при копировании
файлов на /mnt/pool/6!

> 
> ---
> С уважением,
> Бухарский Николай
> 
> пн, 13 мар. 2023 г. в 10:13, anikeev <anikeev at ut.mephi.ru>:
> > On Sun, 2023-03-12 at 12:29 +0300, Nikolai Bukharskii wrote:
> > > Добрый день!
> > 
> > Здравствуйте!
> > 
> > > При попытке подключения к хранилищу pool/6 (cd /mnt/pool/6/...)
> > > возникает ошибка: "Transport endpoint is not connected".
> > Подключение
> > > к другим хранилищам работает исправно.
> > 
> > Проблема возникла только на головном узле Cherenkov, на работе
> > вычислительных узлов и головных узлов других кластеров она не
> > сказалась.
> > 
> > > Можно ли, пожалуйста, попросить исправить эту ошибку?
> > 
> > Ошибка исправлена. Вы случйно не пользуетесь rsync без аргументов -
> > -
> > whole-file --inplace? Требования по использованию этих аргументов
> > указаны в руководстве пользователя:
> > 
> > https://ut.mephi.ru/pdf/projects/hpc/userguide.pdf
> > 
> > > ---
> > > С уважением,
> > > Бухарский Николай
> > > 
> > > 
> > > _______________________________________________
> > > hpc mailing list
> > > hpc at lists.mephi.ru
> > > https://lists.mephi.ru/listinfo/hpc
> > 
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc

-- 
С уважением,
ведущий инженер отдела UNIX-технологий НИЯУ МИФИ,
к.ф.-м.н. Аникеев Артем.
email: aaanikeyev at mephi.ru, anikeev at ut.mephi.ru

Best regards,
MEPhI UNIX-technology department lead engineer,
Artem Anikeev, Ph.D.
e-mail: aaanikeyev at mephi.ru, anikeev at ut.mephi.ru