[mephi-hpc] [!!Mass Mail]Re: Вопрос от лаборатории 344

[Andrew A. Savchenko]

Здравствуйте,

On Thu, 2 Apr 2015 11:27:33 +0300 Кумпан Александр wrote:
[...]
> >> В процессе использования ресурсов кластера, возникло 2 вопроса:
> >>
> >>       1. Возможна ли, с учетом политики администрирования
> >> университетского кластера и фермы "Basov", установка на них sshfs? В
> >> данный момент ее нет:
> > Установка sshfs нежелательна. Для чего Вам требуется sshfs?
> > Возможно, есть иные решения.
>      Ну, я просто подумал, что было бы удобно иметь возможность 
> заглянуть на наш сервер прямо с кластера. Мы тут готовим к массовому 
> запуску Монте-Карло модель детектора и проводим ее калибровку, а также 
> отладку скриптов. Бывает нужет то один файл, то другой. Копировать все 
> по одному не удобно, а все сразу - сами говорите, что диск не резиновый. 
> Здесь мы сразу получим и доступ, и шифрование. Тем более, не все ли 
> равно, cp-over-ssh или fs-over-ssh?

Это не просто fs, это fuse и там есть свои проблемы.

Вы можете на своём сервере подмонтировать по sshfs hpc.mephi.ru —
и будете видеть все внутренности кластеров как у себя дома.

> >>       2. Возможно ли создание отдельной группы для пользователей
> >> лаборатории в целях, например, закрытия от глаз посторонних
> >> необработанных данных во время разработки методик обработки, а также
> >> получаемых предварительных результатов?
> > Да, без проблем. Пришлите на hpc-private или в задачу в redmine
> > название группы (латиницей) и список пользователей.
>      Нельзя ли создать общую зону для группы на basov/storage, чтобы 
> общие файлы хранить не в личных каталогах, а централизованно?

Можно, именно это я Вам и предлагал. Давайте имя группы и список
пользователей.

> Можно ли 
> от каждого из пользователей откусить немного квоты, чтобы сумму записать 
> на группу? А то получается, что пользователей много, а места у каждого 
> по чуть-чуть.

Квоты действуют только на $HOME, их мы менять не будем. На
storage (или cluster — это одно и то же) места гораздо больше —
используйте его.

>      Дополнительный вопрос:
>      Есть 3 крупных диска (unicluster/home, basov/home и basov/pool), 
> которые доступны из обоих кластеров, но по-разному. Нельзя ли сделать 
> так, чтобы на обоих кластерах пути были одинаковыми? Например, 
> /mnt/unicluster/home, /mnt/basov/home, /mnt/basov/storage. Это позволило 
> бы использовать одинаковые скрипты на обеих системах.

Технически это сделать можно, но мы так не будем поступать. Дело
в том, что basov и unicluster — это два совершенно разных кластера.
Для удобства пользователей там единые логины и однотипное
окружение, выполнено кросс-монтирование дисковых разделов для
удобства переноса данных; но оборудование и интерконнект на
кластерах отличаются почти на поколение.

/mnt/unicluster/ и /mnt/basov/ доступны _только_ на мастер
узлах кластеров, этих директорий нет на вычислительных узлах.
Главная причина — медленный и не очень надёжный линк между
кластерами: там всего-навсего один гигабит, да ещё через кучу
коммутаторов проходит. Этот линк не предназначен для использования
непосредственно расчётными задачами.

Для самих же вычислительных задач пути однотипны: /home/$username
и /mnt/cluster (можно и /mnt/storage использовать). Поэтому скрипты
можно использовать одни и те же, просто на unicluster за раз можно
меньше данных разместить.

Best regards,
Andrew Savchenko
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: application/pgp-signature
Size: 819 bytes
Desc: not available
URL: <http://lists.ut.mephi.ru/pipermail/hpc/attachments/20150403/9c1c96df/attachment.sig>