[mephi-hpc] Изменение политики Python pip

[anikeev at ut.mephi.ru]

Углов Владимир Васильевич писал 2023-08-25 14:23:
> Добрый день!

Здравствуйте!

> 1) А где правильно прописывать опцию "--system-site-packages" среди 
> команд ниже?

username at cluster:~$ python3 -m venv --system-site-packages 
/mnt/pool/6/username/.venv
username at cluster:~$ source /mnt/pool/6/username/.venv/bin/activate

Обратите внимание, что с этой опцией работоспособность pip пакета не 
гарантируется.

> 2) Активировать виртуальные окружения нужно перед компиляцией пакета,
> а также при запуске задачи в sh скрипте для этого пакета, который
> вызывает python, верно?

venv - это виртуальное окружение, как и chroot/proot. Они активируются 
для конкретной сессии виртуального терминала (консоли) в отдельности. 
Сессия виртуального терминала, в которой Вы работаете на головном узле 
кластера (запускаемая сервером sshd), не имеет отношения к сессии 
виртуального терминала, в которой работает задача на вычислительном узле 
(shebang #/bin/bash из стартового скрипта задачи, запускаемого сервером 
slurmd). Поэтому да, если Вы хотите использовать приложение/библиотеку 
из venv/chroot/proot в задаче на вычислительном узле, их нужно 
активировать отдельно в стартовом скрипте задачи.

> Спасибо!!!
> 
> С уважением, Владимир В Углов
> ________________________________________
> От: hpc <hpc-bounces at lists.mephi.ru> от имени
> hpc-request at lists.mephi.ru <hpc-request at lists.mephi.ru>
> Отправлено: 22 августа 2023 г. 12:00
> Кому: hpc at lists.mephi.ru
> Тема: hpc Digest, Vol 107, Issue 5
> 
> Send hpc mailing list submissions to
>         hpc at lists.mephi.ru
> 
> To subscribe or unsubscribe via the World Wide Web, visit
>         https://lists.mephi.ru/listinfo/hpc
> or, via email, send a message with subject or body 'help' to
>         hpc-request at lists.mephi.ru
> 
> You can reach the person managing the list at
>         hpc-owner at lists.mephi.ru
> 
> When replying, please edit your Subject line so it is more specific
> than "Re: Contents of hpc digest..."
> 
> 
> Today's Topics:
> 
>    1. Изменение политики Python pip
>       (anikeev at ut.mephi.ru)
> 
> 
> ----------------------------------------------------------------------
> 
> Message: 1
> Date: Tue, 22 Aug 2023 10:41:20 +0300
> From: anikeev at ut.mephi.ru
> To: hpc at lists.mephi.ru
> Subject: [mephi-hpc] Изменение политики Python pip
> Message-ID: <8f2eac97ac6991fa8581c614be72ad2f at ut.mephi.ru>
> Content-Type: text/plain; charset=UTF-8; format=flowed
> 
> Уважаемые пользователи!
> 
> Обратите внимание на официальные изменения в политике апстрима 
> пакетного
> менеджера Python pip:
> 
> https://peps.python.org/pep-0668/
> 
> https://stackoverflow.com/questions/75602063/pip-install-r-requirements-txt-is-failing-this-environment-is-externally-manag
> 
> Теперь пакетный менеджер pip настоятельно рекомендуется запускать 
> только
> в виртуальных окружениях Python venv:
> 
> anikeev at basis:~$ python3 -m venv /mnt/pool/5/anikeev/.venv
> anikeev at basis:~$ source /mnt/pool/5/anikeev/.venv/bin/activate
> (.venv) anikeev at basis:~$ python3 -m pip install pymp-pypi
> 
> Обратите внимание, что на окружения venv распространяются правила
> хранения ПО на кластерах - их нельзя хранить в домашних директориях
> /home/имя_пользователя, их нужно хранить на файловых хранилищах
> /mnt/pool/номер_хранилища/имя_пользователя.
> 
> Обратите внимание, что, по-умолчанию, внутри нового окружения venv
> недоступны системные пакеты Python. Системные пакеты можно сделать
> видимыми из виртуального окружения при помощи опции
> --system-site-packages, но работоспособность такого окружения не
> гарантируется разработчиком.
> 
> При продолжении классического использования pip без виртуального
> окружения с опцией --break-system-packages, как и ранее, не
> гарантируется ни работоспособность пользовательского пакета, ни
> работоспособность системного окружения Python для конкретного
> пользователя, установившего сторонний пакет.
> 
> --
> С уважением,
> инженер отдела UNIX-технологий НИЯУ МИФИ,
> к.ф.-м.н.,
> Аникеев Артем.
> e-mail: anikeev at ut.mephi.ru
> тел.: 8 (495) 788-56-99, доб. 8998
> 
> 
> 
> ------------------------------
> 
> Subject: Digest Footer
> 
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
> 
> 
> ------------------------------
> 
> End of hpc Digest, Vol 107, Issue 5
> ***********************************
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc

--
С уважением,
инженер отдела UNIX-технологий НИЯУ МИФИ,
к.ф.-м.н.,
Аникеев Артем.
e-mail: anikeev at ut.mephi.ru
тел.: 8 (495) 788-56-99, доб. 8998