[mephi-hpc] Вопрос о Tensorflow

[anikeev]

On Wed, 2015-11-25 at 16:09 +0400, Dzhangar Bambushev wrote:
> Добрый день,

Здравствуйте!

> Является ли возможным на кластере установка и работа с библиотекой
> для вычислений TensorFlow(http://www.tensorflow.org/) и если да то
> насколько эффективно можно будет использовать ее для работы:будут ли
> задействованы при вычислениях дополнительные ядра?

Установка TensorFlow представляет значительные трудности по причине
зависимости этого пакета от ПО Bazel и среды Java JDK 8. Рекомендуемая
разработчиками Bazel реализация Sun Java SE 8 не может быть
использована в НИЯУ МИФИ из-за лицензии Oracle Binary Code License
Agreement for the Java SE Platform Products and JavaFX:

http://www.oracle.com/technetwork/java/javase/terms/license/index.html

"You agree that neither the Software nor any direct product thereof
will be exported, directly, or indirectly, in violation of these laws,
or will be used for any purpose prohibited by these laws including,
without limitation, nuclear, chemical, or biological weapons
proliferation."

Аналогично, не может быть использована реализация OpenJDK 8,
распространяемая под лицензией OPENJDK COMMUNITY TCK LICENSE AGREEMENT
V 2.0:

http://openjdk.java.net/legal/octla-java-se-8.pdf

"Licensee agrees to comply fully with export laws and regulations of
the United States and any other applicable export laws ("Export Laws")
to assure that neither the Licensed Software and Confidential
Information, nor any direct product thereof are: (a) exported, directly
or indirectly, in violation of this Agreement or Export Laws; or (b)
used for any purposes prohibited by the Export Laws, including, without
limitation, nuclear, chemical, or biological weapons proliferation, or
development of missile technology."

Единственной известной реализацией среды JDK 8, использование которой
не будет являться правонарушением, является IcedTea 8, но она имеет
значительные проблемы с совместимостью и может потребовать доработки
исходного кода Bazel. Кроме того, она требует установки пакета Xorg
X11, который не может быть установлен системно по причине проблем
безопасности. Следовательно, Вам придётся собирать библиотеки X11 с
правами пользователя в своей домашней директории и у Вас не получится
воспользоваться графическим интерфейсом по причине аппаратного
отсутствия графических ускорителей на имеющемся у нас оборудовании.
Вполне вероятно, что будет проще доработать исходный код TensorFlow для
устранения его зависимости от Bazel.

TensorFlow является многопоточным приложением и пригоден для
использования на системах с общей памятью (многоядерные процессоры и
многопроцессорные платы). Возможности систем с раздельной памятью
(вычислительные кластера) он использовать не может - технически, Вы
можете загрузить только один вычислительный узел. Вопрос об
эффективности использования ядер и архитектуры параллелизма является
сложным и зависит от решаемых задач.

В итоге:

- В репозитории Gentoo пакета TensorFlow нет. По этой причине его
поддержка не входит в наши обязанности и будет осуществляться на
добровольных началах при наличии времени.

- TensorFlow по умолчанию зависит от пакетов, использование которых для
нужд МИФИ (в т.ч. на Вашем персональном компьютере для написания
диплома) незаконно. Вам потребуется устранить эти зависимости. Мы
постараемся Вам помочь, но мы не можем тратить на это всё рабочее
время.

- Ответственность за совершённые пользователями правонарушения несут
сами пользователи.

- TensorFlow не поддерживает системы с разделённой памятью. Его можно
запустить только на 16 ядрах из 320 (без HT) за раз (за одну задачу).

С уважением,
инженер отдела UNIX-технологий,
Аникеев Артём.

> Спасибо.
> 
> Джангар Бамбушев
> _______________________________________________
> hpc mailing list
> hpc at lists.ut.mephi.ru
> http://lists.ut.mephi.ru/listinfo/hpc
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 819 bytes
Desc: This is a digitally signed message part
URL: <http://lists.ut.mephi.ru/pipermail/hpc/attachments/20151125/b12f7237/attachment.sig>