[mephi-hpc] HA: HA: HA: HA: HA: HA: Quantum espresso parallel
Васильев Олег Станиславович
OSVasilyev at mephi.ru
Tue Sep 6 12:05:14 MSK 2016
Спасибо, только не нашел, что указывать в MPI_LIBS = .
С Уважением,
Олег С. Васильев
каф. №78 НИЯУ МИФИ
________________________________________
От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut.mephi.ru]
Отправлено: 2 сентября 2016 г. 17:08
Кому: NRNU MEPhI HPC discussion list
Тема: Re: [mephi-hpc] HA: HA: HA: HA: HA: Quantum espresso parallel
On Fri, 2016-09-02 at 16:34 +0300, Васильев Олег Станиславович wrote:
Это базовые библиотеки для вычислительных кластеров. Для поиска
установленных пакетов можно пользоваться утилитами eix и emerge -pv
osvasilyev at master.unicluster ~ $ eix blas
...
Файлы, установленные пакетом можно найти так:
osvasilyev at master.unicluster ~ $ equery files --tree sci-libs/openblas
...
/usr
> /include
> /openblas
+ cblas.h
+ f77blas.h
+ openblas_config.h
> /lib64
+ libopenblas.so -> libopenblas_penryn-r0.2.8.so
+ libopenblas.so.0 -> libopenblas_penryn-r0.2.8.so
+ libopenblas_penryn-r0.2.8.so
> /pkgconfig
+ openblas-openmp.pc
Кроме того, для базовых библиотек настроена система управления
альтернативами eselect:
osvasilyev at master.unicluster ~ $ eselect cblas --list
Available providers for cblas:
[1] atlas
[2] atlas-threads
[3] gotoblas2-openmp
[4] gsl
[5] mkl32-dynamic
[6] mkl32-dynamic-openmp
[7] mkl32-gcc-openmp
[8] mkl32-intel
[9] mkl32-intel-openmp
[10] mkl64-dynamic
[11] mkl64-dynamic-openmp
[12] mkl64-gcc-openmp
[13] mkl64-int64-dynamic
[14] mkl64-int64-dynamic-openmp
[15] mkl64-int64-gcc-openmp
[16] mkl64-int64-intel
[17] mkl64-int64-intel-openmp
[18] mkl64-intel
[19] mkl64-intel-openmp
[20] openblas-openmp *
[21] reference
osvasilyev at master.unicluster ~ $ eselect blas --list
Available providers for blas:
[1] atlas
[2] atlas-threads
[3] eigen
[4] gotoblas2-openmp
[5] mkl32-dynamic
[6] mkl32-dynamic-openmp
[7] mkl32-gfortran
[8] mkl32-gfortran-openmp
[9] mkl32-intel
[10] mkl32-intel-openmp
[11] mkl64-dynamic
[12] mkl64-dynamic-openmp
[13] mkl64-gfortran
[14] mkl64-gfortran-openmp
[15] mkl64-int64-dynamic
[16] mkl64-int64-dynamic-openmp
[17] mkl64-int64-gfortran
[18] mkl64-int64-gfortran-openmp
[19] mkl64-int64-intel
[20] mkl64-int64-intel-openmp
[21] mkl64-intel
[22] mkl64-intel-openmp
[23] openblas-openmp *
[24] reference
osvasilyev at master.unicluster ~ $ eselect lapack --list
Available providers for lapack:
[1] atlas
[2] atlas-threads
[3] mkl32-dynamic
[4] mkl32-dynamic-openmp
[5] mkl32-gfortran
[6] mkl32-gfortran-openmp
[7] mkl32-intel
[8] mkl32-intel-openmp
[9] mkl64-dynamic
[10] mkl64-dynamic-openmp
[11] mkl64-gfortran
[12] mkl64-gfortran-openmp *
[13] mkl64-int64-dynamic
[14] mkl64-int64-dynamic-openmp
[15] mkl64-int64-gfortran
[16] mkl64-int64-gfortran-openmp
[17] mkl64-int64-intel
[18] mkl64-int64-intel-openmp
[19] mkl64-intel
[20] mkl64-intel-openmp
[21] reference
osvasilyev at master.unicluster ~ $ eselect lapacke --list
Available providers for lapacke:
[1] mkl32-dynamic
[2] mkl32-dynamic-openmp
[3] mkl32-gcc-openmp
[4] mkl32-intel
[5] mkl32-intel-openmp
[6] mkl64-dynamic
[7] mkl64-dynamic-openmp
[8] mkl64-gcc-openmp *
[9] mkl64-int64-dynamic
[10] mkl64-int64-dynamic-openmp
[11] mkl64-int64-gcc-openmp
[12] mkl64-int64-intel
[13] mkl64-int64-intel-openmp
[14] mkl64-intel
[15] mkl64-intel-openmp
[16] reference
...
По умолчанию выставлены версии библиотек, показавшие наибольшую
производительность по результатам тестирования (lapack-mkl64-gfortran-
openmp, lapacke-mkl64-gcc-openmp, sci-libs/openblas, sci-libs/fftw,
sys-cluster/openmpi).
Если установленных пакетов недостаточно, мы по заявкам ставим пакеты из
репозитория Gentoo. Пакеты, не представленные в репозитории ставятся по
возможности.
> Тогда сразу вопрос по конфигурации.
> /home/basov/osvasilyev/qepw/make.sys
> из нужных библиотек blas, lapack, fft, MPI нашлсь только blas, в
> -L/opt/intel/composerxe-2013.0.080/mkl/lib/intel64, остальные
> находятся неустановленные(?), можете установить их?
>
>
> С Уважением,
> Олег С. Васильев
> каф. №78 НИЯУ МИФИ
> ________________________________________
> От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut.mep
> hi.ru]
> Отправлено: 2 сентября 2016 г. 15:24
> Кому: NRNU MEPhI HPC discussion list
> Тема: Re: [mephi-hpc] HA: HA: HA: HA: Quantum espresso parallel
>
> On Fri, 2016-09-02 at 15:04 +0300, Васильев Олег Станиславович wrote:
> Вы были автоматически заблокированы за слишком частое подключение. Я
> снял блокировку с Вашего IP адреса. Вы пользуетесь
> автоматизированными
> скриптами для ssh? Если да, то нужно удерживать одно установленное
> соединение с использованием механизма shh сокетов, как указано в
> руководстве пользователя:
>
> https://ut.mephi.ru/pdf/projects/hpc/unicluster/userguide.pdf
>
> "При необходимости реализации нескольких соединений можно
> использовать
> механизм сокетов ssh. Для использования этого механизма следует
> включить его на стороне пользователя. Например, для пакета OpenSSH
> достаточно дописать в файл /etc/ssh/ssh_config:
> ControlMaster auto
> ControlPath ~/.ssh/socket-%r@%h:%p
> "
>
> >
> > басов и юникластер не пускают по ssh. юникластер по fish доступен.
> >
> > С Уважением,
> > Олег С. Васильев
> > каф. №78 НИЯУ МИФИ
> > ________________________________________
> > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut.m
> > ep
> > hi.ru]
> > Отправлено: 2 сентября 2016 г. 14:38
> > Кому: NRNU MEPhI HPC discussion list
> > Тема: Re: [mephi-hpc] HA: HA: HA: Quantum espresso parallel
> >
> > On Fri, 2016-09-02 at 14:26 +0300, Васильев Олег Станиславович
> > wrote:
> > На время теста лучше убрать. Иначе вывод gdb может быть сокращен
> > из-
> > за
> > auto inline. Но если программа аккуратно написана, то даже с -Ofast
> > должно работать. Это вопрос к качеству кода.
> > >
> > >
> > > >
> > > >
> > > >
> > > > Для решения проблемы с Segfault я бы посоветовал собрать
> > > > программу
> > > > с аргументом компилятора "-ggdb3"
> > > у меня там -O3, его убирать?
> > >
> > > С Уважением,
> > > Олег С. Васильев
> > > каф. №78 НИЯУ МИФИ
> > > ________________________________________
> > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut
> > > .m
> > > ep
> > > hi.ru]
> > > Отправлено: 2 сентября 2016 г. 11:57
> > > Кому: NRNU MEPhI HPC discussion list
> > > Тема: Re: [mephi-hpc] HA: HA: Quantum espresso parallel
> > >
> > > On Thu, 2016-09-01 at 23:26 +0300, Васильев Олег Станиславович
> > > wrote:
> > > Добрый день!
> > >
> > > >
> > > >
> > > >
> > > > Понял, спасибо. Сегодня с доступом все в порядке, поэтому могу
> > > > описать ситуацию более конкретно. Почистил пока папку, потом
> > > > пересоберу на басове, но со сборкой тоже есть вопросы, так что
> > > > пока
> > > > чтобы хоть немного разобраться, провел еще несколько тестов.
> > > > скрипт выглядит так:
> > > > #!/bin/sh
> > > > #
> > > > #PBS -l nodes=4:ppn=8,walltime=48:00:00
> > > >
> > > > . ~/espresso-5.4.0/test
> > > >
> > > > mpirun -np 4 pw.x <test.in >test.out
> > >
> > > У Вас в скрипте пару проблем. Для начала, аргумент -np у mpirun -
> > > это
> > > количество потоков, а не нод. У Вас запрашивается 4 ноды по 8
> > > потоков,
> > > то есть 4*8=32 потока. Во-вторых, это значение по умолчанию
> > > заполняет
> > > менеджер ресурсов torque через переменные окружения при запуске,
> > > так
> > > что в штатных случаях её заполнять не нужно. Для примера я из под
> > > Вашего пользователя собрал и запустил MPI тест от Ливерморской
> > > Национальной Лаборатории:
> > >
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $ cat
> > > start.sh
> > > #!/bin/sh
> > > #
> > > #This is an example script example.sh
> > > #
> > > #These commands set up the Grid Environment for your job:
> > > #PBS -N ExampleJob
> > > #PBS -l nodes=3:ppn=8,walltime=1:00:00
> > > #PBS -M anikeev_aa at mail.ru
> > >
> > > #print the time and date
> > > date
> > >
> > > #run simulation
> > > mpirun /home/osvasilyev/espresso-5.4.0/test/mpi_test/a.out
> > >
> > > #print the time and date again
> > > date
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $ cat
> > > mpi_hello_world.c
> > > #include <mpi.h>
> > > #include <stdio.h>
> > >
> > > int main(int argc, char** argv) {
> > > // Initialize the MPI environment
> > > MPI_Init(NULL, NULL);
> > >
> > > // Get the number of processes
> > > int world_size;
> > > MPI_Comm_size(MPI_COMM_WORLD, &world_size);
> > >
> > > // Get the rank of the process
> > > int world_rank;
> > > MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
> > >
> > > // Get the name of the processor
> > > char processor_name[MPI_MAX_PROCESSOR_NAME];
> > > int name_len;
> > > MPI_Get_processor_name(processor_name, &name_len);
> > >
> > > // Print off a hello world message
> > > printf("Hello world from processor %s, rank %d"
> > > " out of %d processors\n",
> > > processor_name, world_rank, world_size);
> > >
> > > // Finalize the MPI environment.
> > > MPI_Finalize();
> > > }
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $ cat
> > > ExampleJob.o41704
> > > Fri Sep 2 11:28:26 MSK 2016
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 1
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 5
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 3
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 6
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 0
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 2
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 4
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 17
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 21
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank 8
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank 9
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 16
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 10
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 18
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 12
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 19
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 14
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 20
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 15
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 23
> > > out
> > > of 24 processors
> > > Hello world from processor n13.unicluster.campus.mephi.ru, rank 7
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 11
> > > out
> > > of 24 processors
> > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > 22
> > > out
> > > of 24 processors
> > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > 13
> > > out
> > > of 24 processors
> > > Fri Sep 2 11:28:27 MSK 2016
> > >
> > > Как видно, с количеством потоков и подхватом переменных окружения
> > > проблем нет.
> > >
> > > Ещё была проблема в команде ".", которую не воспринимал sh.
> > > Возможно,
> > > Вы пользуетесь другой командной оболочкой, но на узлах
> > > запускается
> > > sh,
> > > как и указано Вами в Sha Bang (заглавие скрипта #!/bin/sh). Лучше
> > > использовать обычный "cd". Я из под Вашего пользователя написал
> > > работающий скрипт:
> > >
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > test_by_anikeev.sh
> > > #!/bin/sh
> > > #
> > > #PBS -l nodes=1:ppn=4,walltime=48:00:00
> > >
> > > cd ~/espresso-5.4.0/test
> > >
> > > mpirun pw.x <test.in >test.out
> > >
> > > Который не приводит к проблемам с директориями:
> > >
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > test_by_anikeev.sh.e41701
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $
> > >
> > > Кроме того, я не обнаружил проблем с количеством потоков (в
> > > скрипте
> > > есть команда mpirun, но нет её аргумента -np):
> > >
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat test.out
> > >
> > > Program PWSCF v.5.4.0 starts on 2Sep2016 at 11:43:35
> > >
> > > This program is part of the open-source Quantum ESPRESSO
> > > suite
> > > for quantum simulation of materials; please cite
> > > "P. Giannozzi et al., J. Phys.:Condens. Matter 21 395502
> > > (2009);
> > > URL http://www.quantum-espresso.org",
> > > in publications or presentations arising from this work.
> > > More
> > > details at
> > > http://www.quantum-espresso.org/quote
> > >
> > > Parallel version (MPI), running on 4 processors
> > > R & G space division: proc/nbgrp/npool/nimage = 4
> > >
> > > При количестве потоков более 4 дейсвтительно возникает Segfault
> > > даже
> > > на
> > > одной ноде:
> > >
> > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > test_by_anikeev.sh.e41705
> > >
> > > Program received signal SIGSEGV: Segmentation fault - invalid
> > > memory
> > > reference.
> > >
> > > Backtrace for this error:
> > > #0 0x7FBDA271FBF7
> > > #1 0x7FBDA27201FE
> > > #2 0x7FBDA1A245AF
> > > #3 0x7FBD97586110
> > > #4 0x7FBDA5B4200D
> > > #5 0x7FBDA5B4231D
> > > -----------------------------------------------------------------
> > > ----
> > > -----
> > > mpirun noticed that process rank 6 with PID 20201 on node
> > > n13.unicluster.campus.mephi.ru exited on signal 11 (Segmentation
> > > fault).
> > > -----------------------------------------------------------------
> > > ----
> > > -----
> > >
> > > Для решения проблемы с Segfault я бы посоветовал собрать
> > > программу
> > > с
> > > аргументом компилятора "-ggdb3" и запустить её с отладчиками gdb
> > > и
> > > valgrind. Это позволит узнать больше о проблеме. Вот здесь можно
> > > посмотреть пример использования gdb вместе с mpirun:
> > >
> > > https://stackoverflow.com/questions/329259/how-do-i-debug-an-mpi-
> > > pr
> > > og
> > > ra
> > > m
> > >
> > > >
> > > >
> > > >
> > > > в test.in пишу разные задачи, и с каждой из задач такая
> > > > картина.
> > > > Когда запрашиваю nodes=4:ppn=8, а в параметрах mpirun не пишу
> > > > np
> > > > (как
> > > > в инструкции), аут выдает, что вычисление идет на 1 процессоре.
> > > > Если
> > > > указывать -np, вычисление идет на соответствующем количестве
> > > > процессоров. При nodes=4, np 4 проходит нормально, при большем
> > > > количестве возникает segmentation fault, при этом аут не выдает
> > > > ошибки, просто прекращается запись. прикрепляю собранные логи.
> > > > папки,
> > > > в которой лежат тесты и скрипт: osvasilyev at master.unicluster
> > > > ~/espresso-5.4.0/test, osvasilyev at master.unicluster ~/espresso-
> > > > 5.4.0/13
> > > >
> > > > С Уважением,
> > > > Олег С. Васильев
> > > > каф. №78 НИЯУ МИФИ
> > > > ________________________________________
> > > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev@
> > > > ut
> > > > .m
> > > > ep
> > > > hi.ru]
> > > > Отправлено: 1 сентября 2016 г. 11:53
> > > > Кому: NRNU MEPhI HPC discussion list
> > > > Тема: Re: [mephi-hpc] HA: Quantum espresso parallel
> > > >
> > > > On Wed, 2016-08-31 at 18:07 +0300, anikeev wrote:
> > > > Добрый день!
> > > >
> > > > Вы исчерпали дисковую квоту /home (/dev/sda2) на
> > > > master.unicluster:
> > > >
> > > > osvasilyev at master.unicluster ~ $ quota -u
> > > > Disk quotas for user osvasilyev (uid 1113):
> > > > Filesystem blocks quota limit grace files quota
> > > > l
> > > > im
> > > > it
> > > > grace
> > > > /dev/sda2 2139512* 2000000
> > > > 192.168.137.101:/home
> > > > 57268 2000000
> > > >
> > > > Нужно перенести часть данных на хранилища
> > > > /mnt/pool/{1..4}/osvasilyev
> > > > или забрать с кластера. Пока диск де будет очищен, сохранять
> > > > новые
> > > > данные будет невозможно (grace период в неделю так же
> > > > исчерпан),
> > > > что
> > > > затрудняет дальнейшую диагностику.
> > > >
> > > > Перенесите, пожалуйста, свои данные. Либо, разрешите мне
> > > > перенести
> > > > на
> > > > хранилище Вашу директорию:
> > > >
> > > > osvasilyev at master.unicluster ~ $ mv espresso-5.4.0/
> > > > /mnt/pool/1/osvasilyev/
> > > >
> > > > >
> > > > >
> > > > >
> > > > >
> > > > > On Wed, 2016-08-31 at 17:55 +0300, Васильев Олег
> > > > > Станиславович
> > > > > wrote:
> > > > >
> > > > > Не вижу Ваших попыток подключения. Узнайте, пожалуйста, свой
> > > > > внешний
> > > > > IP
> > > > > адресс. Можно, например, узнать здесь:
> > > > >
> > > > > https://2ip.ru/
> > > > >
> > > > > Можно прислать лог подключения, выводимый командой
> > > > >
> > > > > ssh -vvv osvasilyev at hpc.mephi.ru
> > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > > сегодня не получается войти на кластер, ни по ssh из
> > > > > > командной
> > > > > > строки, ни по fish используя менеджeр krusader. скрипт как
> > > > > > помню
> > > > > > здесь home/espresso-5.4.0/test.sh
> > > > > >
> > > > > > С Уважением,
> > > > > > Олег С. Васильев
> > > > > > каф. №78 НИЯУ МИФИ
> > > > > > ________________________________________
> > > > > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev
> > > > > > [anikeev@
> > > > > > ut
> > > > > > .m
> > > > > > ep
> > > > > > hi.ru]
> > > > > > Отправлено: 31 августа 2016 г. 17:33
> > > > > > Кому: hpc at lists.ut.mephi.ru
> > > > > > Тема: Re: [mephi-hpc] Quantum espresso parallel
> > > > > >
> > > > > > Добрый вечер!
> > > > > >
> > > > > > Сообщите, пожалуйста, номер Вашей задачи и путь до скрипта
> > > > > > запуска,
> > > > > > чтобы я мог её воспроизвести. Не могу найти в логах.
> > > > > >
> > > > > > On Wed, 2016-08-31 at 16:32 +0300, Васильев Олег
> > > > > > Станиславович
> > > > > > wrote:
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > > osvasilyev
> > > > > > --
> > > > > > С уважением,
> > > > > > аспирант кафедры 4 МИФИ,
> > > > > > инженер отдела Unix-технологий,
> > > > > > Аник
> > > > > > еев Артём.
> > > > > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > > > > _______________________________________________
> > > > > > hpc mailing list
> > > > > > hpc at lists.mephi.ru
> > > > > > https://lists.mephi.ru/listinfo/hpc
> > > > > > _______________________________________________
> > > > > > hpc mailing list
> > > > > > hpc at lists.mephi.ru
> > > > > > https://lists.mephi.ru/listinfo/hpc
> > > > --
> > > > С уважением,
> > > > аспирант кафедры 4 МИФИ,
> > > > инженер отдела Unix-технологий,
> > > > Аник
> > > > еев Артём.
> > > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > > _______________________________________________
> > > > hpc mailing list
> > > > hpc at lists.mephi.ru
> > > > https://lists.mephi.ru/listinfo/hpc
> > > > _______________________________________________
> > > > hpc mailing list
> > > > hpc at lists.mephi.ru
> > > > https://lists.mephi.ru/listinfo/hpc
> > > --
> > > С уважением,
> > > аспирант кафедры 4 МИФИ,
> > > инженер отдела Unix-технологий,
> > > Аник
> > > еев Артём.
> > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > _______________________________________________
> > > hpc mailing list
> > > hpc at lists.mephi.ru
> > > https://lists.mephi.ru/listinfo/hpc
> > > _______________________________________________
> > > hpc mailing list
> > > hpc at lists.mephi.ru
> > > https://lists.mephi.ru/listinfo/hpc
> > --
> > С уважением,
> > аспирант кафедры 4 МИФИ,
> > инженер отдела Unix-технологий,
> > Аник
> > еев Артём.
> > Тел.: 8 (495) 788-56-99, доб. 8998
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> --
> С уважением,
> аспирант кафедры 4 МИФИ,
> инженер отдела Unix-технологий,
> Аник
> еев Артём.
> Тел.: 8 (495) 788-56-99, доб. 8998
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
--
С уважением,
аспирант кафедры 4 МИФИ,
инженер отдела Unix-технологий,
Аник
еев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
_______________________________________________
hpc mailing list
hpc at lists.mephi.ru
https://lists.mephi.ru/listinfo/hpc
More information about the hpc
mailing list