[mephi-hpc] HA: HA: HA: HA: HA: HA: Quantum espresso parallel
anikeev
anikeev at ut.mephi.ru
Tue Sep 6 13:45:24 MSK 2016
On Tue, 2016-09-06 at 12:05 +0300, Васильев Олег Станиславович wrote:
Добрый день!
> Спасибо, только не нашел, что указывать в MPI_LIBS = .
master.unicluster anikeev # equery files --tree sys-cluster/openmpi
* Searching for openmpi in sys-cluster ...
* Contents of sys-cluster/openmpi-1.6.5:
...
/usr
> /include
+ mpi-ext.h
+ mpi.h
+ mpi_portable_platform.h
+ mpif-common.h
+ mpif-config.h
+ mpif-mpi-io.h
+ mpif.h
> /openmpi
> /ompi
> /mpi
> /cxx
+ comm.h
...
> /lib64
+ libmca_common_sm.la
...
> /openmpi
+ libompi_dbg_msgq.la
...
> С Уважением,
> Олег С. Васильев
> каф. №78 НИЯУ МИФИ
> ________________________________________
> От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut.mep
> hi.ru]
> Отправлено: 2 сентября 2016 г. 17:08
> Кому: NRNU MEPhI HPC discussion list
> Тема: Re: [mephi-hpc] HA: HA: HA: HA: HA: Quantum espresso
> parallel
>
> On Fri, 2016-09-02 at 16:34 +0300, Васильев Олег Станиславович wrote:
> Это базовые библиотеки для вычислительных кластеров. Для поиска
> установленных пакетов можно пользоваться утилитами eix и emerge -pv
>
> osvasilyev at master.unicluster ~ $ eix blas
> ...
>
> Файлы, установленные пакетом можно найти так:
>
> osvasilyev at master.unicluster ~ $ equery files --tree sci-
> libs/openblas
> ...
> /usr
> > /include
> > /openblas
> + cblas.h
> + f77blas.h
> + openblas_config.h
> > /lib64
> + libopenblas.so -> libopenblas_penryn-r0.2.8.so
> + libopenblas.so.0 -> libopenblas_penryn-r0.2.8.so
> + libopenblas_penryn-r0.2.8.so
> > /pkgconfig
> + openblas-openmp.pc
>
> Кроме того, для базовых библиотек настроена система управления
> альтернативами eselect:
>
> osvasilyev at master.unicluster ~ $ eselect cblas --list
> Available providers for cblas:
> [1] atlas
> [2] atlas-threads
> [3] gotoblas2-openmp
> [4] gsl
> [5] mkl32-dynamic
> [6] mkl32-dynamic-openmp
> [7] mkl32-gcc-openmp
> [8] mkl32-intel
> [9] mkl32-intel-openmp
> [10] mkl64-dynamic
> [11] mkl64-dynamic-openmp
> [12] mkl64-gcc-openmp
> [13] mkl64-int64-dynamic
> [14] mkl64-int64-dynamic-openmp
> [15] mkl64-int64-gcc-openmp
> [16] mkl64-int64-intel
> [17] mkl64-int64-intel-openmp
> [18] mkl64-intel
> [19] mkl64-intel-openmp
> [20] openblas-openmp *
> [21] reference
> osvasilyev at master.unicluster ~ $ eselect blas --list
> Available providers for blas:
> [1] atlas
> [2] atlas-threads
> [3] eigen
> [4] gotoblas2-openmp
> [5] mkl32-dynamic
> [6] mkl32-dynamic-openmp
> [7] mkl32-gfortran
> [8] mkl32-gfortran-openmp
> [9] mkl32-intel
> [10] mkl32-intel-openmp
> [11] mkl64-dynamic
> [12] mkl64-dynamic-openmp
> [13] mkl64-gfortran
> [14] mkl64-gfortran-openmp
> [15] mkl64-int64-dynamic
> [16] mkl64-int64-dynamic-openmp
> [17] mkl64-int64-gfortran
> [18] mkl64-int64-gfortran-openmp
> [19] mkl64-int64-intel
> [20] mkl64-int64-intel-openmp
> [21] mkl64-intel
> [22] mkl64-intel-openmp
> [23] openblas-openmp *
> [24] reference
> osvasilyev at master.unicluster ~ $ eselect lapack --list
> Available providers for lapack:
> [1] atlas
> [2] atlas-threads
> [3] mkl32-dynamic
> [4] mkl32-dynamic-openmp
> [5] mkl32-gfortran
> [6] mkl32-gfortran-openmp
> [7] mkl32-intel
> [8] mkl32-intel-openmp
> [9] mkl64-dynamic
> [10] mkl64-dynamic-openmp
> [11] mkl64-gfortran
> [12] mkl64-gfortran-openmp *
> [13] mkl64-int64-dynamic
> [14] mkl64-int64-dynamic-openmp
> [15] mkl64-int64-gfortran
> [16] mkl64-int64-gfortran-openmp
> [17] mkl64-int64-intel
> [18] mkl64-int64-intel-openmp
> [19] mkl64-intel
> [20] mkl64-intel-openmp
> [21] reference
> osvasilyev at master.unicluster ~ $ eselect lapacke --list
> Available providers for lapacke:
> [1] mkl32-dynamic
> [2] mkl32-dynamic-openmp
> [3] mkl32-gcc-openmp
> [4] mkl32-intel
> [5] mkl32-intel-openmp
> [6] mkl64-dynamic
> [7] mkl64-dynamic-openmp
> [8] mkl64-gcc-openmp *
> [9] mkl64-int64-dynamic
> [10] mkl64-int64-dynamic-openmp
> [11] mkl64-int64-gcc-openmp
> [12] mkl64-int64-intel
> [13] mkl64-int64-intel-openmp
> [14] mkl64-intel
> [15] mkl64-intel-openmp
> [16] reference
> ...
>
> По умолчанию выставлены версии библиотек, показавшие наибольшую
> производительность по результатам тестирования (lapack-mkl64-
> gfortran-
> openmp, lapacke-mkl64-gcc-openmp, sci-libs/openblas, sci-libs/fftw,
> sys-cluster/openmpi).
>
> Если установленных пакетов недостаточно, мы по заявкам ставим пакеты
> из
> репозитория Gentoo. Пакеты, не представленные в репозитории ставятся
> по
> возможности.
>
> >
> > Тогда сразу вопрос по конфигурации.
> > /home/basov/osvasilyev/qepw/make.sys
> > из нужных библиотек blas, lapack, fft, MPI нашлсь только blas, в
> > -L/opt/intel/composerxe-2013.0.080/mkl/lib/intel64, остальные
> > находятся неустановленные(?), можете установить их?
> >
> >
> > С Уважением,
> > Олег С. Васильев
> > каф. №78 НИЯУ МИФИ
> > ________________________________________
> > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut.m
> > ep
> > hi.ru]
> > Отправлено: 2 сентября 2016 г. 15:24
> > Кому: NRNU MEPhI HPC discussion list
> > Тема: Re: [mephi-hpc] HA: HA: HA: HA: Quantum espresso parallel
> >
> > On Fri, 2016-09-02 at 15:04 +0300, Васильев Олег Станиславович
> > wrote:
> > Вы были автоматически заблокированы за слишком частое подключение.
> > Я
> > снял блокировку с Вашего IP адреса. Вы пользуетесь
> > автоматизированными
> > скриптами для ssh? Если да, то нужно удерживать одно установленное
> > соединение с использованием механизма shh сокетов, как указано в
> > руководстве пользователя:
> >
> > https://ut.mephi.ru/pdf/projects/hpc/unicluster/userguide.pdf
> >
> > "При необходимости реализации нескольких соединений можно
> > использовать
> > механизм сокетов ssh. Для использования этого механизма следует
> > включить его на стороне пользователя. Например, для пакета OpenSSH
> > достаточно дописать в файл /etc/ssh/ssh_config:
> > ControlMaster auto
> > ControlPath ~/.ssh/socket-%r@%h:%p
> > "
> >
> > >
> > >
> > > басов и юникластер не пускают по ssh. юникластер по fish
> > > доступен.
> > >
> > > С Уважением,
> > > Олег С. Васильев
> > > каф. №78 НИЯУ МИФИ
> > > ________________________________________
> > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev at ut
> > > .m
> > > ep
> > > hi.ru]
> > > Отправлено: 2 сентября 2016 г. 14:38
> > > Кому: NRNU MEPhI HPC discussion list
> > > Тема: Re: [mephi-hpc] HA: HA: HA: Quantum espresso parallel
> > >
> > > On Fri, 2016-09-02 at 14:26 +0300, Васильев Олег Станиславович
> > > wrote:
> > > На время теста лучше убрать. Иначе вывод gdb может быть сокращен
> > > из-
> > > за
> > > auto inline. Но если программа аккуратно написана, то даже с
> > > -Ofast
> > > должно работать. Это вопрос к качеству кода.
> > > >
> > > >
> > > >
> > > > >
> > > > >
> > > > >
> > > > >
> > > > > Для решения проблемы с Segfault я бы посоветовал собрать
> > > > > программу
> > > > > с аргументом компилятора "-ggdb3"
> > > > у меня там -O3, его убирать?
> > > >
> > > > С Уважением,
> > > > Олег С. Васильев
> > > > каф. №78 НИЯУ МИФИ
> > > > ________________________________________
> > > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev [anikeev@
> > > > ut
> > > > .m
> > > > ep
> > > > hi.ru]
> > > > Отправлено: 2 сентября 2016 г. 11:57
> > > > Кому: NRNU MEPhI HPC discussion list
> > > > Тема: Re: [mephi-hpc] HA: HA: Quantum espresso parallel
> > > >
> > > > On Thu, 2016-09-01 at 23:26 +0300, Васильев Олег Станиславович
> > > > wrote:
> > > > Добрый день!
> > > >
> > > > >
> > > > >
> > > > >
> > > > >
> > > > > Понял, спасибо. Сегодня с доступом все в порядке, поэтому
> > > > > могу
> > > > > описать ситуацию более конкретно. Почистил пока папку, потом
> > > > > пересоберу на басове, но со сборкой тоже есть вопросы, так
> > > > > что
> > > > > пока
> > > > > чтобы хоть немного разобраться, провел еще несколько тестов.
> > > > > скрипт выглядит так:
> > > > > #!/bin/sh
> > > > > #
> > > > > #PBS -l nodes=4:ppn=8,walltime=48:00:00
> > > > >
> > > > > . ~/espresso-5.4.0/test
> > > > >
> > > > > mpirun -np 4 pw.x <test.in >test.out
> > > >
> > > > У Вас в скрипте пару проблем. Для начала, аргумент -np у mpirun
> > > > -
> > > > это
> > > > количество потоков, а не нод. У Вас запрашивается 4 ноды по 8
> > > > потоков,
> > > > то есть 4*8=32 потока. Во-вторых, это значение по умолчанию
> > > > заполняет
> > > > менеджер ресурсов torque через переменные окружения при
> > > > запуске,
> > > > так
> > > > что в штатных случаях её заполнять не нужно. Для примера я из
> > > > под
> > > > Вашего пользователя собрал и запустил MPI тест от Ливерморской
> > > > Национальной Лаборатории:
> > > >
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $
> > > > cat
> > > > start.sh
> > > > #!/bin/sh
> > > > #
> > > > #This is an example script example.sh
> > > > #
> > > > #These commands set up the Grid Environment for your job:
> > > > #PBS -N ExampleJob
> > > > #PBS -l nodes=3:ppn=8,walltime=1:00:00
> > > > #PBS -M anikeev_aa at mail.ru
> > > >
> > > > #print the time and date
> > > > date
> > > >
> > > > #run simulation
> > > > mpirun /home/osvasilyev/espresso-5.4.0/test/mpi_test/a.out
> > > >
> > > > #print the time and date again
> > > > date
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $
> > > > cat
> > > > mpi_hello_world.c
> > > > #include <mpi.h>
> > > > #include <stdio.h>
> > > >
> > > > int main(int argc, char** argv) {
> > > > // Initialize the MPI environment
> > > > MPI_Init(NULL, NULL);
> > > >
> > > > // Get the number of processes
> > > > int world_size;
> > > > MPI_Comm_size(MPI_COMM_WORLD, &world_size);
> > > >
> > > > // Get the rank of the process
> > > > int world_rank;
> > > > MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
> > > >
> > > > // Get the name of the processor
> > > > char processor_name[MPI_MAX_PROCESSOR_NAME];
> > > > int name_len;
> > > > MPI_Get_processor_name(processor_name, &name_len);
> > > >
> > > > // Print off a hello world message
> > > > printf("Hello world from processor %s, rank %d"
> > > > " out of %d processors\n",
> > > > processor_name, world_rank, world_size);
> > > >
> > > > // Finalize the MPI environment.
> > > > MPI_Finalize();
> > > > }
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test/mpi_test $
> > > > cat
> > > > ExampleJob.o41704
> > > > Fri Sep 2 11:28:26 MSK 2016
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 1
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 5
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 3
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 6
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 0
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 2
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 4
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 17
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 21
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 8
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 9
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 16
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 10
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 18
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 12
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 19
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 14
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 20
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 15
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 23
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n13.unicluster.campus.mephi.ru, rank
> > > > 7
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 11
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n10.unicluster.campus.mephi.ru, rank
> > > > 22
> > > > out
> > > > of 24 processors
> > > > Hello world from processor n12.unicluster.campus.mephi.ru, rank
> > > > 13
> > > > out
> > > > of 24 processors
> > > > Fri Sep 2 11:28:27 MSK 2016
> > > >
> > > > Как видно, с количеством потоков и подхватом переменных
> > > > окружения
> > > > проблем нет.
> > > >
> > > > Ещё была проблема в команде ".", которую не воспринимал sh.
> > > > Возможно,
> > > > Вы пользуетесь другой командной оболочкой, но на узлах
> > > > запускается
> > > > sh,
> > > > как и указано Вами в Sha Bang (заглавие скрипта #!/bin/sh).
> > > > Лучше
> > > > использовать обычный "cd". Я из под Вашего пользователя написал
> > > > работающий скрипт:
> > > >
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > > test_by_anikeev.sh
> > > > #!/bin/sh
> > > > #
> > > > #PBS -l nodes=1:ppn=4,walltime=48:00:00
> > > >
> > > > cd ~/espresso-5.4.0/test
> > > >
> > > > mpirun pw.x <test.in >test.out
> > > >
> > > > Который не приводит к проблемам с директориями:
> > > >
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > > test_by_anikeev.sh.e41701
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $
> > > >
> > > > Кроме того, я не обнаружил проблем с количеством потоков (в
> > > > скрипте
> > > > есть команда mpirun, но нет её аргумента -np):
> > > >
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > > test.out
> > > >
> > > > Program PWSCF v.5.4.0 starts on 2Sep2016 at 11:43:35
> > > >
> > > > This program is part of the open-source Quantum ESPRESSO
> > > > suite
> > > > for quantum simulation of materials; please cite
> > > > "P. Giannozzi et al., J. Phys.:Condens. Matter 21
> > > > 395502
> > > > (2009);
> > > > URL http://www.quantum-espresso.org",
> > > > in publications or presentations arising from this work.
> > > > More
> > > > details at
> > > > http://www.quantum-espresso.org/quote
> > > >
> > > > Parallel version (MPI), running on 4 processors
> > > > R & G space division: proc/nbgrp/npool/nimage = 4
> > > >
> > > > При количестве потоков более 4 дейсвтительно возникает Segfault
> > > > даже
> > > > на
> > > > одной ноде:
> > > >
> > > > osvasilyev at master.unicluster ~/espresso-5.4.0/test $ cat
> > > > test_by_anikeev.sh.e41705
> > > >
> > > > Program received signal SIGSEGV: Segmentation fault - invalid
> > > > memory
> > > > reference.
> > > >
> > > > Backtrace for this error:
> > > > #0 0x7FBDA271FBF7
> > > > #1 0x7FBDA27201FE
> > > > #2 0x7FBDA1A245AF
> > > > #3 0x7FBD97586110
> > > > #4 0x7FBDA5B4200D
> > > > #5 0x7FBDA5B4231D
> > > > -------------------------------------------------------------
> > > > ----
> > > > ----
> > > > -----
> > > > mpirun noticed that process rank 6 with PID 20201 on node
> > > > n13.unicluster.campus.mephi.ru exited on signal 11
> > > > (Segmentation
> > > > fault).
> > > > -------------------------------------------------------------
> > > > ----
> > > > ----
> > > > -----
> > > >
> > > > Для решения проблемы с Segfault я бы посоветовал собрать
> > > > программу
> > > > с
> > > > аргументом компилятора "-ggdb3" и запустить её с отладчиками
> > > > gdb
> > > > и
> > > > valgrind. Это позволит узнать больше о проблеме. Вот здесь
> > > > можно
> > > > посмотреть пример использования gdb вместе с mpirun:
> > > >
> > > > https://stackoverflow.com/questions/329259/how-do-i-debug-an-mp
> > > > i-
> > > > pr
> > > > og
> > > > ra
> > > > m
> > > >
> > > > >
> > > > >
> > > > >
> > > > >
> > > > > в test.in пишу разные задачи, и с каждой из задач такая
> > > > > картина.
> > > > > Когда запрашиваю nodes=4:ppn=8, а в параметрах mpirun не пишу
> > > > > np
> > > > > (как
> > > > > в инструкции), аут выдает, что вычисление идет на 1
> > > > > процессоре.
> > > > > Если
> > > > > указывать -np, вычисление идет на соответствующем количестве
> > > > > процессоров. При nodes=4, np 4 проходит нормально, при
> > > > > большем
> > > > > количестве возникает segmentation fault, при этом аут не
> > > > > выдает
> > > > > ошибки, просто прекращается запись. прикрепляю собранные
> > > > > логи.
> > > > > папки,
> > > > > в которой лежат тесты и скрипт: osvasilyev at master.unicluster
> > > > > ~/espresso-5.4.0/test, osvasilyev at master.unicluster
> > > > > ~/espresso-
> > > > > 5.4.0/13
> > > > >
> > > > > С Уважением,
> > > > > Олег С. Васильев
> > > > > каф. №78 НИЯУ МИФИ
> > > > > ________________________________________
> > > > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev
> > > > > [anikeev@
> > > > > ut
> > > > > .m
> > > > > ep
> > > > > hi.ru]
> > > > > Отправлено: 1 сентября 2016 г. 11:53
> > > > > Кому: NRNU MEPhI HPC discussion list
> > > > > Тема: Re: [mephi-hpc] HA: Quantum espresso parallel
> > > > >
> > > > > On Wed, 2016-08-31 at 18:07 +0300, anikeev wrote:
> > > > > Добрый день!
> > > > >
> > > > > Вы исчерпали дисковую квоту /home (/dev/sda2) на
> > > > > master.unicluster:
> > > > >
> > > > > osvasilyev at master.unicluster ~ $ quota -u
> > > > > Disk quotas for user osvasilyev (uid 1113):
> > > > > Filesystem blocks quota limit grace files quo
> > > > > ta
> > > > > l
> > > > > im
> > > > > it
> > > > > grace
> > > > > /dev/sda2 2139512* 2000000
> > > > > 192.168.137.101:/home
> > > > > 57268 2000000
> > > > >
> > > > > Нужно перенести часть данных на хранилища
> > > > > /mnt/pool/{1..4}/osvasilyev
> > > > > или забрать с кластера. Пока диск де будет очищен, сохранять
> > > > > новые
> > > > > данные будет невозможно (grace период в неделю так же
> > > > > исчерпан),
> > > > > что
> > > > > затрудняет дальнейшую диагностику.
> > > > >
> > > > > Перенесите, пожалуйста, свои данные. Либо, разрешите мне
> > > > > перенести
> > > > > на
> > > > > хранилище Вашу директорию:
> > > > >
> > > > > osvasilyev at master.unicluster ~ $ mv espresso-5.4.0/
> > > > > /mnt/pool/1/osvasilyev/
> > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > >
> > > > > > On Wed, 2016-08-31 at 17:55 +0300, Васильев Олег
> > > > > > Станиславович
> > > > > > wrote:
> > > > > >
> > > > > > Не вижу Ваших попыток подключения. Узнайте, пожалуйста,
> > > > > > свой
> > > > > > внешний
> > > > > > IP
> > > > > > адресс. Можно, например, узнать здесь:
> > > > > >
> > > > > > https://2ip.ru/
> > > > > >
> > > > > > Можно прислать лог подключения, выводимый командой
> > > > > >
> > > > > > ssh -vvv osvasilyev at hpc.mephi.ru
> > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > >
> > > > > > > сегодня не получается войти на кластер, ни по ssh из
> > > > > > > командной
> > > > > > > строки, ни по fish используя менеджeр krusader. скрипт
> > > > > > > как
> > > > > > > помню
> > > > > > > здесь home/espresso-5.4.0/test.sh
> > > > > > >
> > > > > > > С Уважением,
> > > > > > > Олег С. Васильев
> > > > > > > каф. №78 НИЯУ МИФИ
> > > > > > > ________________________________________
> > > > > > > От: hpc [hpc-bounces at lists.mephi.ru] от имени anikeev
> > > > > > > [anikeev@
> > > > > > > ut
> > > > > > > .m
> > > > > > > ep
> > > > > > > hi.ru]
> > > > > > > Отправлено: 31 августа 2016 г. 17:33
> > > > > > > Кому: hpc at lists.ut.mephi.ru
> > > > > > > Тема: Re: [mephi-hpc] Quantum espresso parallel
> > > > > > >
> > > > > > > Добрый вечер!
> > > > > > >
> > > > > > > Сообщите, пожалуйста, номер Вашей задачи и путь до
> > > > > > > скрипта
> > > > > > > запуска,
> > > > > > > чтобы я мог её воспроизвести. Не могу найти в логах.
> > > > > > >
> > > > > > > On Wed, 2016-08-31 at 16:32 +0300, Васильев Олег
> > > > > > > Станиславович
> > > > > > > wrote:
> > > > > > > >
> > > > > > > >
> > > > > > > >
> > > > > > > >
> > > > > > > >
> > > > > > > >
> > > > > > > >
> > > > > > > > osvasilyev
> > > > > > > --
> > > > > > > С уважением,
> > > > > > > аспирант кафедры 4 МИФИ,
> > > > > > > инженер отдела Unix-технологий,
> > > > > > > Аник
> > > > > > > еев Артём.
> > > > > > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > > > > > _______________________________________________
> > > > > > > hpc mailing list
> > > > > > > hpc at lists.mephi.ru
> > > > > > > https://lists.mephi.ru/listinfo/hpc
> > > > > > > _______________________________________________
> > > > > > > hpc mailing list
> > > > > > > hpc at lists.mephi.ru
> > > > > > > https://lists.mephi.ru/listinfo/hpc
> > > > > --
> > > > > С уважением,
> > > > > аспирант кафедры 4 МИФИ,
> > > > > инженер отдела Unix-технологий,
> > > > > Аник
> > > > > еев Артём.
> > > > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > > > _______________________________________________
> > > > > hpc mailing list
> > > > > hpc at lists.mephi.ru
> > > > > https://lists.mephi.ru/listinfo/hpc
> > > > > _______________________________________________
> > > > > hpc mailing list
> > > > > hpc at lists.mephi.ru
> > > > > https://lists.mephi.ru/listinfo/hpc
> > > > --
> > > > С уважением,
> > > > аспирант кафедры 4 МИФИ,
> > > > инженер отдела Unix-технологий,
> > > > Аник
> > > > еев Артём.
> > > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > > _______________________________________________
> > > > hpc mailing list
> > > > hpc at lists.mephi.ru
> > > > https://lists.mephi.ru/listinfo/hpc
> > > > _______________________________________________
> > > > hpc mailing list
> > > > hpc at lists.mephi.ru
> > > > https://lists.mephi.ru/listinfo/hpc
> > > --
> > > С уважением,
> > > аспирант кафедры 4 МИФИ,
> > > инженер отдела Unix-технологий,
> > > Аник
> > > еев Артём.
> > > Тел.: 8 (495) 788-56-99, доб. 8998
> > > _______________________________________________
> > > hpc mailing list
> > > hpc at lists.mephi.ru
> > > https://lists.mephi.ru/listinfo/hpc
> > > _______________________________________________
> > > hpc mailing list
> > > hpc at lists.mephi.ru
> > > https://lists.mephi.ru/listinfo/hpc
> > --
> > С уважением,
> > аспирант кафедры 4 МИФИ,
> > инженер отдела Unix-технологий,
> > Аник
> > еев Артём.
> > Тел.: 8 (495) 788-56-99, доб. 8998
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> > _______________________________________________
> > hpc mailing list
> > hpc at lists.mephi.ru
> > https://lists.mephi.ru/listinfo/hpc
> --
> С уважением,
> аспирант кафедры 4 МИФИ,
> инженер отдела Unix-технологий,
> Аник
> еев Артём.
> Тел.: 8 (495) 788-56-99, доб. 8998
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
> _______________________________________________
> hpc mailing list
> hpc at lists.mephi.ru
> https://lists.mephi.ru/listinfo/hpc
--
С уважением,
аспирант кафедры 4 МИФИ,
инженер отдела Unix-технологий,
Аник
еев Артём.
Тел.: 8 (495) 788-56-99, доб. 8998
More information about the hpc
mailing list