<HTML><BODY>Спасибо!<br><br>Вторник, 12 февраля 2019, 12:05 +03:00 от anikeev <anikeev@ut.mephi.ru>:<br>
<blockquote style="border-left:1px solid #0857A6; margin:10px; padding:0 0 0 10px;">
<div id="">
<div class="js-helper js-readmsg-msg">
<style type="text/css"></style>
<div id="viewmessagebody" class="mr_read__body">
<base target="_self" href="https://touch.mail.ru/cgi-bin/">
<div id="style_15499623120000000879_BODY">On Mon, 2019-02-11 at 21:03 +0300, Мария Шутикова wrote:<br>
> Теперь я понимаю! <br>
> Спасибо!<br>
Добрый день!<br>
<br>
> В будущем действительно планируются вычисления, занимающие больше<br>
> ресурсов. Но их нельзя было провести без результатов этих. <br>
<br>
В последовательных (не параллельных) вычислениях нет ничего плохого.<br>
Суть ограничения в том, чтобы не занимать ресурсы, которые Ваше ПО не<br>
может использовать. Просто используйте node=1:ppn=1 для<br>
последовательных задач.<br>
<br>
> Если можно, еще маленький вопрос. Я слышала, что на кластере<br>
> установлена Quantum Espresso, с поддержкой mpi, и у QE существует<br>
> больше возможностей для распараллеливания. Не подскажете, где<br>
> находится ее рабочая версия? После тестов с SIESTA мне нужно сравнить<br>
> их на одной и той же задаче. Вооружившись знаниями, надеюсь, что<br>
> справлюсь с этим сама)<br>
<br>
Базовая версия Quantum Espresso (без дополнительных модулей)<br>
установлена системно на кластере cherenkov:<br>
<br>
<a href="/compose?To=anikeev@master.cherenkov">anikeev@master.cherenkov</a> ~ $ dpkg -l | grep quantum<br>
ii quantum-espresso 6.0-<br>
3 amd64 Electronic-Structure and<br>
Ab-Initio Molecular Dynamics Suite<br>
ii quantum-espresso-data 6.0-<br>
3 all Electronic-Structure and<br>
Ab-Initio Molecular Dynamics Suite (Documentation)<br>
<br>
<br>
В пакете Quantum Espresso имеется много различных исполняемых файлов.<br>
Полный список установленных пакетом файлов можно узнать командой:<br>
<br>
<a href="/compose?To=anikeev@master.cherenkov">anikeev@master.cherenkov</a> ~ $ dpkg-query -L quantum-espresso<br>
<br>
Исполняемый файлы находятся в /usr/bin<br>
<br>
<a href="/compose?To=anikeev@master.cherenkov">anikeev@master.cherenkov</a> ~ $ dpkg-query -L quantum-espresso | grep<br>
/usr/bin<br>
<br>
Кроме того, часть пользователей использует собственный сборки Qunatum<br>
Espresso, отличающиеся версиями и конфигурациями. Вы можете попробовать<br>
связаться с ними зерез lists.<br>
<br>
> Понедельник, 11 февраля 2019, 18:18 +03:00 от anikeev<br>
> <<a href="/compose?To=anikeev@ut.mephi.ru">anikeev@ut.mephi.ru</a>>:<br>
> On Fri, 2019-02-08 at 19:38 +0300, Мария Шутикова wrote:<br>
> > Спасибо!<br>
> Добрый день!<br>
> <br>
> > Входные файлы и скрипт для запуска задачи поместила в<br>
> > pool/4/mishutikova/W_444_test<br>
> > Наверное, лучше дождаться завершения моей текущей задачи, и<br>
> запускать<br>
> > после, тогда наверняка ничего не повредится.<br>
> > И я после нее не буду пока ставить задач, дождусь Вашего совета.<br>
> <br>
> Проблема оказалась в том, что алгоритм siesta не очень хорошо<br>
> параллелизован. Действительно, есть участки алгоритма, когда<br>
> программа<br>
> использует все доступные потоки, но большую часть времени она<br>
> работает<br>
> в один поток. Когда Вы запрашиваете полный вычислительный узел, Вашу<br>
> задачу принудительно завершает менеджер ресурсов т.к. она использует<br>
> менее 10% от затребованных ресурсов суммарно с момента запуска.<br>
> <br>
> С другой стороны, фактическое потребление памяти оказалось небольшим.<br>
> Под такую задачу не обязательно резервировать целый узел. Попробуйте<br>
> построить график роста производительности для таких точек:<br>
> <br>
> nodes=1 ppn=1 OMP_NUM_THREADS=1<br>
> nodes=1 ppn=2 OMP_NUM_THREADS=2<br>
> nodes=1 ppn=4 OMP_NUM_THREADS=4<br>
> nodes=1 ppn=8 OMP_NUM_THREADS=8<br>
> <br>
> Эти задачи не должны прерываться, т.к. в худшем случае даже при<br>
> занятости только одного ядра оно будет составлять более 10% от 8<br>
> ядер.<br>
> К сожалению, поскольку программа большую часть времени даже не<br>
> использует дополнительные вычислительные потоки, прирост<br>
> производительности должен оказаться весьма скромным, но будет<br>
> правильнее, если Вы убедитесь в этом сами. В таком случае логичнее<br>
> всего использовать nodes=1 ppn=1 OMP_NUM_THREADS=1.<br>
> <br>
> Эти результаты получены для тестовой задачи. Эффективность<br>
> параллелизма<br>
> может быть разной не только у разных алгоритмов siesta, но и для<br>
> разных<br>
> входных данных. Это же утверждение справедливо для потребления<br>
> памяти.<br>
> При установке siesta оговаривалось большое потребление памяти, но на<br>
> предложенном тесте оно не проявляется. Возможно, Ваши коллеги<br>
> используют какой-то другой алгоритм или сильно отличающиеся входные<br>
> данные. При существенном изменении задачи анализ производительности<br>
> надо проводить заново, если планируется достаточное число однотипных<br>
> запусков.<br>
> <br>
> > Пятница, 8 февраля 2019, 16:04 +03:00 от anikeev <anikeev@ut.mephi.<br>
> ru<br>
> > >:<br>
> > <br>
> > On Fri, 2019-02-08 at 15:55 +0300, Мария Шутикова wrote:<br>
> > > Понятно!<br>
> > > Значит из того, что задачи с nodes=1::ppn=32 и OMP_NUM_THREADS=1,<br>
> > 4,<br>
> > > 8, 32 так завершаются, а задача с nodes=1::ppn=1<br>
> > > и OMP_NUM_THREADS=1 считается 10 часов, осталось поменять pnn,<br>
> > > скажем, на nodes=1::ppn=4, чтобы задача не завершалась как<br>
> > > зависшая, и подобрать OMP_NUM_THREADS, или я ошибаюсь?<br>
> > Как запустить Вашу задачу, не повредив Ваши данные? Что-то с ней<br>
> > слишком много проблем, давайте я посмотрю более детально.<br>
> > <br>
> > > Пятница, 8 февраля 2019, 14:15 +03:00 от anikeev <<a href="/compose?To=anikeev@ut.meph">anikeev@ut.meph</a><br>
> i.<br>
> > ru<br>
> > > >:<br>
> > > <br>
> > > On Fri, 2019-02-08 at 10:20 +0300, Мария Шутикова wrote:<br>
> > > > Здравствуйте!<br>
> > > Добрый день!<br>
> > > <br>
> > > > Мой вопрос про ppn возник не с проста!<br>
> > > > В папке pool/4/mishutikova остались файлы torque от двух задач:<br>
> > > > W444job.sh.o143244, соответствующий запуску с nodes=1::ppn=1<br>
> > > > и OMP_NUM_THREADS=1<br>
> > > > <br>
> > > > и<br>
> > > > <br>
> > > > W444job.sh.o143517, соответствующий запуску с nodes=1::ppn=32<br>
> > > > и OMP_NUM_THREADS=1<br>
> > > > <br>
> > > > В первом случае задача посчиталась полностью (через ~10 часов)<br>
> и<br>
> > > > написала в конце Job completed<br>
> > > > <br>
> > > > Во втором случае задача застыла через примерно 40 минут работы<br>
> и<br>
> > > > все. Если зайти и проверить ее статус, то выясняется, что<br>
> задачи<br>
> > > > больше нет, хотя она стояла в очереди long, и время выйти еще<br>
> не<br>
> > > > должно было.<br>
> > > > И вот так было и раньше когда я ставила ppn=32<br>
> > > > <br>
> > > > Вот...<br>
> > > <br>
> > > Torque не различает задачи, завершившиеся аварийно или штатно. Он<br>
> > > просто записывает STDOUT и STDERR.<br>
> > > <br>
> > > Проблема оказалась в том, что Ваша задача потребляет слишком<br>
> малую<br>
> > > часть запрошенных ресурсов и принудительно завершается как<br>
> > зависшая.<br>
> > > Попробуйте начать с OMP_NUM_THREADS=4 и больше.<br>
> > > <br>
> > > > _______________________________________________<br>
> > > > hpc mailing list<br>
> > > > <a href="/compose?To=hpc@lists.mephi.ru">hpc@lists.mephi.ru</a><br>
> > > > <a href="https://lists.mephi.ru/listinfo/hpc" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
> > > -- <br>
> > > С уважением,<br>
> > > инженер отдела Unix-технологий МИФИ,<br>
> > > Аникеев Артём.<br>
> > > Тел.: 8<br>
> > > (495) 788-56-99, доб. 8998<br>
> > > <br>
> > > <br>
> > > _______________________________________________<br>
> > > hpc mailing list<br>
> > > <a href="/compose?To=hpc@lists.mephi.ru">hpc@lists.mephi.ru</a><br>
> > > <a href="https://lists.mephi.ru/listinfo/hpc" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
> > -- <br>
> > С уважением,<br>
> > инженер отдела Unix-технологий МИФИ,<br>
> > Аникеев Артём.<br>
> > Тел.: 8<br>
> > (495) 788-56-99, доб. 8998<br>
> > <br>
> > <br>
> > _______________________________________________<br>
> > hpc mailing list<br>
> > <a href="/compose?To=hpc@lists.mephi.ru">hpc@lists.mephi.ru</a><br>
> > <a href="https://lists.mephi.ru/listinfo/hpc" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
> -- <br>
> С уважением,<br>
> инженер отдела Unix-технологий МИФИ,<br>
> Аникеев Артём.<br>
> Тел.: 8<br>
> (495) 788-56-99, доб. 8998<br>
> <br>
> <br>
> _______________________________________________<br>
> hpc mailing list<br>
> <a href="/compose?To=hpc@lists.mephi.ru">hpc@lists.mephi.ru</a><br>
> <a href="https://lists.mephi.ru/listinfo/hpc" target="_blank">https://lists.mephi.ru/listinfo/hpc</a><br>
-- <br>
С уважением,<br>
инженер отдела Unix-технологий МИФИ,<br>
Аникеев Артём.<br>
Тел.: 8<br>
(495) 788-56-99, доб. 8998<br>
</div>
<base target="_self" href="https://touch.mail.ru/cgi-bin/">
</div>
</div>
</div>
</blockquote>
<br>
<br>-- <br>Мария Шутикова<br></BODY></HTML>