Nginx.conf

location ~ ^/cgi-bin/.*\.cgi$
{
fastcgi_pass unix:/var/run/nginx-fcgi.sock;
fastcgi_read_timeout 5m;
fastcgi_index index.cgi;
#
# You may copy and paste the lines under or use include directive
# include /etc/nginx/nginx-fcgi.conf;
# In this example all is in one file
#
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_TYPE $content_type;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_param GATEWAY_INTERFACE CGI/1.1;
fastcgi_param SERVER_SOFTWARE nginx;
fastcgi_param SCRIPT_NAME $fastcgi_script_name;
fastcgi_param REQUEST_URI $request_uri;
fastcgi_param DOCUMENT_URI $document_uri;
fastcgi_param DOCUMENT_ROOT $document_root;
fastcgi_param SERVER_PROTOCOL $server_protocol;
fastcgi_param REMOTE_ADDR $remote_addr;
fastcgi_param REMOTE_PORT $remote_port;
fastcgi_param SERVER_ADDR $server_addr;
fastcgi_param SERVER_PORT $server_port;
fastcgi_param SERVER_NAME $server_name;
}

(http://www.nginx.eu/nginx-fcgi.html)

Самым узким местом является запуск perl-wrapper в режиме fastcgi. Скрипт для запуска nginx-fcgi.pl, представленный в документации, неверно отрабатывает POST запросы.

# processing any STDIN input from WebServer (for CGI-POST actions)
$stdin_passthrough = ”;
$req_len = 0 + $req_params{‘CONTENT_LENGTH’};
if (($req_params{‘REQUEST_METHOD’} eq ‘POST’) && ($req_len != 0) ){
  while ($req_len) {
    $stdin_passthrough .= getc(STDIN);
    $req_len–;
  }
}

Я встречал несколько модификаций скрипта, одна из которых предлагала такое решение:

#processing any STDIN input from WebServer (for CGI-POST actions)
$stdin_passthrough =”;
$req_len = 0 + $req_params{‘CONTENT_LENGTH’};
if (($req_params{‘REQUEST_METHOD’} eq ‘POST’) && ($req_len != 0) ){
  my $bytes_read = 0;
  while ($bytes_read < $req_len) {
    my $data = '';
    my $bytes = read(STDIN, $data, ($req_len - $bytes_read));
last if ($bytes == 0 || !defined($bytes));
    $stdin_passthrough .= $data;
    $bytes_read += $bytes;
  }
}

(http://www.ruby-forum.com/topic/145858)

В качестве хостинга у меня был nichost.ru, поэтому накладывалось множество ограничений, связанных с отсутствием syscall и ограничениями cpan. Поэтому я решил пойти иным путем и вручную конвертировать POST-запрос в GET путем добавления к QUERY_STRING тела POST-запроса. Также нужно не забыть присвоить REQUEST_METHOD значение GET.

# little hack translate all POST data to GET data:
$input_get = $ENV{‘QUERY_STRING’};
$input_post = $stdin_passthrough;
if (($input_get ne ”) and ($input_post ne ”)){
  $input = $input_get.’&’.$input_post;
} else {
  $input = $input_get.$input_post;
}
$ENV{‘QUERY_STRING’} = $input;
$ENV{‘REQUEST_METHOD’} = ‘GET’;

Также исходные скрипт при любом исходе пишет в заголовки информацию об ошибке. Это связано с неверной обработкой и исправить это можно следующим образом:

open $cgi_app, ‘-|’, $req_params{SCRIPT_FILENAME}, $stdin_passthrough or scripterror($log_file, $req_params);

sub script_error {
  my ($log_file, $req_params) = @_;
  print(“Content-type: text/plain\r\n\r\n”);
  print “Error: CGI app returned no output – Executing $req_params{SCRIPT_FILENAME} failed !\n”;
  addlog($logfile, “Error: CGI app returned no output – Executing $req_params{SCRIPT_FILENAME} failed !”);
}

Конечно же это не самое лучшее решение, но работать будет. Стоит отметить, что multipart/form-data при таком подходе работать не будет.

Задача

Рассчитать проникание КС в стену (пример из пакета поставки AUTODYN, wallimpact) при нескольких различных конфигурациях кластера и составить таблицу, показывающую влияние количества узлов на время расчета.

Оборудование и программное обеспечение

У меня в распоряжении находились 6 компьютеров с двуядерными процессорами AMD с конфигурацией, представленной на рис.

ПО: MS Windows XP SP2, AUTODYN 6.1, WMPI II 2.4.1.

Пример расчета на кластере из 6-ти узлов

Настройка кластера (фактически редактирование файла группы процессов).

В данном случае рассматриваются двуядерные системы, поэтому в поле «Number of CPU» указывается число 2. Чисто задач (tasks) на узел назначается исходя из того, чтобы на каждое ядро приходилась минимум одна задача.

Число задач (tasks) является входным параметром для декомпозиции расчетной области на участки. При этом области можно задавать как вручную, так и назначать автоматически (делением на равное число отрезков по осям).

Далее производят балансировку участков, также исходя из количества задач.

Настройка параллелизма завершена. Во время расчета можно наблюдать характерные протоколы нагрузки процессоров.

Результаты экспериментов

Тесты практически всегда можно оспорить, этот эксперимент не исключение. Целью эксперимента являлось получение расчетного времени стандартной задачи в serial-режиме, в параллельном режиме на 2-х ядрах, на 4-х ядрах 2-х компьютеров и тд до 5-ти компьютеров одинаковой конфигурации. Оценивалось время инициализации slaves (с момента старта до 5-ого цикла расчета), время счета (с 5-ого цикла расчета, до 205-ого, а также 205-405). Время фиксировалось по созданию файлов результатов с точностью до секунды.

Комментировать результаты не берусь, т.к. все напрямую зависит от параметров декомпозиции, от количества задач и других факторов. Поэтому я привожу только «голые» числа.

В качестве такого приложения может послужить DropBox (http://www.getdropbox.com/). Достаточно лишь положить файл с нулевым шагом в папку совместного доступа dropbox и начать расчет. Программа автоматически будет синхронизировать результаты с сервером и добавлять новые файлы, таким образом, данные будут доступны вне вычислительного центра.

Конечно у подхода множество минусов (безопасность, ограничение на объем, низкая скорость синхронизации), но при всем при этом, такой способ вполне оправдан.

Замечания об AUTODYN 6.1

Эксперименты по параллельному вычислению в ЛВС проводились в AUTODYN версии 6.1. Выбор версии был обусловлен тем, что 6.1 отличалась по сравнению с другими версиями, которые я тестировал, более простой настройкой взаимодействия WMPI, сервера лицензий и AUTODYN.

Это ни в коем случае не означает, что «свежие» версии хуже ( я считаю, что совсем наоборот) просто у меня нет возможности испытать лицензионные промышленные версии.

Подготовка к установке окружения

Рассмотрим пример файла конфигурации группы процессов (User Guide) для WMPI:

mountain 2 “c:\mpi apps\weathersim” 10 256
squirrel 1 “c:\mpi apps\weathersim” 10 512
pacific 1 /home/wmpi-user/apps/weathersim 20 256

Формат файла:

<Machine Name> <number of procs> <executable path> [arguments]

Аналогичные файлы создает AUTODYN при конфигурации параллельного вычисления. Интерфейс настройки имеет следующий вид:

Из анализа описания настройки WMPI можно сформулировать следующие рекомендации:

• архитектура сети должна быть продумана таким образом, чтобы компьютер было легко опознать по имени хоста;
• выделить «главный» узел (main node) ЛВС – компьютер, с которого будут запускаться задачи на расчет, обычно играющий роль сервера лицензий WMPI;
• каждый из узлов сети должен иметь учетную запись администратора, с одинаковыми именем и паролями, содержащую в имени только латинские буквы и цифры;
• AUTODYN должен быть установлен на всех компьютерах идентично, в одну и ту же папку, таким образом, чтобы в пути до файла adslave6.exe не встречались проблемы.

Этот список далеко неполный и необязательный, воспринимать его как единственно верный не следует. По большому счету разницы в том, как будут названы компьютеры или насколько одинаковой будет установка AUTODYN на каждом из узлов, нет, но эти советы помогут избежать некоторых проблем, устранение которых будет проблематично в дальнейшем.

Установка окружения

После того, как установка AUTODYN и настройка учетных записей будет завершена, следует приступить к установке WMPI. Это приложение позволяет задавать конфигурацию кластера в процессе установки и в автоматическом режиме устанавливать библиотеку для параллельных вычислений на каждом из требуемых узлов ЛВС. В случае если какие-либо узлы окажутся недоступными в процессе установки приложения на главный узел ЛВС, установщик создаст ряд bat-файлов в папке installation (C:\Program Files\WMPI II\installation) с инструкциями по установке в ручном режиме на «проблемные» узлы.

С установкой WMPI на узлы обычно возникает довольно много весьма неприятных проблем. Например, требуется специфическая настройка firewalls, отключение блокировки процессов WMPI антивирусами и тд.

После того, как установка WMPI на все узлы завершена, необходимо зарегистрировать учетную запись администратора в WMPI при помощи утилиты User Register (wmpi2reguser.exe) и проверить конфигурацию на главном узле ЛВС. Проверка конфигурации осуществляется при помощи утилиты wmpi2testconf. В случае если кластер сконфигурирован правильно, то результат команды wmpi2testconf wmpi.clusterconf будет иметь следующий вид:

wmpi2testconf for WMPI II (2.4.1) – Copyright 2004 by Critical Software (www.criticalsoftware.com)

License Server Check

+ License Server: NODE-MAIN

+ License: Valid.
—————————

Cluster configuration Interpretation

The cluster has 6 machines

* Machine node-1 *

+ Available devices:
Device: shmem Machine id: node-1
Device: tcp Machine id: node-1
–
+ Connections:
Connect with machine node-1 using shmem device.
Connect with machine node-2 using tcp device.
Connect with machine node-3 using tcp device.
Connect with machine node-4 using tcp device.
Connect with machine node-5 using tcp device.
Connect with machine node-main using tcp device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

* Machine node-2 *

+ Available devices:
Device: shmem Machine id: node-2
Device: tcp Machine id: node-2
–
+ Connections:
Connect with machine node-1 using tcp device.
Connect with machine node-2 using shmem device.
Connect with machine node-3 using tcp device.
Connect with machine node-4 using tcp device.
Connect with machine node-5 using tcp device.
Connect with machine node-main using tcp device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

* Machine node-3 *

+ Available devices:
Device: shmem Machine id: node-3
Device: tcp Machine id: node-3
–
+ Connections:
Connect with machine node-1 using tcp device.
Connect with machine node-2 using tcp device.
Connect with machine node-3 using shmem device.
Connect with machine node-4 using tcp device.
Connect with machine node-5 using tcp device.
Connect with machine node-main using tcp device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

* Machine node-4 *

+ Available devices:
Device: shmem Machine id: node-4
Device: tcp Machine id: node-4
–
+ Connections:
Connect with machine node-1 using tcp device.
Connect with machine node-2 using tcp device.
Connect with machine node-3 using tcp device.
Connect with machine node-4 using shmem device.
Connect with machine node-5 using tcp device.
Connect with machine node-main using tcp device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

* Machine node-5 *

+ Available devices:
Device: shmem Machine id: node-5
Device: tcp Machine id: node-5
–
+ Connections:
Connect with machine node-1 using tcp device.
Connect with machine node-2 using tcp device.
Connect with machine node-3 using tcp device.
Connect with machine node-4 using tcp device.
Connect with machine node-5 using shmem device.
Connect with machine node-main using tcp device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

* Machine node-main *

+ Available devices:
Device: shmem Machine id: node-main
Device: tcp Machine id: node-main
–
+ Connections:
Connect with machine node-1 using tcp device.
Connect with machine node-2 using tcp device.
Connect with machine node-3 using tcp device.
Connect with machine node-4 using tcp device.
Connect with machine node-5 using tcp device.
Connect with machine node-main using shmem device.
–
+ Security:
Domain: node-main
User: admin
–
+ Verification contact with remote machine:
All libraries and security context verification succeeded in the remote machine.

—————————

WMPI II configuration is correct

Настройка AUTODYN

Следующий этап – настройка AUTODYN на каждом из узлов. Для этого необходимо скопировать библиотеку wmpi2.dll (C:\Program Files\WMPI II\bin) в папку с исполняемыми файлами AUTODYN и заменить им файл wmpi.dll. На главном узле в эту папку необходимо также скопировать файл wmpi.clusterconf (C:\Program Files\WMPI II\bin) с настройками кластера.

На этом настройка AUTODYN и окружения для работы в параллельном режиме завершена.

Если есть что добавить (а надеюсь, что есть), или же я где-то наврал, пожалуйста, напишите.

Краткая справка

Ни для кого не секрет, что задачи численного интегрирования являются сверх ресурсоемкими. Особенно это ощутимо, когда речь идет о 3-х мерных задачах, на вычисление которых уходят недели. Для решения таких задач в промышленных масштабах используются специальные высокопроизводительные системы. Но такие системы далеко не всегда доступны, поэтому часто приходится использовать обычные персональные компьютеры для решения такого рода задач. Многоядерные процессоры сегодня широко распространены на рынке компьютерной техники и являются достаточно доступными. Применение такого рода процессоров позволяет значительно сократить время расчета. Но для этого требуется правильная настройка численных пакетов. Так, если запустить решение задачи в autodyn можно заметить, что будет загружено всего одно ядро. В случае если у вас дома, например, 4-х ядерный Intel Core 2 Quad, то процессор будет загружен примерно на 25%. В данном обзоре я не буду вдаваться в подробности о различиях кластеров, устройстве памяти, конфигурации сети или типов процессоров. Я приведу лишь инструкции по запуску autodyn в параллельном режиме.

Особенности autodyn

Для реализации параллелизма на ОС MS Windows Autodyn использует стороннее приложение WMPI (Critical Software), требующее отдельной лицензии. Некоторые ранние версии Autodyn 11 имеют проблемы с реализацией функционала параллелизма, поэтому обладателям нелицензионных копий скорее всего не повезет.

Общий процесс установки и запуска.

Процесс установки состоит из нескольких частей:

1. установка и настройка WMPI 1.6 под Windows;
2. настройка файлов конфигурации кластера для autodyn;
3. тестовые задачи.

Стоит отметить, что в WMPI и autodyn старших версий имеют проблемы с локализированными версиями Windows. Если вы используете стандартную для русской версии windows учетную запись с именем «Администратор», то я рекомендую создать новую запись администратора с английским названием, например, root. Для корректной работы WMPI требуется также задать пароль для учетной записи.

Установка и настройка WMPI

В системные требования Autodyn входит WMPI 1.5.8. На текущий день самым последним релизом первой ветки WMPI является версия 1.6.1.

Скачать ее можно на сайте производителя:
http://www.criticalhpc.com/downloadswmpi.php?download_os=win

Теперь немного о лицензиях. Для проверки работоспособности я рекомендую зарегистрироваться и получить временную лицензию, хоть она и имеет ряд ограничений: 40 суток использования, максимальное кол-во процессоров — 4. Собственно, для задач на ПК этого как раз достаточно. Файл с временной лицензией высылается в приложении к письму сразу после скачивания. При установке следуйте рекомендациям мастера. Сразу после установки необходимо указать от какого пользователя должен запускаться WMPI. Для этого нужно провести следующие операции:

Start — programs — WMPI — User Register

Username — имя учетной записи;
Domain name — сетевое имя компьютера или домена;
User password — пароль учетной записи;
Verify password — подтверждение пароля;
После заполнения нажать «Register».

После чего попробуйте запустить тесты WMPI:

Start — run
Cmd
C:\Program Files\WMPI\examples\VisualCPP\Hello_World_cpp\Release\
Hello_World_cpp.exe

В результате на экране вы должны получить следующее:

В моем случае WMPI установлен в папку C:\Program Files\WMPI\, имя компьютера anick.

В случае если возникают какие-либо ошибки, воспользуйтесь утилитой отладки конфигурации wmpitestconf.exe, которая устанавливается вместе с WMPI.

Настройка конфигурации autodyn 11.

Для того чтобы настроить autodyn необходимо скопировать файлы wmpi.clusterconf и wmpi.dll (из папки C:\Program Files\WMPI\bin) в папку с установленным autodyn (в моем случае, C:\ansys\v110\AISOL\AUTODYN\intel\ , при стандартной установке: C:\Program Files\ANSYS Inc\v110\ ).

В папке запускаемых файлов autodyn нужно создать файл wmpi.pg

ANICK 2 C:\ansys\v110\AISOL\AUTODYN\intel\adslave.exe

Настройка конфигурации autodyn 6.

Настройка выполняется несколько проще. Нужно скопировать файл конфигурации wmpi.clusterconf (C:\Program Files\WMPI\bin) в папки с autodyn 6 (в моем случае E:\autodyn\adv61 и E:\autodyn\adv61dp).

Запуск тестовой задачи.

В качестве тестовой задачи я использую пример sph_birdstrike из поставки autodyn. Операции аналогичны на 11-ой и на 6-ой версии autodyn.

Технические характеристики испытуемого компьютера:

Сначала для примера запустим вычисления в обычном serial-режиме. Нагрузка на процессор в данном случае:

Шаг 1. Активирование параллельного вычисления

Шаг 2. Активация параллельного режима

Шаг 3. Создание декомпозиции

Decomposition set — add

Шаг 4. Просмотр результата декомпозиции

Шаг 5. Добавление хоста

Host configuration sets — add

Настройка задачи для параллельного вычисления завершена

Т.к. параметры для параллельного вычисления заданы, то можно запустить расчет и посмотреть нагрузку процессора в данном случае.

Возникает резонный вопрос, а почему загрузка не 100%? Это связано с особенностями декомпозиции. Существуют такие задачи, в которых 100% загрузки ядер удается получить даже автоматической декомпозицией без каких-либо трудностей. При ручном задании декомпозиции приростом производительности (speedup) можно управлять. Существуют много методов увеличения производительности систем, например, создание очереди на ядро или же специфические сетевые конфигурации для сетей компьютеров. Но как я говорил выше, анализ производительности в данной статье я производить не буду. Хотя бы даже по тому что «все тесты врут», да и компетентным, в такого рода вопросах, меня можно назвать лишь с большой натяжкой.

Некоторый анализ прироста производительности был опубликован на конференции «Решения ANSYS для ВПК и электроники». Скачать презентацию «Распараллеливание решателей программных продуктов ANSYS. Применение решений HPC (высокопроизводительных вычислений) для решения задач больших размерностей.»

Если есть какие-либо вопросы или просто есть что сказать, то не стесняйтесь использовать форму под этой статьей по ее прямому назначению.