Руководство пользователя кластера




Скачать 204.17 Kb.
НазваниеРуководство пользователя кластера
Дата публикации23.03.2014
Размер204.17 Kb.
ТипРуководство пользователя
uchebilka.ru > Информатика > Руководство пользователя





Руководство пользователя кластера

Института теоретической физики им. Н.Н. Боголюбова

Версия 1.2
5 февраля 2014 г.
Аннотация


Данное руководство предназначено для пользователей вычислительного кластера ИТФ им. Н.Н. Боголюбова. Руководство содержит минимально необходимый объем информации для работы на кластере ИТФ: описание процесса регистрации, сведения по работе в ОС Linux (вход в систему, работа с каталогами и файлами, мониторинг) и работе с MPI программами и непараллельными программами на кластере (компиляция, запуск, остановка, работа с очередями). В тексте под термином параллельная программа подразумеваются только MPI программы.

Команды и переменные командного интерпретатора, названия программ, листинги, непосредственный ввод/вывод консоли выделены жирным шрифтом.

Вопросы относительно работы кластера следует отправлять на e-mailпо адресу: helpdesk@bitp.kiev.ua или обращаться в к. 233
Последняя версия руководства (в формате Windows Word) находится по адресуна кластере: ftp://clusterui.bitp.kiev.ua/pub/Cluster_http://grid.bitp.kiev.ua/manual.pdfdoc
Вопросы относительно этого документа (ошибки, неточности, предложения) можно отправлять на e-mail: helpdesk@bitp.kiev.ua

Содержание


Введение 4

1. Регистрация 4

2.Вход в систему 5

2.1Вход с Windows – машины 5

2.2 Вход с терминала Linux 7

3.Копирование файлов 7

4.Работа на кластере 9

4.2Навигация 10

4.2.1Консоль 10

4.2.2 mc 11

4.3Редактирование файлов 11

4.3.1mc-edit 11

4.3.2Emacs, VIM 12

4.4Компиляция MPI программ 12

4.5Запуск программ 13

4.5.1 Запуск MPI программ 13

4.6Очереди 13

4.6.1Типы очередей 13

4.6.2Работа с очередями 14

4.6.3Остановка задач 15

5.Работа с непараллельными программами 16

6.Мониторинг 17

6.2web – интерфейс 17

6.3Консоль 17



Введение



Базовый Linux кластер состоит из 5 двух процессорных компьютеров на процессорах Intel XEON. Восемь компьютеров объединены в вычислительную ферму и не доступны для интерактивной работы пользователя. Один двухпроцессорный сервер на базе Xeon i5 с RAM 32 Gb, 10-ть серверов с RAM 64Gb и один c RAM 256Gb. Один компьютер является управляющим для вычислительной фермы и к нему разрешен интерактивный доступ пользователей для хранения своих программ. Есть менеджер очередей, который находится на отдельном сервере torque.bitp.kiev.ua.

На всех машинах установлена ОС ^ Linux дистрибутив, совпадающий с тем, что используется в CERN - Scientific Linux 6.4 (SL6).

В состав Scientific Linux 6.4 (SL6) входит необходимое программное обеспечение для компиляции (C, C++, Fortran 77), отладки и выполнения программ. Дополнительно установлено программное обеспечение для параллельных вычислений (компиляторы: mpiCC, mpicc, mpif77).

Запуск задач на счет, управление выполнением задачи и отправка результатов пользователю производятся средствами программного обеспечения системы пакетной обработки заданий PBS.

В случае, если пользователю необходимо дополнительное программное обеспечение (например, ^ ASIS (CERN), включая CERNlib, дополнительные компиляторы) необходимо обратиться к администратору кластера.

1. Регистрация


Для регистрации пользователей на кластере необходимо заполнить форму следующего вида


Фамилия:*

Имя:*

Отчество:*

Логин:*

Пароль:*

e-mail (сообщения с кластера):


e-mail (контактный):

Отдел:*

Телефон (контактный):

Примечание:
На В регистрационной форме (Рис.1) пользователь должен заполнить ряд обязательных (выделенных символом «*») и не обязательных полей.
^ Фамилия, Имя, Отчество. Эти поля являются обязательными.
Логин. Имя пользователя, применяемое для входа на кластер. Разрешено применение только латинских букв и цифр. Минимальный размер этого поля 4 символа.
Пароль. Пароль для входа на кластер. . Разрешено применение только латинских букв и цифр. Минимальный размер этого поля 8 символов.
e-mail (сообщения кластера). По этому адресу будут отправляться сообщения связанные с пользовательскими заданиями.
e-mail (контактный). По этому адресу будут отправляться организационные сообщения, связанные с регистрацией пользователя, ошибки в работе и т.п. Можно указывать один и тот же адрес в этом и предыдущее предыдущем поле.
^ Уведомления об изменениях в работе кластера. Если в этом поле поставлен флажок, то на контактный e-mail будет периодически отправляться информация об изменениях в работе очередей, профилактике, обновлениях программного обеспечения.
(Заполненную заявку нужно передать С.Я. Свистунову в к. 421 или отправить по почте svistunov@bitp.kiev.ua)


  1. ^

    Вход в систему



Для работы с системой пользователь должен иметь свою учетную запись на управляющем узле кластера. Регистрация описана в предыдущем разделе. После регистрации пользователь получает логин, пароль и домашнюю директорию. Если имя пользователя, например, будет maxim, то домашняя папка находится в /nhome/maxim.
Зарегистрированный пПользователиь имеют имеет доступ к кластеру и возможность работать на кластере нем с любой любого мкомпьютера,ашины, находящейся находящегося в локальной сети института или в Интернете. Доступ к кластеру осуществляется по протоколу ssh. Для входа в систему пользователю необходим адрес сервера (194.44.37.136 – вход из локальной сети, clusterui.bitp.kiev.ua – вход через интернетИнтернет), а так же имя и пароль, указанные в регистрации.

    1. ^

      Вход с Windows – машины



Работа с системой осуществляется по безопасному протоколу SSH при помощи какого-либо ssh-клиента. Рекомендуется использовать программу PuTTY, которую можно бесплатно скачать по адресу http://www.chiark.greenend.org.uk/~sgtatham/putty/, либо с ФТПFTP-сервера ftp://clusterui.bitp.kiev.ua/pub/putty.zip. Эта программа распространяется является свободно распространяемой и проста в использовании.

Рис.2 Окно ssh – клиента PuTTY
После запуска программы (Рис.2) пользователь должен выбрать протокол ssh и в поле «Host Name (or IP address)» указать адрес сервера. Нажатие на «Open» приведет к отправке запроса на подключение. В случае успешного подключения к серверу будет предложено ввести имя (логин), а затем и пароль. При вводе пароля символы на экране не отображаются. Если все введено правильно, то пользователь автоматически окажется в своей домашней директории.

Рис.2 Окно ssh – клиента PuTTY
Работа в ssh – сессии происходит в терминальном (текстовом, консольном) режиме. Необходимо помнить, что консоль Linux, в отличии отличие от Windows, различает регистр вводимых символов, т.е. mydoc.txt и mydoc.TXT не одно и то же. После входа на экране отображается консоль командного интерпретатора в следующес следующем формате:

Имя_пользователя@машина текущий_каталог как показано на Рис.3.

Рис. 3 Пример ssh – сессии
Также можно скачать reg-файл putty.reg по адресу ftp://clusterui.bitp.kiev.ua/pub/putty.reg. После добавления содержимого этого файла в реестр Windows в списке сохраненныйх сессий PuTTY появится сессия “clusterui.bitp.kiev.ua”, уже настроенная для использования.
^

2.2 Вход с терминала Linux



В любой дистрибутив ОС Linux входит консольный ssh-клиент. Для входа на кластер необходимо выполнить консольную команду
ssh username@clusterui.bitp.kiev.ua


  1. ^

    Копирование файлов



При работе пользователю придется копировать файлы со своей машины на кластер (программы, входные данные, библиотеки) и обратно (листинги, результаты расчетов). Для этого существует два способа: через протокол SSH или через протокол FTP.
Копирование файлов по протоколу SSH является наиболее предпочтительным при удаленном доступе. Этот протокол обеспечивает должную защитук передаваемой информации, при передаче по сети вся информация шифруется. В случае Windows-машины для этого используется утилита pscp.exe (доступная там же, где и программа-терминал PuTTY). В случае Linux -- консольная команда scp.
Формат команды для этих утилит практически одинаковый:
pscp.exe user@comp: user@another_comp:

scp user@comp: user@another_comp:

Ниже представлен пример команды в Windows для копирования в сети института пользователем svistunov файла cluster_manual.tex, расположенного в директории c:/cluster на локальном компьютере, в домашнюю директорию пользователя на кластере.
pscp.exe c:/cluster_manual.tex svistunov@clusterui.bitp.kiev.ua:$HOME

Первым обязательным параметром этой команды является копируемый файл – источник. В показанном примере это c:/cluster_manual.tex svistunov@clusterui.bitp.kiev.ua:$HOME – адрес приемника.
Формат адреса:

имя_пользователя@адрес_узла_назначения: файл_или_папка_приемник.
$HOME – является стандартной переменной окружения, содержащей расположение домашней папки пользователя.
В данном случае :$HOME эквивалентно /home/svistunov.




Если либо папка папка-источник, либо папка назначениназначения находятся в той системе, где вы выполняете эту команду, то можно не указывать имя пользователя и адрес машины. Обе команды поддерживают опцию командной строки -r, позволяющие копировать целый каталог рекурсивно.
Для копирования файлов в рабочую директорию на кластере или из рабочей директории на компьютер пользователя предполагается использовать FTP-сервис. Войдя на FTP-сервер ftp://clusterui.bitp.kiev.ua под своим именем пользователя и паролем, пользователь попадает непосредственно в домашний каталог, поле чего может скачивать/закачивать файлы.

Из соображений безопасности, для работы с личными файлами необходимо использовать протокол SFTP – Secure FTP. Этот протокол основан на протоколе SSH и шифрует передаваемые данные. Для работы с этим протоколом в Windows системе следует использовать программу WinSCP(можно скачать по адресу ftp://clusterui.bitp.kiev.ua/pub/winscp551setup.exe).

Интерфейс программы WinSCP напоминает интерфейс PuTTY. Для работы с ней проще всего перейти в раздел Session (в дереве слева, см. рис.) и нажать кнопку Import. Если у вас уже есть сохраненная сессия в PuTTY, то таким способом ее можно перенести в WinSCP.

Для установки связи с кластером нужно выбрать сессию(показана на рисунке clusterui.bitp.kiev.ua) и нажать кнопку Login. После ввода имени пользователя и пароля то пользователь автоматически окажется в своей домашней директории.

Сама работа с файлами может осуществляться либо через интерфейс, подобный Norton/Total Commander, либо подобный Windows Explorer (см. рис.).
Кроме защищенного ФТПFTP-сервера на кластере существует и обычный, общедоступный ФТПFTP. На нем хранится различное программное обеспечение, документация и т.п. Доступ осуществляется по url-адресу ftp://clusterui.bitp.kiev.ua/pub/.

  1. ^

    Работа на кластере



Для работы на кластере удобно пользоваться файловым менеджером mc, который включает редактор текстовых файлов. Универсальным способом работы на кластере является работа через консоль. Оба способа кратко описаны ниже.

    1. Навигация

      1. Консоль


На кластере пользователю для сохранения файлов доступен только его домашний каталог. Для работы с файлами и каталогами существуют несколько полезных команд (Табл.1)


Команда

Описание

Ls

Показать список папок и файлов в текущем каталоге

Pwd

Показать имя текущего каталога

cd название_каталога

Сменить каталог

mkdir название_каталога

Создать каталог

Rm

Удаляет файлы. С опцией -r рекурсивно удаляет каталоги

Clear

Очистка экрана

cp что куда

Копирование файлов и каталогов

Locate

Поиск файлов

Mv

Перемещает файлы

Cat

Вывод на экран содержимого файла

Grep

Поиск строки в тексте



Подробную справку по этим командам, а также по всем другим можно получить, набрав в консоли man имя_команды. Более расширенную информацию по большинству программ можно получить, набрав info имя_команды.

При работе в консоли удобно пользоваться клавишей автоподстановки ^ Tab. Если, набрав несколько первых символов программы или файла, пользователь нажмет на клавишу Tab, то система дополнит их до полного имени , при условии, что имеется только единственный вариант дополнения. Если вариантов несколько, то появится их список. Введение дополнительных символов, которые однозначно определяют нужное имя, и нажатие клавиши Tab приводит к выбору имени файлов или команд.
Примеры:

1) Определение в какой папке находится пользователь.
[root@localhost etc] $ pwd

/etc
2) Переход в домашний каталог.
[root@localhost etc] $ cd $HOME
3) Создание папки /mnt/buf/progr/np
[root@localhost etc] $ mkdir /mnt/buf/progr/np
4) Копирование файла blasqr.ps из текущей (домашней) директории в только что созданную. Переход в эту директорию.
[root@localhost etc] $ cp ./blasqr.ps /mnt/buf/progr/np

[root@localhost etc] $ cd /mnt/buf/progr/np
5) Находясь в созданной директории просмотр вывода списка ее содержимого.

[root@localhost np] $ ls

blasqr.ps

4.2.2 mc



В работе на кластере можно использовать файловый менеджер Midnight Commander (mc) (Рис.4), который очень похож на FAR или Norton Commander.


Рис. 4 Файловый менеджер mc
Этот файловый менеджер можно запустить из консоли: mc -ca.

Ключ -ca необходим для корректного отображения специальных символов в ssh – сессии.

    1. ^

      Редактирование файлов

      1. mc-edit



Пользователю рекомендуется основную часть исходных файлов подготавливать на своей локальной машине в привычных текстовых редакторах. Для внесения небольших изменений в файлы очень хорошо подходит встроенный в mc редактор.

Для запуска этого редактора необходимо установить курсор на интересующий файл и нажать клавишу F4 (рис.4). Для создания и редактирования нового файла – «Shift + F4».

В этом редакторе присутствуют все основные средства, имеющиеся в подобных программах: копирование, вставка, поиск, замена, подсветка синтаксиса, ряд других.
^

      1. Emacs, VIM



Если необходимы более сложные средства редактирования, то можно использовать редакторы vi / vim и emacs. Оба этих редактора имеют более чем тридцатилетнюю историю и стали культовыми в мире UNIX. Vim является более простым (по функциональности), но менее наглядным редактором. Основная функция vim - работа с исходными текстами программ. emacs - это более чем редактор. С его помощью можно осуществлять профессиональную верстку; набор, запуск и отладку программ; прием / отправление электронной почты и новостей; навигацию по жесткому диску; использовать в качестве ежедневника и многое другое.

Недостаток этих редакторов - достаточно сложное управление (особенно vim), которое нельзя назвать интуитивно понятным пользователям, привыкшим к работе в ОС Windows. За полным перечнем доступных команд редакторов рекомендуется обратиться к соответствующим руководствам.

    1. ^

      Компиляция MPI программ



В установленной реализации MPI – LAM поддерживается три языка программирования:


Компилятор

Язык

mpic++

C++

Mpicc

C

mpif77

Fortran – 77


Основные параметры для всех трех компиляторов одинаковые (табл.2). В простейшем случае скомпилировать С++ программу можно так:
[root@localhost test_sig] $ mpic++ -o test_sig ./test_sig.cpp
Для Fortran – 77
[root@localhost test_sig] $ mpif77 -o test_sig ./test_sig.f

Результатом выполнения этой команды будет исполняемый файл test_sig. Этот файл будет стандартным бинарным файлом совместимым с подавляющим большинством систем.
Примечание:

В OC Windows исполняемые файлы имеют определенное расширение: exe, bat, cmd, com и ряд других. Файлы только таких типов могут быть выполнены. В Linux исполняемые файлы определяются не их расширением, а иным способом.
Ниже представлен пример компиляции файла test_sig.cpp с наиболее часто используемыми оптимизирующими параметрами:
[root@localhost test_sig] $ mpic++ -O3 –funroll –loops –marh=pentium4 –mfpmath=sse

msse2 –mmmx –o test_sig ./test_sig.cpp
./test_sig.cpp – файл. Содержащий исходный код программы. В UNIX для указания того, что файл находится в текущей директории, нужно ставить префикс « ./ ».

Файл test_sig полученный таким образом будет оптимизирован для вычислений на кластере. Учитывая специфику приложений, особое внимание уделено параметрам, отвечающим за оптимизацию вычислений с плавающей точкой.

Обычно эти параметры оптимизации позволяют программе работать существенно быстрее.

Для продуктивной работы настоятельно рекомендуется ознакомиться с полным перечнем команд компиляторов (info gcc).
Таблица 2. Некоторые параметры компиляторов

-O3

Включение полной автоматической оптимизации компилятора

funroll –loops

Включение раскрутки циклов

marh=pentium4

mfpmath=sse

msse2

Эта группа параметров указывает компилятору использовать команды доступные начиная с Pentium 4. Вычисления с плавающей точкой будут производиться при помощи набора инструкций SSE2.

mmmx

Разрешение использования набора инструкций mmx.

o имя_файла

Имя выходного файла. Если этот параметр не указан, то по умолчанию готовая к выполнению программа будет называться a.out



    1. ^

      Запуск программ

      1. Запуск MPI программ



Для запуска MPI программ в очереди PBS используется Intel Cluster Toolkit Compiler Edition.

    1. Очереди

      1. ^

        Типы очередей



На текущий момент на кластере действуют следующие очереди:
Продвижение задач в очереди происходит последовательно. Следующая задача выбирается из очереди, имеющей больший приоритет.





Отладочная

Стандартная

^ Glite задач (учебная)

ARC задач (учебная)

ARC задач

Ресурсоемких задач

Идентификатор

short

long

edu

arcedu

nordug

bigmem

Максимальная длительность задачи

1 час

15000 часов

5 часов

5 часов

500 часов

15000 часов

Лимит задач в очереди

400

800

40

40

50

100

Лимит задач в очереди от одного пользователя

150

90

40

40

50

80

Лимит запущеных задач

60

70

5

5

5

16

Лимит запущеных задач от одного пользователя

40

35

5

5

5

10

Время работы

круглосуточно

круглосуточно

круглосуточно

круглосуточно

круглосуточно

круглосуточно

Приоритет

100

50

30

30

30

90

Доступные узлы

Все

alice20,22-23, 22-26

alice6

alice20,22-23, 25-26

alice24

alice32-42



Стандартная и отладочные очереди подобны. Они доступны круглые сутки и служат для запуска непродолжительных задач преимущественно отладочного характера.

Очередь edu и arcedu для запуска задач соответственно с промежуточного програмного обеспечения gLite и ARC учебного кластера.

Очередь nordug для запуска задач с промежуточного програмного обеспечения ARC.

Очередь bigmem для запуска задач требуемых больших обьемов памяти.

Очередь для запуска параллельных задач в настоящий момент работает круглосуточно ввиду малого их количества.

      1. ^

        Работа с очередями



Для получения информации об очередях и задачах пользователя существует команда qstat. Выполнение этой команды без параметров покажет все задачи пользователя и их состояние.
[svistunov@clusterui test_sig] $ qstat
Job id Name User Time Use S Queue

------------------- ------------------- ------------------------ ----------------------------------

32699.torque svistunov1231 svistunov 00:01:18 R long

32697.torque svistunov1232 svistunov Q edu

^ Job id - Идентификатор задачи, полученный при выполнении

Name -
Имя задачи. По умолчанию состоит из имени пользователя и времени запуска программы.

User - Имя пользователя запустившего задачу.

Time Use – Процессорное время, потраченное задачей.

^ S (State) - Состояние задачи: R - задача выполняется, Q - ожидает в очереди

Queue - очередь

В данном случае пользователю svistunov принадлежат две задачи, одна из которых (32699.torque) выполняется в длинной очереди, а вторая (32697.torque) ожидает в ночной очереди.
Команда qstat с параметром –а даст более расширенную информацию о задачах.
[svistunov@clusterui test_sig] $ qstat -a

Выполнение qstat с параметром –Q даст краткую информацию по всем очередям и задачам:

Queue - название очереди;

Memory Memory – максимально допустимая память, используемая задачами очереди;

CPU Time - максимально допустимое процессорное время, используемое задачами очереди

Walltime - максимально допустимое реальное время, используемое задачами очереди;

Node – максимальное количество нодов на задачу;

Run – количество запущенных задач;

^ Que – количество запланированных задач;

Lm – максимальное количество одновременно запущенных задач в очереди;

State – статус очереди (Enabled/Disabled, Running/Stopped).
Получение информации о задачах других пользователей невозможно, можно лишь увидеть общее число запланированных и запущенных задач.

Выполнение qstat с параметром –Q даст сводную статистику по всем очередям.

      1. ^

        Остановка задач


Остановка программы производится командой qdel идентификатор_задачи:
[svistunov@clusterui test_sig] $ qdel 32699.torque
Этой командой задача, стоящая в очереди, убирается из нее, а выполняющаяся задача снимается с выполнения. Далее начнет выполняться следующая по очереди и приоритету задача.

Задача снимается в течении некоторого времени т.о. при вызове qstat непосредственно после qdel удаленная задача все еще может быть отображена в таблице.

  1. ^

    Работа с непараллельными программами



На кластере можно компилировать и выполнять обычные непараллельные программы. При выполнении непараллельной программы выделяется один узел кластера, который выбирает система. Запускать на кластере можно любые бинарно совместимые программы. Тип очереди указывается в соответствующем поле скрипт – файла
#PBS - q dque@clusterui, (здесь dque – идентификатор очереди по умолчанию).

Компилирование программ непосредственно на кластере осуществляется стандартными средствами: g++, gcc, g77 и т.д. аналогично тому, как описано в разделе 4.3
Пусть программа sample пользователя svistunov находится в папке /home/svistunov/dir_name. Тогда запуск этой программы осуществляется командой:


[svistunov@clusterui svistunov ] $ qsub ./sample_job
где sample_job скрипт вида:

#

# пример скрипта sample_job для запуска непараллельной

# программы sample при помощи qsub

#

# указание сброса потока вывода (о) и потока ошибок (е)

#PBS –k oe

# требуемое количество узлов (для непараллельной задачи = 1)

#PBS -1 nodes=1

# является ли задача перезапускаемой (задачею с контрольными точками)

# у – является , n – не является

#PBS –r n

# почтовый адрес пользователя

#PBS –M user@bitp.kiev.ua

# какие сообщения отправлять на указанный адрес?

# a - ошибка в выполнении задачи

# b - начало выполнения

# e - завершение выполнения

#PBS –m abe

# Идентификатор очереди

#PBS –q long@clusterui

# Название задачи

#PBS –N sample

# Указание необходимого командного интерпретатора

#!/bin/sh

# Путь к папке с программой

export PATH=$PATH:/home/svistunov/dir_name

# Переход в эту папку

cd /home/svistunov/dir_name

# Непосредственный запуск программы пользователя

./sample

exit 0
sample_job представляет собой обычный скрапт скрипт командного интерпретатора т.е. в нем допустимо использование переменных, циклов, условных конструкций и т.д. Отличием является передача параметров системе диспетчеризации через комментарии особого вида:
#PBS –параметр значение
Эти комментарии должны располагаться в начале файла до указания основного командного интерпретатора.
  1. ^

    Мониторинг

    1. web – интерфейс


Мониторинг кластера реализован при помощи системы Ganglia Cluster Toolkit. Эта система позволяет следить за ресурсами кластера посредством web – интерфейса.

Система мониторинга находится по адресу http://horst-7.bitp.kiev.ua.

Для мониторинга пользователю доступно большое число типов ресурсов: загруженность процессора, оперативная память, загрузка сети, средныы загрузка, количество процессов и ряд других параметров. Имеется возможность наблюдать как за всеми компьютерами в кластере (по одному параметру), так и за каждым (по всем параметрам).

    1. Консоль


Кроме графического интерфейса существует несколько полезных консольых команд для мониторинга.
pbpnodes -a - вывод информации об узлах: тип, состояние, количество процессоров, выполняющиеся задачи.
qstat -f - вывод подробной информации о задачах пользователя.


Добавить документ в свой блог или на сайт

Похожие:

Руководство пользователя кластера iconРуководство пользователя -I
Благодарим Вас за выбор портативной навигационной системы Garmin gpsmap 60C. Данное руководство пользователя состоит из следующих...

Руководство пользователя кластера iconРуководство пользователя. S gb(seb,sea)3001Ha
Внимательно изучите руководство пользователя – это знание вашего оборудования, обеспечивающее безопасную и надежную работу

Руководство пользователя кластера iconРуководство пользователя Версия 0 от 19 января 2004 года
...

Руководство пользователя кластера iconРуководство пользователя Версия 0 от 19 января 2004 года
...

Руководство пользователя кластера iconРуководство Пользователя сопроводительные печатные и иные материалы,...
Лицензионное соглашение Motorev Software ltd с конечным пользователем о предоставлении неисключительного права на использование программного...

Руководство пользователя кластера iconРуководство пользователя программного обеспечения
Программное обеспечение пользователя позволяет управлять следующими видами данных

Руководство пользователя кластера iconРуководство пользователя
...

Руководство пользователя кластера iconСправочное руководство по работе с «личной страницей пользователя»
Личная страница пользователя предназначена для интерактивной работы с сайтом конференции «Проблемы информатики и моделирования»

Руководство пользователя кластера iconЕ. О. Комаровский Одноразовые подгузники: популярное руководство пользователя
Одноразовые подгузники: популярное руководство пользователя. – Харьков: Фолио, 2002

Руководство пользователя кластера iconРуководство оператора
Перед использованием автоматического детектора, пожалуйста, внимательно прочтите руководство пользователя

Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
uchebilka.ru
Главная страница


<