Прототип пакетной обработки данных с ипользованием контейнеров

3 Jul 2023, 17:45
15m
MLIT Conference Hall

MLIT Conference Hall

Distributed Computing Systems Distributed Computing Systems

Speaker

Alexandr Baranov ((JINR))

Description

В Лаборатории Информационных Технологий им. М.Г. Мещерякова (ЛИТ), Объединённого Института Ядерных исследований (ОИЯИ) в качестве системы для пакетной обработки данных поступающих от экспериментов CMS, АTLAS, ALICE, MPD, BM@N и других, используется система Slurm. Выполнение задачи от Slurm происходит в операционной системе (ОС) непосредственно на физическом сервере (вычислительный узел, ВУ). Перед включением в кластер требуется его подготовить, т.е. установить и настроить операционную систему и базовое программное обеспечение. Эта операция является времязатратной, особенно когда требуется настроить сразу много серверов. Для снижения этих операционных усилий автором предлагается заменить среду исполнения пользовательских задач контейнерезированной средой.
В докладе будет представлен прототип пакетной обработки выполненной в контейнерезированной среде. Будет рассмотрена техническая реализация прототипа с применением открытого ПО: Slurm,Consul,consul-template,Terraform,Prometheus,Docker.

Primary author

Presentation materials