В рамках научного направления «Распределенные и высокопроизводительные вычисления для подготовки, реализации и поддержки экспериментальных и теоретических исследований, проводимых в рамках крупных инфраструктурных проектов ОИЯИ» проводятся работы по следующим темам.
Эксперимент BM@N:
Эксперимент SPD:
Руководитель: к.т.н. Герценбергер К. В.
Аннотация
Научно-исследовательская программа проводимого с 2015 года международного эксперимента BM@N на строящемся ускорительном комплексе класса мегасайенс NICA направлена на исследование фазовой диаграммы кварк-глюонной материи при экстремальных барионных плотностях и температурах. Данные исследования тесно связаны с астрофизикой и изучаемыми ей процессами формирования звезд. Получаемые данные по релятивистским столкновениям тяжелых ионов позволят изучить структуру плотной барионной материи, её уравнение состояния, определить детали фазового перехода, ответить на вопросы о существовании критической точки. Для проведения исследований в рамках эксперимента BM@N необходима разработка современного программного обеспечения, используемого для обработки и мониторинга больших данных, получаемых с установки.
Обработка и анализ экспериментальных данных, а зачастую и моделированных данных, являются неотъемлемой частью экспериментов на ускорительных установках. Для современных научных исследований характерно оперирование огромными объемами данных, регистрируемых в ходе высокоинтенсивных столкновений частиц в эксперименте, которые необходимо достаточно быстро обработать и своевременно получить физический результат, соответствующий поставленной цели. Современные вычислительные комплексы характеризуются гетерогенностью по программным и аппаратным ресурсам и географической распределенностью, в связи с чем в данной работе решается задача разработки и внедрения программных решений, базирующихся на современных системах обработки и управления большими данными, для распределенной обработки данных, получаемых на установке эксперимента. Комплексное решение поставленной задачи включает, в том числе, интеграцию системы распределенного запуска и управления задачами обработки Больших Данных, внедрение Каталога файлов с данными событий эксперимента n разработку сервисов автоматизации распределенной обработки потока данных эксперимента с учетом выбранных систем. Для апробирования развернутой платформы целесообразно создать и протестировать макет распределённой обработки данных для эксперимента BM@N на предоставленных вычислительных системах.
Возможные темы дипломных работ
1. Создание и апробация комплексной методики (синтетические тесты и использования макета обработки) оценки производительности распределенных вычислительных систем для эксперимента BM@N.
Краткое описание представленной задачи:
Методика оценки производительности существующих вычислительных платформ должна быть комплексной, то есть включать как синтетические тесты для оценки отдельных вычислительным подсистем по различным критериям, влияющим на скорость обработки данных (например, оценки LINPACK, SPEC), так и “реальные” тесты для оценки производительности собственно обработки данных экспериментов. В настоящее время для эксперимента BM@N используются следующие вычислительные платформы: кластер NICA, суперкомпьютер «Говорун», ЦИВК ОИЯИ с фрагментом центров Tier1 и Tier2 системы GRID.
Общие требования к студентам
- Знание основ операционных систем семейства Linux, а также английского языка (чтение/перевод).
2. Развитие специализированной системы запуска NICA-Scheduler эксперимента BM@N для распределенного запуска задач обработки на вычислительных платформах с различными типами систем планирования и требованиями к выполняемым задачам.
Краткое описание представленной задачи:
Одним из направлений параллельной обработки данных эксперимента BM@N является запуск задач обработки через специализированные системы планирования, отвечающие за распределение и отслеживание задач на вычислительных аппаратных платформах. Доступные для эксперимента вычислительные кластеры могут иметь различные системы планирования (например, Torque, SLURM, Condor и др.) с разными требованиями и ограничениями, например, по количеству запускаемых задач и по количеству задач в очереди. Для упрощения запуска и выполнения задач обработки данных эксперимента BM@N на платформах с разными система планированиями и предъявляемыми требованиями к задачам пользователя на языке C++ реализуется специализированная система запуска задач NICA-Scheduler, которая также решает часть вопросов, специфичных проблематике обработки данных эксперимента по столкновению частиц. В рамках данной работы будет проводиться развитие данной системы, являющейся важной частью программного обеспечения эксперимента BM@N для параллельной обработки его данных на распределенных вычислительных архитектурах.
Общие требования к студентам
- Знание основ операционных систем семейства Linux, языка программирования C++.
Руководитель: к.т.н. Герценбергер К. В.
Аннотация
Научно-исследовательская программа проводимого с 2015 года международного эксперимента BM@N на строящемся ускорительном комплексе класса мегасайенс NICA направлена на исследование фазовой диаграммы кварк-глюонной материи при экстремальных барионных плотностях и температурах. Данные исследования тесно связаны с астрофизикой и изучаемыми ей процессами формирования звезд. Получаемые данные по релятивистским столкновениям тяжелых ионов позволят изучить структуру плотной барионной материи, ее уравнение состояния, определить детали фазового перехода, ответить на вопросы о существовании критической точки. Для проведения исследований в рамках эксперимента BM@N необходима разработка современного программного обеспечения, используемого для мониторинга качества больших данных, получаемых с установки, и визуализации данных событий столкновения частиц.
Возможные темы дипломных работ
1. Разработка конфигурируемой системы контроля качества данных (DQA) эксперимента BM@N с возможностью использования в различных режимах: для онлайн-гистограммирования и реконструкции, для автоматической проверки новой версии ПО, а также для произвольного ручного запуска.
Краткое описание представленной задачи:
В крупных экспериментах по столкновению частиц контроль качества поступаемых данных играет крайне важную роль. Особенностью современных экспериментальных установок является то, что контроль качества функционирования большого количества детекторов различного типа и назначений представляет собой достаточно сложную и комплексную проблему. Для обеспечения эффективной работы детекторной установки необходимо совершенствовать автоматизацию сбора данных, в том числе обеспечивать удобный своевременный контроль операторами в ходе проведения эксперимента поступаемых данных, например, для осуществления оперативного вмешательства в случае возникновения проблем. Разработка программной системы контроля качества данных позволит как осуществить мониторинг поступаемых данных с различных поддетекторов установки, визуализируемых в виде гистограмм, так и контролировать текущее состояние и эффективность программных систем обработки событий эксперимента BM@N, избежав перехода к менее эффективным версиям ПО. Реализация системы предусматривает клиент-серверную архитектуру с графическим представлением контрольных гистограмм по данным на центральном веб-сервисе (например, JupyterLab), получающим отображаемые распределения от программного обеспечения эксперимента, базирующегося на пакете CERN ROOT. Кроме того, система контроля качества должна предоставлять возможность легкого добавления новых типов гистограмм в удобном для пользователя формате.
Общие требования к студентам
- Знание языков программирования Python и С++, основ операционных систем семейства Linux, а также английского языка (чтение/перевод).
Руководитель: к.т.н. Герценбергер К. В.
Аннотация
Научно-исследовательская программа проводимого с 2015 года международного эксперимента BM@N на строящемся ускорительном комплексе класса мегасайенс NICA направлена на исследование фазовой диаграммы кварк-глюонной материи при экстремальных барионных плотностях и температурах. Данные исследования тесно связаны с астрофизикой и изучаемыми ей процессами формирования звезд. Получаемые данные по релятивистским столкновениям тяжелых ионов позволят изучить структуру плотной барионной материи, ее уравнение состояния, определить детали фазового перехода, ответить на вопросы о существовании критической точки. Для проведения исследований в рамках эксперимента BM@N необходима разработка и использование современного программного обеспечения для хранения и предоставления на обработку данных эксперимента, а также вспомогательной информации, требуемой для проведения обработки полученных событий.
Возможные темы дипломных работ
1. Выбор и оценка эффективности применения современной NoSQL базы данных (рассматривается Cassandra или MongoDB) для хранения параметрических данных в базе данных состояний эксперимента BM@N.
Краткое описание представленной задачи:
Важной частью систем, как работающих в режиме онлайн (во время идущего эксперимента), так и решающих задачи после него, включая обработку и анализ полученных физических данных, являются информационные системы, построенные на современных базах данных и предлагающие различные пользовательские сервисы для прозрачного доступа и управления хранимыми данными и информацией о проводимом эксперименте. Одна из важных программных систем эксперимента – база данных состояний направлена на хранение, обработку и использование параметров и режимов работы различных устройств и детекторов установки в онлайн и офлайн системах обработки данных эксперимента, в том числе алгоритмах реконструкции и физического анализа событий столкновения частиц. Соответствующая информационная система решает также задачу удобного доступа и управления требуемыми параметрическими данными подсистем установки для их учета на всех этапах обработки событий столкновения частиц эксперимента. В настоящее время разработана и используется базы данных состояний на реляционной СУБД PostgreSQL. Однако с учетом современных тенденций и целесообразности использования NoSQL баз данных для хранения большого числа параметрических данных произвольного формата, в рамках данной работы необходимо провести исследование эффективности применения современных NoSQL решений для хранения параметрических данных эксперимента BM@N.
Общие требования к студентам
- Знание основ баз данных, SQL, основ операционных систем семейства Linux, а также английского языка (чтение/перевод).
2. Разработка и внедрение специализированного формата miniDST для хранения реконструированных данных событий эксперимента BM@N.
Краткое описание представленной задачи:
Модель обработки данных эксперимента BM@N имеет многоуровневую структуру. При обработке экспериментальных данных полученные с детекторов данные событий столкновения частиц оцифровываются и переводятся в понятный пользователям ROOT-формат. Далее макрос реконструкции восстанавливает информацию о частицах, зарегистрированных детекторами, их треках и других параметрах, которая записывается в выходной файл формата DST. После чего для исследования физических свойств материи, образованной в результате столкновения тяжелых ионов с мишенью, проводится физический анализ реконструированных данных. В случае обработки модельных данных, содержащими полную информацию об образованных частицах, полученную при помощи генераторов событий, моделируется прохождение частиц через детекторы при помощи пакетов транспорта частиц, и эта информация преобразуется в отклики детекторов. На следующем шаге также реконструируются события столкновения частиц с сохранением в выходной DST формат, и производится финальный физический анализ с опубликованием результатов.
Для физического анализа зачастую используют не формат DST, содержащий максимально полную информацию о реконструированных событиях столкновения частиц, а более компактный miniDST (иногда даже nanoDST). Одной из основных целей приведения к формату miniDST и его использованию является исключение зависимости от конкретного языка программирования с целью проведения физического анализа пользователями с применением удобного им инструментария. Помимо этого при переходе к формату miniDST компактность файлов данных достигается уменьшением их размера за счет реализации различных процедур, таких как введение дополнительного отбора на первичную вершину, удаление веток дерева событий, не требующихся для физического анализа, уменьшение разрядности значений (преобразование вещественных чисел двойной точности в одинарную), удаление контрольной Монте-Карло информации и других вспомогательных действий. После выбора современного формата хранения miniDST, его утверждения и реализации необходимо провести генерацию данных в новом формате для набранных экспериментальных и моделированных данных эксперимента BM@N, оценить эффективность перехода к новому формату.
Общие требования к студентам
- Знание языка программирования C++, основ операционных систем семейства Linux, а также английского языка (чтение/перевод).
Руководитель: к.т.н. Герценбергер К. В.
Аннотация
Научно-исследовательская программа проводимого с 2015 года международного эксперимента BM@N на строящемся ускорительном комплексе класса мегасайенс NICA направлена на исследование фазовой диаграммы кварк-глюонной материи при экстремальных барионных плотностях и температурах. Данные исследования тесно связаны с астрофизикой и изучаемыми ей процессами формирования звезд. Получаемые данные по релятивистским столкновениям тяжелых ионов позволят изучить структуру плотной барионной материи, ее уравнение состояния, определить детали фазового перехода, ответить на вопросы о существовании критической точки. Для проведения исследований в рамках эксперимента BM@N необходима разработка и использование современного программного обеспечения для хранения и предоставления на обработку данных эксперимента, а также вспомогательной информации, требуемой для проведения обработки полученных событий.
Возможные темы дипломных работ
1. Разработка прикладного программного интерфейса (C++ API) для базы данных состояний и условий работы эксперимента BM@N.
Краткое описание представленной задачи:
Сбор, хранение, обработка и анализ экспериментальных и смоделированных данных являются неотъемлемой частью современных экспериментов физики высоких энергий. Эти задачи приобретают особое значение в эксперименте BM@N проекта NICA в связи с высокой скоростью набора событий в секунду и большой множественностью событий столкновения частиц с мишенью, поэтому особую актуальность представляет задача автоматизации рассматриваемых процессов для комплекса NICA. Для решения этой задачи в физических экспериментах по столкновению частиц используются различные информационные системы, обеспечивающие сбор, хранение, организацию удобного, прозрачного доступа и управление информацией, необходимой для обработки и анализа полученных данных, на протяжении всего жизненного цикла научных исследований.
Одной из таких информационных систем является база данных состояний и условий работы физического эксперимента, предназначенная для хранения, управления, а также поиска, отбора и использования необходимых параметров и режимов работы детекторов и систем при обработке экспериментальных и смоделированных событий столкновения частиц. Основное свойство хранимых параметрических данных заключается в том, что они меняются со временем и используются для обработки данных, собранных только в течение периода действия соответствующего параметра. Также важной особенностью базы данных состояний является то, что разработанная архитектура обеспечивает хранение параметров произвольной структуры. В рамках данной работы необходима разработка прикладного программного интерфейса на C++ для использования хранимых данных программным обеспечением эксперимента при онлайн и офлайн обработке.
Общие требования к студентам
- Знание языка программирования C++, основ операционных систем семейства Linux, а также английского языка (чтение/перевод).
Тема: Распределенная обработка данных эксперимента SPD
Руководители: к.т.н. Олейник Д.А. к.т.н. Петросян А.Ш.
Аннотация
SPD (Spin Physics Detector) это планируемый эксперимент по спиновой физике на адронном коллайдере NICA, мегасайенс-установке, которая строится в ОИЯИ (г.Дубна, Россия). Основная цель эксперимента - проверка основ квантовой хромодинамики (КХД), фундаментальной теории сильных ядерных взаимодействий, путем изучения поляризованной структуры нуклона и спиновых явлений при столкновении продольно и поперечно поляризованных протонов и дейтронов с энергией центра масс до 27 ГэВ и светимостью до 1032 см-2 с-1. Для этого будут проведены измерения зависящих от поперечного импульса партонных распределений (TMD PDF) для глюонов в таких сложных процессах, как рождение очарованных частиц, состояний чармония и прямых фотонов.
Детектор SPD проектируется как универсальный 4π-спектрометр, основанный на современных технологиях. Общее количество каналов регистрации в установке SPD составляет около 500000. С учетом ожидаемой максимальной частоты столкновений частиц в коллайдере около 3 МГц, суммарный поток данных с детектора можно оценить, как 20 ГБ/с, что эквивалентно 200 ПБ/год (для эксперимента предполагается выделить 30% пучкового времени коллайдера). Сбор, обработка и хранение такого объема данных представляет собой серьезную проблему для вычислительной инфраструктуры эксперимента и требует разработки новых методов и подходов для реконструкции событий, моделирования и физического анализа данных с использованием высокопроизводительных и распределенных вычислений. Однако в Российской Федерации отсутствует опыт построения вычислительных систем с подобной производительностью, что делает обозначенную в настоящем проекте проблему крайне актуальной.
В рамках проекта планируется разработать и реализовать на уровне прототипов программно-аппаратных решений модель обработки данных для эксперимента SPD, включая фильтрации данных в режиме реального времени с использованием технологий искусственного интеллекта, систему распределенной обработки данных и программное обеспечение для автономной (оффлайн) обработки данных, способное эффективно использовать многоядерные и гетерогенные вычислительные ресурсы. Для достижения поставленных целей будут разработаны соответствующие алгоритмы обработки данных с применением методов машинного обучения с использованием глубоких нейронных сетей.
Возможные темы дипломных работ
1. Поддержка и развитие облачной инфраструктуры, используемой для размещения центральных сервисов эксперимента SPD.
Краткое описание представленной задачи:
Количество виртуальных машин, занятых под различные сервисы эксперимента, приближается к 30. Все они должны быть вовремя обслужены, включая установку критических обновлений, настройку сетевых экранов, проверку на корректность функционирования установленных на них сервисов и приложений. Необходимо создать хранилище образов и наладить их ручное и, при необходимости, автоматическое создание. В облачном сервисе ЛИТ применяется Wazuh, необходимо разобраться в настройках и реализовать единый центр мониторинга машин SPD.
2. Система мониторинга выполнения заданий и задач в системе PanDA.
Краткое описание представленной задачи:
Система мониторинга позволяет при помощи веб-приложения следить за прогрессом выполнения заданий и задач в системе PanDA, которая используется для распределения задач по вычислительным узлам распределенной вычислительной среды эксперимента SPD и контроля за их выполнением. Несмотря на то, что многие базовые функции мониторинга обработки предоставляются системой “из коробки”, требуется разработка специфичных для эксперимента SPD представлений и модулей.
Общие требования к студентам
- Знание операционных систем семейства Linux на уровне продвинутого пользователя, либо системного администратора.
- Опыт создания алгоритмов и практика разработки скриптов на языках программирования bash, python, docker, kubernetes.
- Английский язык (чтение/перевод), грамотный русский язык.
