Разработка SPD Event Index - каталога событий эксперимента SPD

6 Jul 2023, 15:00
15m
Room 403

Room 403

Speaker

Dr Richard Gurtsiev

Description

Эксперимент SPD должен набрать до триллиона событий (записей результатов столкновений) для хранения и обработки которых потребуются сотни петабайт данных. Для использования в различных физических анализах ожидается аналогичное количество смоделированных данных. Эта информация будет распределена между несколькими хранилищами данных в компьютерных центрах. Для исключения потери данных и повышения производительности записи относящиеся к одному событию будут дублированы. Для эффективного доступа ко всем экземплярам событий необходима информационная система, а именно - разрабатываемый SPD Event Index, каталог всех событий, полученных от детектора или смоделированных, постоянно хранящихся во всех форматах и версиях. Он также предоставит инструменты для сбора информации о событиях, импорта ее в хранилище и обслуживания запросов клиентов через пользовательские интерфейсы и API. Разработка индекса событий начинается с серверной части хранилища, на данный момент это СУБД PostgreSQL. Были созданы простые интерфейс: клиент командной строки и графические веб-интерфейс для выборки событий. Разрабатывается служба обмена сообщениями для асинхронной обработки запросов больших объемов данных. В настоящее время проводятся исследования по повышению скорости загрузки данных в хранилище. Для этой цели разрабатывается методика и программная платформа реализующие полигон для нагрузочного тестирования.

Primary author

Co-authors

Presentation materials