Распределённая гетерогенная вычислительная среда для обработки данных NICA

• Igor Pelevanyuk (Joint Institute for Nuclear Research)

Room: 134/5-* - Конференц-зал (по материалам кандидатской диссертации) Одним из ключевых компонентов в реализации проекта NICA, наравне с ускорителем и детекторными установками BM@N, MPD и SPD, является вычислительная инфраструктура, которая необходима для обработки, анализа, хранения и передачи больших объёмов экспериментальных данных. С 2019 года в ЛИТ развивается распределённая гетерогенная вычислительная инфраструктура, построенная на базе ПО DIRAC. В неё входят кластеры Tier1 и Tier2, суперкомпьютер «Говорун», кластер NICA, кластер DDC, облака стран-участниц ОИЯИ, кластер UNAM в Мексике и кластер IMDT в Монголии. Для повышения эффективности работы разработаны и реализованы методики мониторинга задач, передач данных. Разработан принципиально новый подход к анализу производительности задач, позволяющий анализировать сотни тысяч задач и определять ресурсы, работающие неэффективно. Разработана методика моделирования поведения задач в распределённой гетерогенной среде. Её использование позволяет прогнозировать ход выполнения больших пакетов задач. Построенная инфраструктура и инструменты используются для решения задач экспериментов MPD, BM@N, SPD. Всего было успешно выполнено более 3.5 миллионов задач со средним временем выполнения 8 часов. __Distributed Heterogeneous Computing Infrastructure for NICA Data Processing__ (based on the PhD thesis) One of the key components in the implementation of the NICA project, alongside the accelerators and detector setups BM@N, MPD, and SPD, is the computational infrastructure necessary for processing, analysis, storage, and transfer of large volumes of experimental data. Since 2019, a distributed heterogeneous computing infrastructure based on the DIRAC Interware has been developed at the MLIT. It includes Tier1 and Tier2 clusters, the "Govorun" supercomputer, the NICA cluster, the DDC cluster, clouds of participating countries of JINR, the UNAM cluster in Mexico, and the IMDT cluster in Mongolia. To improve the efficiency of operation, job and network monitoring have been developed and implemented. A fundamentally new approach to performance analysis of tasks has been developed, allowing the analysis of hundreds of thousands of jobs and identification of inefficiently operating resources. A methodology for modeling task behavior in a distributed heterogeneous environment has been developed. Its use allows forecasting the course of execution of large task batches. The built infrastructure and tools are used to execute jobs of the MPD, BM@N, and SPD experiments. In total, more than 3.5 million jobs have been completed with an average execution time of 8 hours.