Современные крупномасштабные научные эксперименты, такие как БАК (CERN) и NICA, генерируют огромные объёмы данных, требующих эффективного хранения и обработки. Системы мониторинга распределённых вычислений накапливают ценную информацию об обращениях к данным, которая может быть использована для оптимизации вычислительных процессов. Одним из перспективных направлений является управление данными на основе их популярности — частоты и количества обращений. Однако нерегулярный и хаотичный характер шаблонов доступа затрудняет использование традиционных статистических методов. В работе рассматривается применение современных методов машинного обучения для прогнозирования популярности данных и выявления групп с аналогичным поведением доступа, что открывает возможности для более эффективного кэширования, репликации и архивирования данных.
A Study of Data Popularity Analysis Approaches in High-Energy Physics: A Case Study of the ATLAS Experiment at the LHC
Modern large-scale scientific experiments, such as those conducted at the LHC (CERN) and within the NICA project, generate massive volumes of data that require efficient storage and processing. Monitoring systems in distributed computing environments accumulate valuable information about data access patterns, which can be leveraged to optimize computational workflows. One promising approach is popularity-based data management, where frequently accessed data is cached or replicated, while rarely used data is archived. However, the chaotic and irregular nature of access patterns poses challenges for traditional statistical analysis. This work explores the application of modern machine learning methods for predicting data popularity and identifying groups of datasets with similar access behavior, enabling more efficient data caching, replication, and archiving strategies.
