Одной из ключевых технических особенностей установки SPD (Spin Physics Detector) является безтриггерный съем данных. Система сбора данных (DAQ) осуществляет агрегацию данных с детекторов установки и организацию их в блоки для последующей первичной обработки. Скорость поступления данных при таком подходе может достигать 20 Гб/сек, а годовой объем собираемых данных будет измеряться сотнями петабайт. Для решения первичной задачи выявления событий из
агрегированного потока данных перед их фильтрацией – создается специализированная вычислительная система «SPD Online filter».
«SPD Online filter» будет представлять собой программно-аппаратный комплекс высокопропускной обработки первичных данных, поступающих с детектирующей системы экспериментальной установки SPD. Аппаратная часть будет состоять из совокупности многоядерных вычислительных узлов, высокопроизводительных систем хранения данных и ряда управляющих серверов; программная часть будет состоять не только из прикладного программного обеспечения, но и из набора промежуточного ПО, роль которого заключается в организации и выполнении многоступенчатых этапов обработки данных.
В данном докладе будет представлено краткое описание архитектуры и реализация прототипа системы управления рабочей нагрузкой, реализующей генерацию вычислительных задач для обработки блока данных, распределение задач на вычислительные узлы и контроль их выполнения.
Workload Management System for SPD Online filter
One of the key technical features of the SPD (Spin Physics Detector) is the triggerless data acquisition. The data acquisition system (DAQ) aggregates data from the detectors of the facility and organizes them into blocks for further primary processing. The data arrival rate with this approach can reach 20 Gb/sec, and the annual volume of collected data will be measured in hundreds of petabytes. To solve the primary problem of unscrambling events from the aggregated data stream before filtering them out, a specialized computing system «SPD Online filter» is being created.
«SPD Online filter» will be a hardware-software complex for high-throughput processing of primary data coming from the detection system of the SPD experimental unit. The hardware part will consist of a set of multi-core computing nodes, high-performance data storage systems and a number of control servers; the software part will consist not only of application software, but also of a set of middleware whose role is to organize and execute multi-stage data processing steps.
This talk will present a brief description of the architecture and implementation of a prototype workload management system that performs the generation of computational jobs for processing a block of data, the distribution of jobs to compute nodes, and the control of their execution.