Speaker
Description
Одной из ключевых технических особенностей установки SPD (Spin Physics Detector) является безтриггерный съем данных, обусловленный определенной сложностью исследуемых физических процессов. Система сбора данных (DAQ) осуществляет агрегацию данных с детекторов установки и организацию их в блоки для последующей первичной обработки. Совокупный объем данных после агрегации может достигать 20 Гб/сек, а годовой объем собираемых данных будет измеряться сотнями петабайт. Для решения задачи выявления и фильтрации событий в потоке данных создается специализированная вычислительная система "SPD OnLine filter".
SPD On-Line filter будет представлять собой программно-аппаратный комплекс для высокопропускной обработки данных. Аппаратная составляющая будет включать в себя набор многоядерных вычислительных узлов, построенных на современных технологиях, высокопроизводительные системы хранения данных, некоторое количество управляющих серверов. Программная составляющая включает в себя не только специализированное прикладное программное обеспечение, но и комплекс промежуточного программного обеспечения «SPD On-Line filter» – «Visor», в задачу которого будет входить организация и реализация многоступенчатых процессов обработки данных.
В данном докладе представлен обзор архитектур и прототипов следующих компонентов системы: система управления нагрузкой, которую условно можно разделить на серверную часть, отвечающую за контроль обработки наборов данных путем формирования достаточно количества задач, и агентское приложение, которое обеспечивает выполнение задач на вычислительных узлах.
