Speaker
Daria Priakhina
(ЛИТ)
Description
В рамках работ по созданию компьютерной системы хранения и обработки данных установок B@MN и MPD, входящих в проект коллайдера NICA, возникает проблема выбора оптимальной конфигурации необходимого компьютерного и сетевого оборудования. Для решения этой проблемы требовалось разработать и исследовать модель перемещения данных внутри системы. Предыдущий опыт моделирования авторов настоящей статьи [1], показал, что описанные в литературе подходы моделирования процессов обработки потока заданий в распределенных и облачных системах [2,3], не подходят для анализа потоков данных, поскольку в библиотеках указанных моделирующих программ выполняется детализация потока данных до уровня пакета или файла, что приводит к сложной организации программ и большим вычислительным затратам.
Поэтому нами предложен и реализован подход, рассматривающий процесс перемещения данных, как поток байтов, имеющий статистическую природу, без анализа отдельных частей этого потока. Для оценки различных конфигураций оборудования использовался вероятностно-статистический подход, при котором определяются вероятности потерь информации, поступающей с детекторов для каждой из этих конфигураций. В качестве причины потерь рассматривается переполнение буферов на одной из стадий накопления и передачи данных. Оптимальной конфигурацией считается та, что имеет минимальную стоимость при заданном допустимом уровне потерь.
Для реализации этой схемы моделирования компьютерной системы хранения и обработки данных потребовалось, прежде всего, описать эту систему с помощью набора параметров, которые могут быть дефолтными или задаются пользователем. К параметрам относятся размеры дисковых буферов, количество потоков данных, пропускные способности каналов передачи и т.п. Для каждого параметра должны быть определены его граничные значения и шаг его изменения. На основе подготовленного набора параметров формируется поток независимых заданий расчёта потерь при передачах данных за время физического сеанса работы ускорителя.
Таким образом, для осуществления процесса моделирования перемещения данных в системе и подсчета происходящих потерь потребовалось разработать два программных модуля. Первый записывает в базу данных сформированный набор параметров и автоматически строит и записывает в базу данных набор независимых заданий.
Собственно расчёт выполняет второй модуль. Он выбирает из базы задание, строит конфигурацию оборудования, в соответствии с заданными параметрами, разыгрывает интенсивность потока данных на каждом шаге и рассчитывает процесс миграции данных в системе.
Предложенная схема допускает параллельный расчёт вариантов, что позволяет анализировать значительное количество вариантов (десятки тысяч). Как перспектива развития этого подхода рассматривается создание классов, которые позволяют гибко менять топологию системы хранения данных. В существующем варианте она ориентирована только на анализ потерь при работе установок B@MN + MPD.
Полученные к настоящему времени результаты моделирования позволили вести с проектировщиками систем DAQ и триггеров содержательные и аргументированные дискуссии по поводу параметров потоков данных, способствующие принятию мотивированных решений.
Primary authors
Mr
Andrey Nechaevskiy
(JINR)
Daria Priakhina
(ЛИТ)
Prof.
Gennady Ososkov
(Joint Institute for Nuclear Research)
Mr
VLADIMIR TROFIMOV
(JINR)
