Синтез процессов моделирования и мониторинга для развития систем хранения и обработки больших массивов данных в физических экспериментах

1 Jul 2014, 15:15
20m
conference hall (LIT JINR)

conference hall

LIT JINR

Russia, 141980 Moscow region, Dubna, JINR
sectional reports Section 1 - Technologies, architectures, models, methods and experiences of building distributed computing systems. Consolidation and integration of distributed resources Section 1 - Technologies, architectures, models, methods and experiences of building distributed computing systems. Consolidation and integration of distributed resources

Speaker

Andrey Nechaevskiy (JINR)

Description

Существующие в настоящее время экспериментально-физические системы сбора, передачи и распределённой обработки сверхбольших объемов информации базируются на общих принципах построения грид-инфраструктур. В силу своей сложности и высокой стоимости разработка таких систем требует предварительного их моделирования. В предыдущей работе авторов [1] описана программа моделирования, основанная на использовании языка GridSim [3] и алгоритмов планирования потока заданий ALEA [3]. Для запуска программы требуется задать состав и топологию центров обработки моделируемой грид-структуры, а также распределение ресурсов между заданиями. После этого программы выполняет имитационное моделирования процессов прохождения сгенерированного набора заданий через эту грид-структуру. В качестве результатов вычисляются временные оценки искомых параметров потока заданий. Однако постоянное развитие современных грид-систем требует непрерывных корректировок большинства параметров моделирования. Это необходимо для прогнозирования поведения системы при значительных ее изменениях с учетом статистики эксплуатации системы, получаемой на основе имеющихся программных средств ее мониторинга. В настоящей работе на основе данных мониторинга одной из грид-систем WLCG, сохраняемых в специально разработанной базе данных, через веб-интерфейс выполняется их статистический анализ, результаты которого позволяют затем генерировать адекватный поток заданий для изменения параметров моделирования. Представлены схема программы и примеры результатов моделирования. Список литературы. 1. В.В Кореньков, А.В. Нечаевский, В.В. Трофимов Разработка имитационной модели сбора и обработки данных экспериментов на ускорительном комплексе НИКА // Информационные технологии и вычислительные системы, 4, 2013, Стр. 37-44. 2. GridSim http://www.gridbus.org/gridsim/, 2012 3. D. Klusacek, L. Matyska, and H. Rudova. Alea - Grid scheduling simulation environment// In 7th International Conference on Parallel Processing and Applied Mathematics (PPAM 2007), volume 4967 of LNCS, pages 1029-1038. Springer, 2008.

Primary authors

Dr Alexander Uzhinskiy (Dr.) Andrey Nechaevskiy (JINR) Mrs Darya PRYAKHINA (JINR) Prof. Gennady Ososkov (Joint Institute for Nuclear Research) Prof. Vladimir Korenkov (JINR) Mr Vladimir TROFIMOV (JINR)

Presentation materials