Синтез процессов моделирования и мониторинга для развития систем хранения и обработки больших массивов данных в физических экспериментах

1 Jul 2014, 15:15
20m
conference hall (LIT JINR)

conference hall

LIT JINR

Russia, 141980 Moscow region, Dubna, JINR
sectional reports Section 1 - Technologies, architectures, models, methods and experiences of building distributed computing systems. Consolidation and integration of distributed resources Section 1 - Technologies, architectures, models, methods and experiences of building distributed computing systems. Consolidation and integration of distributed resources

Speaker

Andrey Nechaevskiy (JINR)

Description

Существующие в настоящее время экспериментально-физические системы сбора, передачи и распределённой обработки сверхбольших объемов информации базируются на общих принципах построения грид-инфраструктур. В силу своей сложности и высокой стоимости разработка таких систем требует предварительного их моделирования. В предыдущей работе авторов [1] описана программа моделирования, основанная на использовании языка GridSim [3] и алгоритмов планирования потока заданий ALEA [3]. Для запуска программы требуется задать состав и топологию центров обработки моделируемой грид-структуры, а также распределение ресурсов между заданиями. После этого программы выполняет имитационное моделирования процессов прохождения сгенерированного набора заданий через эту грид-структуру. В качестве результатов вычисляются временные оценки искомых параметров потока заданий. Однако постоянное развитие современных грид-систем требует непрерывных корректировок большинства параметров моделирования. Это необходимо для прогнозирования поведения системы при значительных ее изменениях с учетом статистики эксплуатации системы, получаемой на основе имеющихся программных средств ее мониторинга. В настоящей работе на основе данных мониторинга одной из грид-систем WLCG, сохраняемых в специально разработанной базе данных, через веб-интерфейс выполняется их статистический анализ, результаты которого позволяют затем генерировать адекватный поток заданий для изменения параметров моделирования. Представлены схема программы и примеры результатов моделирования. Список литературы. 1. В.В Кореньков, А.В. Нечаевский, В.В. Трофимов Разработка имитационной модели сбора и обработки данных экспериментов на ускорительном комплексе НИКА // Информационные технологии и вычислительные системы, 4, 2013, Стр. 37-44. 2. GridSim http://www.gridbus.org/gridsim/, 2012 3. D. Klusacek, L. Matyska, and H. Rudova. Alea - Grid scheduling simulation environment// In 7th International Conference on Parallel Processing and Applied Mathematics (PPAM 2007), volume 4967 of LNCS, pages 1029-1038. Springer, 2008.

Authors

Dr Alexander Uzhinskiy (Dr.) Andrey Nechaevskiy (JINR) Mrs Darya PRYAKHINA (JINR) Prof. Gennady Ososkov (Joint Institute for Nuclear Research) Prof. Vladimir Korenkov (JINR) Mr Vladimir TROFIMOV (JINR)

Presentation materials