Grafana и Splunk как пример решения проблем визуализации данных в современных системах сбора информации.

7 Jul 2016, 15:45
15m
406A

406A

Sectional reports 2. Operation, monitoring, optimization in distributed computing systems 10. Databases, Distributed Storage systems, Big data Analytics

Speaker

Mr Mikhail Mineev (JINR)

Description

Настраиваемые среды визуализации данных, такие как Grafana и Splunk, решают большой спектр задач возникающих при разработке Web-приложений визуализации данных, таких как, например, построение панелей приборов мониторинга. Такие задачи обычно решались путем написания большого количества ПО с применением графики. Настраиваемые системы обеспечивают доступ к разным типам источников данных, имеют встроенные возможности по настройке графического представления результатов с использованием встроенных Web-серверов. Аспекты применения данных систем проиллюстрированы на примерах ведущихся авторами работ. С помощью Splunk в системе сбора данных (TDAQ) ATLAS реализован сбор статистики по логам, предоставляемым Log Service. Данные индексируются для возможности поиска интересующей информации и представления ее в удобной для пользователя форме. Данный плагин с реализацией клиент-серверной модели, исключающую ограничения по доступу вне CERN, заменяет целую компаненту TDAQ. На данный момент Grafana используется в TDAQ для визуализации таких данных как: Data Flow Overview, ROS Information, HLT Farm Information, ROIB, Dead Time Information. Опыт применения оказался успешным и в настоящее время идут работы по внедрению Grafana для визуализации данных сетевого трафика подсистем TDAQ. Это заменит действующий пакет визуализации, требующий значительных усилий по поддержке и уступает в гибкости настройки панелей управления.

Primary authors

Presentation materials