SCIENCE BRINGS NATIONS TOGETHER
BARS3 discussion
# Статус BARS3 — протокол встречи
**Участники:** Александр (докладчик), Тимур, Баир
## Краткое содержание
Александр представил текущее состояние BARS3 и результаты проверки соответствия
его выходных данных версии master. Обсуждались добавление диагностического
логирования, исправления смещений TChain и ошибок чтения в `reco-muon` и
`reco-cascade`.
Александр сообщил о 100%-м совпадении результатов в проведённых проверках с
использованием нового Python-пакета, который сравнивает выходные данные обработки
для двух разных коммитов. По его оценке, BARS3 готов к внедрению, однако переходу
основной ветки должны предшествовать проверка на более широкой выборке и пробная
эксплуатация в реальной обработке. Предложено проверить выборку, охватывающую
7–10% сезона, на новом сервере с 96 ядрами.
Тимур и Баир задали вопросы о правилах сравнения, разработке на Python и доступе
к базам данных. Александр рассказал о планах по созданию Python-привязок и полной
параметризации цепочек задач. Поддержку Python планируется добавить после
перевода BARS3 в master.
## Дальнейшие действия
| Ответственный | Действие |
| --- | --- |
| Баир | Предоставить Александру список ранов для валидации. |
| Александр | Запустить валидатор BARS3 на расширенной выборке ранов, охватывающей 7–10% сезона, на новом сервере с 96 ядрами. |
| Александр | После успешной валидации проверить BARS3 в реальной обработке, запустив его параллельно с текущей системой для одного кластера. |
| Александр | После успешной проверки в реальной обработке перевести BARS3 в основную ветку master. |
| Александр | Помочь коллегам адаптировать отдельные программы BARS к BARS3. |
| Александр | Изучить возможность интеграции Python-модуля SkyLLH с BARS. |
| Александр | Добавить целевые модульные тесты для BARS3 после подтверждения совпадения результатов. |
| Александр | Создать страницу встречи в Indico и загрузить слайды и расшифровку. |
## Обсуждение
### Смещения TChain, чтение данных и совместимость
Александр описал исправления смещений TChain и ошибок чтения в master, включая
проблемы, связанные с предположениями о структуре файлов и маскированием в DQM.
Из-за сложности обратного переноса исправлений команда решила двигаться к
переходу на BARS3, а не исправлять master повторно.
Для обработки изменений форматов выходных данных был введён флаг обратной
совместимости. Валидация выполняется отдельным Python-пакетом с набором правил
сравнения, позволяющим единообразно сравнивать результаты обработки двух коммитов
по отдельным полям.
### Правила сравнения и требования к точности
Политика сравнения задаёт требования к точности и правила обработки разных типов
файлов. Обсуждались исключение заголовков контейнеров MARS.
В настоящее время поддерживаются четыре действия в правилах сравнения, в том
числе исключение файлов целиком и задание численных допусков. Александр сообщил
о 100%-м совпадении результатов проверок и предложил испытать BARS3 в реальной
обработке до завершения перехода. Сопутствующие задачи — проверить BARS3 в
конвейере обработки, адаптировать отдельные программы и преобразовать RC-файлы
после завершения миграции.
### Отдельные программы и состав основного репозитория
Основной репозиторий должен содержать лишь небольшой набор проверенных программ.
Добавление программы требует одобрения сопровождающих проекта; отдельные
приложения следует держать вне основного репозитория, чтобы не засорять его
пространство имён.
При этом создание таких приложений должно оставаться простым, например с помощью
`bars create standalone`. В качестве примеров приложений, которым место вне
основного репозитория, обсуждались программы многокластерной калибровки и экспорта
данных.
### Цепочки задач и планируемая поддержка Python
Александр продемонстрировал механизм цепочек задач и объяснил, что их можно
полностью параметризовать через JSON. Он также рассказал об использовании
цепочек задач из Python и C++ без проблем совместимости.
Планируемые Python-привязки позволят использовать функциональность BARS, в том
числе определять цепочки и добавлять задачи непосредственно из Python. Команда
договорилась отложить разработку новых приложений на Python до перехода BARS3 в
master, чтобы не поддерживать привязки одновременно в нескольких ветках. Также
обсуждалась возможная интеграция с JAX для оптимизации вычислений на GPU и CPU.
### Конфигурация конвейера и доступ к базам данных
Конфигурация конвейера обработки разделена между несколькими TOML-файлами.
Доступ к базам данных осуществляется компонентом BARS, а не валидатором.
Используется InfluxDB; в ближайшее время менять базу данных не планируется.
### Расширенная валидация и возможные интеграции
Обсуждение валидации было сосредоточено на совпадении результатов обработки
экспериментальных данных. Александр предложил использовать новый сервер с
96 ядрами для обработки выборки, охватывающей 7–10% сезона, вместо полных сезонных
наборов данных. Группа договорилась проверить эту выборку, прежде чем
рассматривать перевод BARS3 в master.
Александр также выразил интерес к интеграции SkyLLH с BARS, возможно через
планируемые Python-привязки, отметив ограничения доступной документации.