SCIENCE BRINGS NATIONS TOGETHER
BARS3 discussion

→ Europe/Moscow

# Статус BARS3 — протокол встречи

**Участники:** Александр (докладчик), Тимур, Баир

## Краткое содержание

Александр представил текущее состояние BARS3 и результаты проверки соответствия
его выходных данных версии master. Обсуждались добавление диагностического
логирования, исправления смещений TChain и ошибок чтения в `reco-muon` и
`reco-cascade`.

Александр сообщил о 100%-м совпадении результатов в проведённых проверках с
использованием нового Python-пакета, который сравнивает выходные данные обработки
для двух разных коммитов. По его оценке, BARS3 готов к внедрению, однако переходу
основной ветки должны предшествовать проверка на более широкой выборке и пробная
эксплуатация в реальной обработке. Предложено проверить выборку, охватывающую
7–10% сезона, на новом сервере с 96 ядрами.

Тимур и Баир задали вопросы о правилах сравнения, разработке на Python и доступе
к базам данных. Александр рассказал о планах по созданию Python-привязок и полной
параметризации цепочек задач. Поддержку Python планируется добавить после
перевода BARS3 в master.

## Дальнейшие действия

| Ответственный | Действие |
| --- | --- |
| Баир | Предоставить Александру список ранов для валидации. |
| Александр | Запустить валидатор BARS3 на расширенной выборке ранов, охватывающей 7–10% сезона, на новом сервере с 96 ядрами. |
| Александр | После успешной валидации проверить BARS3 в реальной обработке, запустив его параллельно с текущей системой для одного кластера. |
| Александр | После успешной проверки в реальной обработке перевести BARS3 в основную ветку master. |
| Александр | Помочь коллегам адаптировать отдельные программы BARS к BARS3. |
| Александр | Изучить возможность интеграции Python-модуля SkyLLH с BARS. |
| Александр | Добавить целевые модульные тесты для BARS3 после подтверждения совпадения результатов. |
| Александр | Создать страницу встречи в Indico и загрузить слайды и расшифровку. |

## Обсуждение

### Смещения TChain, чтение данных и совместимость

Александр описал исправления смещений TChain и ошибок чтения в master, включая
проблемы, связанные с предположениями о структуре файлов и маскированием в DQM.
Из-за сложности обратного переноса исправлений команда решила двигаться к
переходу на BARS3, а не исправлять master повторно.

Для обработки изменений форматов выходных данных был введён флаг обратной
совместимости. Валидация выполняется отдельным Python-пакетом с набором правил
сравнения, позволяющим единообразно сравнивать результаты обработки двух коммитов
по отдельным полям.

### Правила сравнения и требования к точности

Политика сравнения задаёт требования к точности и правила обработки разных типов
файлов. Обсуждались исключение заголовков контейнеров MARS.

В настоящее время поддерживаются четыре действия в правилах сравнения, в том
числе исключение файлов целиком и задание численных допусков. Александр сообщил
о 100%-м совпадении результатов проверок и предложил испытать BARS3 в реальной
обработке до завершения перехода. Сопутствующие задачи — проверить BARS3 в
конвейере обработки, адаптировать отдельные программы и преобразовать RC-файлы
после завершения миграции.

### Отдельные программы и состав основного репозитория

Основной репозиторий должен содержать лишь небольшой набор проверенных программ.
Добавление программы требует одобрения сопровождающих проекта; отдельные
приложения следует держать вне основного репозитория, чтобы не засорять его
пространство имён.

При этом создание таких приложений должно оставаться простым, например с помощью
`bars create standalone`. В качестве примеров приложений, которым место вне
основного репозитория, обсуждались программы многокластерной калибровки и экспорта
данных.

### Цепочки задач и планируемая поддержка Python

Александр продемонстрировал механизм цепочек задач и объяснил, что их можно
полностью параметризовать через JSON. Он также рассказал об использовании
цепочек задач из Python и C++ без проблем совместимости.

Планируемые Python-привязки позволят использовать функциональность BARS, в том
числе определять цепочки и добавлять задачи непосредственно из Python. Команда
договорилась отложить разработку новых приложений на Python до перехода BARS3 в
master, чтобы не поддерживать привязки одновременно в нескольких ветках. Также
обсуждалась возможная интеграция с JAX для оптимизации вычислений на GPU и CPU.

### Конфигурация конвейера и доступ к базам данных

Конфигурация конвейера обработки разделена между несколькими TOML-файлами.
Доступ к базам данных осуществляется компонентом BARS, а не валидатором.
Используется InfluxDB; в ближайшее время менять базу данных не планируется.

### Расширенная валидация и возможные интеграции

Обсуждение валидации было сосредоточено на совпадении результатов обработки
экспериментальных данных. Александр предложил использовать новый сервер с
96 ядрами для обработки выборки, охватывающей 7–10% сезона, вместо полных сезонных
наборов данных. Группа договорилась проверить эту выборку, прежде чем
рассматривать перевод BARS3 в master.

Александр также выразил интерес к интеграции SkyLLH с BARS, возможно через
планируемые Python-привязки, отметив ограничения доступной документации.

There are minutes attached to this event. Show them.
    • 11:00 → 12:00
      BARS3 status & plans 1h
      Speaker: Alexander Avrorin (INR RAS)