OnLine Filter шаги обработки, входные, промежуточные и выходные данные.
Входные данные: двоичные файлы структуры заданной DAQ. Эмулятор DAQ разрабатывает В.Флоров.
- уточнить равномерность timeslice по детекторам (одинаковой длительности по всем детекторам или для каждого детектора свой?)
Шаги обработки (логические)
- Распаковка двоичных данных в набор сигналов(хитов) с привязкой по времени относительно начала слайса/фрейма? (Уточнить у Фролова)
- Частичная реконструкция для части детекторов:
- Быстрая с использованием ИИ
- Надежная "классическими" алгоритмами
- Нужно ли обрабатывать буквально одни и те же данные или достаточно обрабатывать однородные данные для анализа правильности работы ИИ.
3. Проверка правильности работы ИИ.
- Варианты дальнейшего сценария: ИИ работает корректно - продолжается обработка с использованием ускорителей ИИ и классических алгоритмов для оптимизации загрузки вычислительных узлов с CPU
- ИИ работает неккоретктно:
- Обработка останавливается (ну такое себе)
- Сменяется версия нейронной сети (информирование системы управления процессом)
- Дообучение нейронной сети. На ресурсах OnLine Filter или на внешних ресурсах? Обработка продолжается классическими алгоритмами до окончания рана (или окончания места на входящем буфере). Предполагается что к началу следующего рана новая версия НС будет готова.
4. Сборка событий
5. Фильтрация событий
6. Упаковка событий (слияние в файлы и датасеты)
Просматривается от 4 до 6 возможных типов данных в зависимости от количества шагов обработки (один шаг обработки может объединять несколько логических шагов).
Метаинформация ожидаемая на выходе OnLine Filter.
- Период набора (scope?)
- номер рана
- колличество событий
- Версия прикладного ПО
- Версия НС (для файлов произведенных ИИ?) или уже все данные замешаем?
- Для каждого события:
- должна быть добавлена ссылка на критерии по которым оно было отобрано (Видимо нужна система учета критериев отбора/"триггерных масок")
- набор ассоциированных хитов по детекторам
- результат первичной реконструкции (трек?)
Оффлайн обработка
Игорь желает ускорить подготовку к первому продакшану. Алексей запакует нужную версию spdroot в контейнер. Предполагается два шага обработки. Подробности в рабочем режиме на этой неделе.
Event Index и основные типы данных
- Нумерация событий. Хорошие и плохие события.
- Три основных типа данных: RAW, ESD, AOD
- ESD - данные после реконструкции. Не все события из RAW попадают в ESD, часть отбрасывается (возможно будет взята при репроцессинге?)
- Версионность вторичных данных (?) репроцессинг (?)
- Нужно сформулировать первую версию политики управления данными
Прочее
Правила наименования для датасетов и файлов?
Правила присваивания версий прикладному ПО?
Система регистрации прикладного ПО -> CRIC - путь на CVMFS, доступность на вычислительном сайте (если нет CVMFS)
There are minutes attached to this event.
Show them.
