% настройка документа
\UseRawInputEncoding
\documentclass[a4paper]{panl}
\usepackage{cite}
\usepackage{wrapfig}
\usepackage{graphicx}
\usepackage{amssymb}
\usepackage{amsfonts}
\usepackage{amsmath}
\usepackage{longtable}
\usepackage{rotating}
\usepackage{lscape}
\usepackage{epsfig}
\usepackage{multirow}
%\usepackage{parskip}
\usepackage{underscore}
\newcommand{\foo}[1]{\framebox{#1}}
%\originalTeX
\russianTeX
\usepackage{comment}
%\usepackage{biblatex}
\usepackage{lineno}
%\usepackage[latin1]{inputenc}
%\usepackage[utf8]{inputenc}
%\usepackage[english, russian]{babel}

\begin{document}
% Journal sections (see http://pkp.jinr.ru/index.php/PEPAN_LETTERS/about/editorialPolicies#focusAndScope)
%\issuearea{Physics of Elementary Particles and Atomic Nuclei. Theory}
% or in Russian
%\issuearea{ФИЗИКА ЭЛЕМЕНТАРНЫХ ЧАСТИЦ И АТОМНОГО ЯДРА. ТЕОРИЯ}

% Название статьи и авторы
%-----------------------------
\title{Подсистема удаленного доступа и синхронизации карт электроники для детектора TPC/MPD проекта NICA}
\maketitle
\setcounter{footnote}{0}
\authors{Д.С.\,Потапов$^{a,b,}$\footnote{E-mail: dpotapov@jinr.ru},
С.В.\,Верещагин$^{a}$}
\from{$^{a}$\,Объединенный Институт Ядерных Исследований, Дубна, Россия}
\from{$^{b}$\,Государственный университет "Дубна", Дубна, Россия}
%-----------------------------

% Аннотация
%-----------------------------
\begin{abstract}
В рамках научной программы ОИЯИ по исследованиям в области физики высоких энергий ведется работа над проектом создания ускорительного комплекса NICA \cite {Trubnikov:2023juf}, который находится в стадии завершения. Для изучения физических процессов, происходящих при столкновении тяжелых ионов, разработан Многоцелевой детектор (Multi-Purpose Detector, MPD). Время-проекционная камера (Time-Projection Chamber, TPC) \cite {Averyanov:2020lgp} выбрана в качестве трекового детектора MPD. TPC будет располагаться в центре сверхпроводящего магнита MPD и предназначена для трехмерного трекинга и идентификации заряженных частиц. Прием данных с TPC будет обеспечиваться 1488 картами детекторной электроники (Front-End Cards, FECs) \cite {Vereschagin:2020icd}, а также другими модулями, расположенными как внутри магнита MPD, так и вне его \cite {Vereschagin:2023jfo}. Одним из таких модулей является разрабатываемый модуль подсистемы удаленного доступа и синхронизации накамерной электроники \cite {JTAG}. Модуль состоит из двух функциональных блоков, реализуемых на одной печатной плате.

As part of the JINR scientific program focused on high-energy physics research, significant progress is being made on the development of the NICA accelerator complex \cite{Trubnikov:2023juf}, which is nearing completion. The Multi-Purpose Detector (MPD) has been designed to investigate the physical processes occurring during heavy ion collisions. The Time-Projection Chamber (TPC) \cite {Averyanov:2020lgp} has been chosen as the track detector for the MPD. Situated at the center of the MPD's superconducting magnet, the TPC is intended for three-dimensional tracking and identification of charged particles. Data acquisition from the TPC will be facilitated by 1488 Front-End Cards (FECs) \cite{Vereschagin:2020icd} and other modules positioned both inside and outside the MPD magnet \cite{Vereschagin:2023jfo}. One such module, currently under development, will serve as the remote access and synchronization subsystem for the detector electronics \cite{JTAG}. This module consists of two functional units, both implemented on a single printed circuit board.

\vspace{0.2cm}
\end{abstract}
%-----------------------------

\vspace*{6pt} % вертикальный пробел
\noindent % убирает отступ у абзаца
PACS: 07.05.Hd

% Введение
%-----------------------------
\label{sec:intro}
\section*{Введение}
\linenumbers
В рамках научной программы ОИЯИ по изучению горячей и плотной барионной материи реализуется проект создания ускорительного комплекса NICA \cite {Trubnikov:2023juf}. В настоящее время проект находится на финальной стадии реализации. Комплекс включается в себя две точки пересечения пучков, предназначенные для одновременной работы двух детекторов. Для исследования физических процессов, возникающих при столкновении тяжелых ионов, разработан многоцелевой детектор (Multi-Purpose Detector, (MPD), который будет установлен в одной из точек пересечения пучков на коллайдере NICA. Трековым детектором в экспериментальной установке MPD является Время-проекционная камера (Time-Projection Chamber, TPC) \cite {Averyanov:2020lgp}, которая будет расположена в центре магнита MPD. TPC предназначена для трехмерного трекига и идентификации заряженных частиц. TPC имеет цилиндрическую форму и располагает 24 считывающими камерами (ReadOut Chambers, ROC) на своих торцах. 1488 карт детекторной электроники (Front-End Cards, FECs) \cite {Vereschagin:2020icd} будут подключены к ROC камерам, что обеспечит детектор 95232 каналами регистрации. Каждая ROC камера будет оснащена 62 картами FEC и одним контроллером-концентратором данных (Readout and Control Unit, RCU). Аппаратура системы сбора данных TPC также содержит и другие модули, которые будут установлены как непосредственно на самом детекторе, т.е. внутри магнита MPD, так и вне его \cite{Vereschagin:2023jfo}. Одним из таких модулей является разрабатываемый модуль подсистемы удаленного доступа и синхронизации накамерной электроники \cite {JTAG}. Модуль состоит из двух функциональных блоков, размещенных на одной печатной плате. В данной публикации рассматривается блок синхронизации накамерной электроники TPC.

% Блок удаленного доступа (очень кратко)
%-----------------------------
\label{sec:remote access}
\section*{Модуль удаленного доступа электроники детектора TPC}
Модуль разработан для обеспечения удаленного доступа к микросхемам ПЛИС (Программируемая Интегральная Логическая Схема) элементов подсистемы DAQ, установленным на каждой ROC камере. Разработка основана на ранее созданном и протестированном прототипе, который способен обслуживать до 7 карт FEC \cite{JTAG}. Основой модуля является специализированная микросхема на базе интерфейса JTAG (Joint Test Action Group), в функциональном плане представляющая собой коммутатор интерфейса на 7 выходных портов. В устройстве используется 11 микросхем, соединённых иерархически. Один из выходов каждой вышестоящей микросхемы соединён с входом нижестоящей микросхемы. Такая схема обеспечивает наличие необходимого количества портов JTAG для подключения к 62 картам FEC и контроллеру RCU, а также запасные порты.

% Блок синхронизации TPC
%-----------------------------
\label{sec:sync_TPC}
\section*{Синхронизация электроники детектора TPC}
Для корректной работы детектора TPC требуется синхронизация всех 1488 карт накамерной электроники, содержащих 2976 специализированных микросхем SAMPA, обеспечивающих 95232 канала регистрации. Основными синхросигналами, необходимыми для выравнивания оцифровываемых данных во всех каналах микросхем SAMPA, являются: триггер частотой до 7~кГц (trg) -- сигнал запуска начала оцифровки временного окна и опорная тактовая частота для АЦП (adc\_clk) частотой 10 МГц. Для правильного функционирования приемопередатчиков цифрового интерфейса FEC~--~RCU требуется синхронизировать их работу путем подачи общей опорной тактовой частоты (tr\_refclk) частотой 100~МГц. Для повышения надежности функционирования системы сбора данных и избежания <<зависания>> аппаратуры предусмотрен внешний аналоговый сигнал сброса (frst). Опционально в подсистеме синхронизации будет еще одна опорная частота для синхронизации программируемых генераторов опорных частот на RCU (refclk) частотой до 100 МГц. Источники четырех из пяти синхросигналов (кроме опорной частоты цифровых приемопередатчиков) будут расположены вне магнита MPD, на инженерной платформе. Передача внешних синхросигналов внутрь магнита MPD будет осуществляться посредством выравненных по длине оптических кабелей. Структурная схема подсистемы синхронизации представлена на Рис.~\ref{fig01}.

%----------------------------- Fig. 1 -----------------------------
\begin{figure}[t]
\begin{center}
\includegraphics[width=140mm]{pictures/ru/TPC Fan-out_ru_mono.png}
\vspace{-3mm}
\caption{Блок-схема синхронизации 1488 карт FEC детектора TPC}
\end{center}
\labelf{fig01}
\vspace{-5mm}
\end{figure}
%----------------------------- Fig. 1 -----------------------------

Каждый из 4 внешних синхросигналов будет размножен на 24 при помощи специально разрабатываемого оборудования, имеющего аналоговые оптические передатчики на выходе. Таким образом на каждый из 24 RCU будет приходить по 4 оптических линии с синхросигналами. RCU для приема этих синхросигналов имеет аналоговые оптические приемники. После приема синхросигналов RCU конвертирует их в сигналы в физическом стандарте LVDS. Дополнительно на RCU, на программируемом генераторе опорных тактовых частот, генерируется опорная частота для скоростных приемопередатчиков карт FEC и самого RCU. Таким образом из каждого RCU выходят пять дифференциальных пар, которые при помощи микрокоаксиальных кабельных сборок будут подаваться на разработанные модули синхронизации накамерной электроники.

Разрабатываемое оборудование и линии передачи будут способствовать увеличению латентности при передаче внешних синхросигналов от источника до карт FEC. Однако это не повлияет на корректности работы детектора TPC, оснащённого многопроволочными пропорциональными камерами (Multi-Wire Proportional Chambers, MWPC) с запирающими сетками \cite{TDR}, поскольку время открытия этих сеток значительно превышает задержку, вносимую модулями размножения и линиями передачи. Для нормальной работы детектора важно, чтобы синхросигналы поступали на карты FEC одновременно с точностью, значительно превышающей время одного периода дискретизации, равного 100 нс (частота АЦП — 10 МГц). Линии синхросигналов на печатных платах выровнены с точностью до 0.5 мм на каждом из трёх участков, что в сумме вносит погрешность менее 10 пс.

% Блок синхронизации ROC
%-----------------------------
\label{sec:device}
\section*{Модуль синхронизации накамерной электроники}
Разработка модуля синхронизации основана на ранее созданном и протестированном прототипе, который выполняет функцию размножения опорной тактовой частоты для скоростных приемопередатчиков карт FEC. Модуль предназначен для размножения синхросигналов, поступающих от контроллера RCU, с последующей передачей их на накамерную электронику. Структурная схема модуля представлена на Рис.~\ref{fig02}.  Каждый синхросигнал размножается с использованием микросхем разветвления данных в соотношении 1:8. Входной сигнал из RCU поступает на первую микросхему, которая делит его на 8 идентичных сигналов. Затем эти размноженные сигналы передаются на еще 8 микросхем, что в конечном итоге позволяет получить 64 идентичных сигнала на выходе модуля. Эта схема используется для каждого из 5 синхросигналов, поступающих от контроллера RCU. Выходные сигналы в дифференциальном виде будут передаваться в накамерную электронику с помощью микрокоаксиальных кабельных сборок.

Размеры и будущее местоположение модуля (см. Рис.~\ref{fig03}) определены ограничениями по свободному месту на сервисном колесе TPC. Размеры печатной платы модуля составляют 810~мм в длину, 60~мм в ширину и около 2~мм в толщину. Конструкция платы включает 8 слоев: 3 сигнальных и 5 силовых. Из 5 силовых слоев три предназначены для земли, служащей опорой для сигнальных слоев, а два — для питания 4,5~В и 3,3~В. Такая топология необходима для работы с высокоскоростными LVDS-сигналами без потери качества сигнала.

Плата изготовлена из материала FR4 HiTg с толщиной фольги на проводящих слоях 35~мкм, что гарантирует высокие механические и электрические характеристики. Модуль включает 45 микросхем (см. Рис.~\ref{fig03}, п. 2) для размножения высокоскоростных LVDS синхросигналов (до 100 МГц), которые размещены на одной стороне платы. Также на плате установлены 64 выходных разъема (см. Рис.~\ref{fig03}, п. 1), к которым подключаются микрокоаксиальные кабельные сборки для передачи размноженных сигналов на накамерную электронику. 

%----------------------------- Fig. 2 -----------------------------
\begin{figure}[t]
\begin{center}
\includegraphics[width=140mm]{pictures/ru/ROC Fan-out_ru_mono.png}
\vspace{-3mm}
\caption{Блок-схема синхронизации 62 карт FEC на одной ROC камере}
\end{center}
\labelf{fig02}
\vspace{-5mm}
\end{figure}
%----------------------------- Fig. 2 -----------------------------

%----------------------------- Fig. 3 -----------------------------
\begin{figure}[t]
\begin{center}
\includegraphics[width=140mm]{pictures/ru/ROC Fan-out_3D_mono.png}
\vspace{-3mm}
\caption{3D вид печатной платы модуля синхронизации 62 карт FEC: 1 - Выходные разъемы для микрокоаксиальных кабельных сборок; 2 - Микросхемы размножения синхросигналов; 3- Входной разъем для подключения RCU}
\end{center}
\labelf{fig03}
\vspace{-5mm}
\end{figure}
%----------------------------- Fig. 3 -----------------------------

Микросхемы и разъемы выполнены по технологии поверхностного монтажа (SMD), что позволяет эффективно использовать доступное пространство во внутренних слоях и компактно размещать компоненты. На вход модуля поступают 5 дифференциальных пар с контроллера RCU (см. Рис.~\ref{fig03}, п. 3), которые затем размножаются до 360 пар на выходе. Трассировка платы включает выравнивание длин трасс как между дифференциальными парами, так и внутри каждой пары, с согласованием импеданса на уровне 100 Ом.

\label{sec:финансирование}
\section*{Финансирование}
Работа выполняется при поддержке гранта для молодых ученых и специалистов ОИЯИ на 2024 год \No 24--102--13.

% Заключение
%-----------------------------
\label{sec:Summery}
\section*{Заключение}
Перед началом проектирования модуля были проведены комплексные испытания прототипа модуля размножения опорной тактовой частоты для приемопередатчиков карт FEC. Результаты этих испытаний легли в основу разработки принципиальной схемы устройства. При проектировании печатной платы модуля размеры, конфигурация и расположение компонентов были определены с учетом доступного свободного пространства на сервисном колесе TPC. Создание первого образца модуля синхронизации и начало его испытаний запланированы на конец 2024 года.
% Библиографический список
%-----------------------------
\bibliographystyle{pepan}
\bibliography{pepan_biblio_my}
\end{document}

\begin{comment}

1В. Так как в работе рассматривается только часть, касающаяся синхронизации (FEС/FEB) TPC (строки 24-25), то рекомендуется изменить название работы или добавить описание, касающегося удаленного доступа к FEC. В докладе на AYSS было достаточное описание системы удаленного доступа.
    1О. Добавил абзац с кратким описанием разработанного модуля удаленного доступа. Указал также ссылку на опубликованную статью, в которой описан прототип, на основе которого выполнялась разработка. Не стал детально описывать модуль в этой статье т.к. по этому функциональному блоку подготовлена отдельная статья, которая прошла рецензирование и в скором будущем будет опубликована, а также опубликована статья по прототипу.

2В. Для лучшего понимания, желательно добавить значения частот, используемых для работы системы. Так как эта система отвечает за синхронизацию, немаловажно представить необходимую точность синхронизации для конечных FEC (джиттер) и полученные результаты. Судя по описанию, tr_refclk как-то связан сигналом trg. Так ли это?
    2О. Добавил значения частот для синхросигналов. Сигнал trg не связан с сигналом tr_refclk. Сигнал trg - сигнал запуска начала оцифровки временного окна и передается на карты FEC c внешнего источника, расположенного вне магнита MPD, на инженерной платформе. Сигнал tr_refclk используется для синхронизации приемопередатчиков карт FEC с контроллером RCU. Эта опорная тактовая частота поступает на карты FEC с внутреннего генератора контроллера RCU. Про точность синхронизации ответил в 3м ответе.

3В. Насколько ухудшается точность передачи синхросигналов и задержка, на каждом из этапов передачи сигналов между элементами системы? Конверторы уровней, оптические приемники и микросхемы размножения сигналов могут вносить дополнительную задержку. Учтена ли она? Этот вопрос возникает, из-за отсутствия типовых значений частот сигналов.
    3О. Добавил абзац с пояснением задержки распространения сигнала на карты FEC. Если кратко резюмировать, то задержка, вносимая модулями и линиями передачи (от внешнего источника до карты FEC) значительно меньше, чем время открывания запирающих сеток (gate opening time), т.е. электроника запустится быстрее, в сравнении с готовностью к работе Много-проволочных пропорциональных камер. Важна одновременность прихода синхросигналов на карты FEC, а т.к. сигналы и линии передачи выровнены с высокой точностью, то погрешность в синхронизации будет менее 10 пс, что так же не повлияет на синхронную работу карт FEC. В список литературы добавил ссылку на TDR детектора TPC.

4В. (строка 80) Информация, касаемо материала изготовления печатной платы и способа монтажа, не нужна в данной работе. Я считаю, что расширить работу подробным описанием структуры блока синхронизации. При изучении рис.2 и рис.3 читателю не очень наглядно видно, как на плате расположен отдельный блок, отвечающий за размножение частоты. Рисунок стоит разделить на несколько частей, и явным образом указать разъем для подключения RCU. С обязательным сохранением информации в (строках 90-94)
    4О. Считаю, что информация по печатной плате имеет место быть, т.к. характеристики печатной платы имею прямое отношение к электрическим характеристикам дифференциальных линий (импеданс, ширина проводника и зазор внутри диф. пары). Без применения SMD микросхем и SMD разъемов было бы невозможным реализовать проект по первоначальному заданию, включающим жесткие ограничения по длине и ширине печатной платы. Попытался более явно выделить на рисунке часть платы, отвечающей за модуль синхронизации и выделил разъем для подключения RCU.  

5В. В случае расширения статьи, описанием удаленного доступа через JTAG, было бы хорошо описать что с помощью подобного функционала возможно сделать с оборудованием. Перепрошивка, мониторинг, управление?
    5О. Описал в 1 ответе, почему не стал добавлять больше информации про модуль удаленного доступа на основе JTAG интерфейса. Модуль использует интерфейс JTAG: 
        - для перепрограммирования ПЛИС FEC и RCU
        - для отладки цифровой логики ПЛИС FEC и RCU
        - как дополнительный медленный канал управления картами FEC.
        Эта информация содержится в опубликованной и подготовленной статьях.
\end{comment}
