В докладе будет представлен обзор работ в рамках разработки и поддержки ML/DL/HPC экосистемы для задач машинного и глубокого обучения и анализа данных. Будут даны актуальное описание структуры и характеристики экосистемы ML/DL/HPC, построенной на базе многопользовательской веб-среды JupyterLab. Приведен обзор используемых технологических решений и решаемых задач, из которых можно выделить следующие:
- набор сервисов для совместного проекта ЛИТ и ЛРБ ОИЯИ: для анализа траекторий мелких лабораторных животных в поведенческом тесте «Водный лабиринт Мориса», для детекции и анализа радиационно-индуцированных фокусов, для аннотирования данных на основе инструментов CVAT;
- набор программных решений для совместного проекта ЛИТ и ЛТФ ОИЯИ по изучению систем, основанных на джозефсоновских переходах: программные модули на базе JupyterLab для проведения расчетов, в том числе с использованием библиотек для параллельный вычислений, визуализации результатов исследований и дополнения их необходимыми формулами и пояснениями, инструментарий Jupyter Book для публикации подготовленных программ в формате электронных книг с возможностью скачивания и самостоятельного запуска, которые используются в проведении учебных курсов, мастер-классов и туториалов для пользователей, сотрудников ОИЯИ и студентов;
- поддержка полигона для квантовых вычислений с установленным набором квантовых симуляторов, в том числе для работы с квантовыми нейронными сетями.
Также будет представлена информация по работе с пользователями Гетерогенной платформы HybriLIT в рамках программно-информационной среды.
Development of the ML/DL/HPC ecosystem of the HybriLIT Heterogeneous Platform
The report will provide an overview of work on the development and support of the ML/DL/HPC ecosystem for machine learning, deep learning and data analysis tasks. An up-to-date description of the structure and characteristics of the ML/DL/HPC ecosystem based on the JupyterLab multi-user web environment will be given. It will also provide an overview of technological solutions being used and tasks being solved, highlighting the following:
- a set of services for the joint project of MLIT and LRB JINR: for analyzing the trajectories of small laboratory animals in the “Morris Water Maze” behavioral test, for detecting and analyzing radiation-induced foci and for annotating data using CVAT tools;
- a set of software solutions for the joint project of MLIT and BLTP JINR to study systems based on Josephson junctions: software modules based on JupyterLab for performing calculations, including using libraries for parallel computing, visualizing research results and supplementing them with the necessary formulas and explanations, Jupyter Book tools for publishing prepared programs in e-book format with the ability to download and run independently, which are used in conducting training courses, master classes and tutorials for users, JINR staff members and students;
- support for a quantum computing testbed with an installed set of quantum simulators, including those for working with quantum neural networks.
Information on working with users of the HybriLIT Heterogeneous Platform within the software and information environment will also be presented.
