Сервис сбалансированной идентификации математических моделей на платформе распределенных вычислений Everest

7 Jul 2023, 11:30
15m
Room 310

Room 310

Distributed Computing Systems Distributed Computing Systems

Speaker

Vladimir Voloshinov (Institute for Information Transmission Problems RAS)

Description

Технология сбалансированной идентификации математических моделей по экспериментальным данным [1, 2] давно и успешно используется в различных областях прикладных исследований [3]. Следуя авторской рекомендации, далее, для краткости, будем называть её SvF-технологией (Simplicity vs Fitting). Алгоритмическими основами этой математической технологии являются: Тихоновская регуляризация, перекрёстная проверка на наборах экспериментальных данных и решение задачи двухуровневой оптимизации специального вида. Именно в этой задаче, где определяются оптимальные коэффициенты регуляризации, на нижнем уровне, требуется многократно решать наборы независимых задач математического программирования. Для практического применение SvF-технологии требуются пакеты численных методов оптимизации и достаточный объём вычислительных ресурсов, чтобы завершить процедуру вычислений за приемлемое время. По этой причине выполнение расчётов было реализовано в среде распределенных вычислений на платформе Everest [4].
В докладе представлен SvF-сервис (фактически - Everest-сервис) [5], сочетающий возможности давно развиваемого Python пакета SvF [6,7] и Everest-сервиса SSOP [8], позволяющего решать задачи математического программирования на пуле неоднородных вычислительных ресурсов (от настольных компьютеров до вычислительных кластеров), подключённых к платформе Everest. Отличительными особенностями SvF-сервиса являются: удобство применения для достаточно продолжительных расчётов по принципу «запустил и жди оповещения на почту»; возможность описания задачи сбалансированной идентификации в символьном виде (включая выражения исследуемой математической модели); возможности прозрачного изменения состава указанного пула неоднородных ресурсов даже во время выполнения вычислительного задания.
Исследование выполнено за счет гранта Российского научного фонда № 22-11-00317, https://rscf.ru/project/22-11-00317/

Ссылки

  1. Sokolov, Alexander V. and Voloshinov, Vladimir V.. Model Selection by Balanced Identification: the Interplay of Optimization and Distributed Computing // Open Computer Science, vol. 10, no. 1, 2020, pp. 283-295. https://doi.org/10.1515/comp-2020-0116
  2. Соколов А.В., Волошинов В.В. Выбор математической модели: баланс между сложностью и близостью к измерениям // International Journal of Open Information Technologies. 2018. №9. URL: http://injoit.org/index.php/j1/article/view/612
  3. https://github.com/distcomp/SvF/tree/main#references
  4. http://everest.distcomp.org/
  5. https://optmod.distcomp.org/apps/vladimirv/svf-remote
  6. https://github.com/distcomp/SvF
  7. https://github.com/distcomp/SvF/blob/main/SvF_UserGuide29v03.pdf
  8. https://optmod.distcomp.org/apps/vladimirv/SSOP

Summary

Подтверждаются высказанные нами ранее предположения, что SvF-технология является удачным примером математической технологии, позволяющая развивать как математические алгоритмы так и эффективные средства их выполнения в режиме распределенных вычислений.

Primary author

Vladimir Voloshinov (Institute for Information Transmission Problems RAS)

Co-author

Presentation materials