Speaker
Description
Распределённые вычисления сегодня достаточно востребованы в задачах пакетной обработки данных, но текущие решения, которые позволяют в Python их использовать, либо слишком узкоспециализированные, либо не дают полной отказоустойчивости.
В рамках выпускной квалификационной работы был разработан высокоуровневый интерфейс на Python (далее SBN-Python) к новому С++ фреймворку Subordination, в котором последняя проблема была решена. Для достижения низкоуровневой совместимости и адаптации всех сценариев функционирования интерфейс был выполнен, как расширение интерпретатора Python.
Целью данной работы было проверить возможность применения нового интерфейса на реальном кейсе компании ООО «Газпромнефть-ЦР», попутно продемонстрировав принципы его использования.
Для достижения этой цели было разобрано текущее решение, продумана и реализована новая архитектура с использованием SBN-Python, и в конечном счёте развёрнуто получившиеся решение на мощностях компании.
По итогу работы вышло, что использование SBN-Python на реальном кейсе всё также даёт рост производительности с увеличением количества узлов в кластере, возможность обработки различных сценариев сбоя узлов за приемлемое время, а также некоторые архитектурные преимущества при организации вычислений.
В дальнейшем планируется расширить границы применения нового интерфейса, реализовав на его базе возможность построения распределенных веб-сервисов.
