Speakers
Dr
Oleg Sukhoroslov
(IITP RAS)
Sergey Vostokin
(Samara National Research University)
Description
Целью исследования была экспериментальная проверка технологии автоматизированной разработки приложений с динамически формируемым графом зависимостей между задачами для вычислений в грид-среде настольных компьютеров организации. Данный тип вычислений привлекателен с точки зрения минимума аппаратных затрат, но остается сложным как для программирования, так и для развертывания.
Специфические требования, которые учитывались при разработке тестового приложения, включают: (1) использование простаивающих компьютеров; (2) исполнение на гетерогенном оборудовании; (3) простоту и оперативность развертывания компонентов приложения; (4) организацию длительных вычислений, устойчивых к отказу; (5) организацию вычислений с большим количеством задач и сложными зависимостями между ними.
Нами было разработано приложение блочной сортировки большого массива экспериментальных данных в грид-среде настольных компьютеров, в котором были учтены заявленные требования. Протестировано использование ноутбуков, рабочих станций, виртуальных машин, имитирующих варианты доступных простаивающих вычислительных ресурсов организации. Компоненты приложения исполнялись под управлением операционной системы Linux (оркестратор вычислений), а также под управлением ОС Windows (сортировщики и мерджеры блоков данных). Простота развертывания обеспечивалась за счет использования платформ Everest [1], Templet Web [2] и программ-агентов с несложной процедурой установки. Отказоустойчивость вычислений задач обеспечивалась внутренними механизмами платформы Everest. Оркестратор в целях отказоустойчивости развертывался из сервиса Templet Web на виртуальную машину под управлением VMware. Код оркестратора сортировки написан на языке С++ c использованием специально разработанного акторо-подобного фреймворка, что позволило формировать задачи сортировки и объединения блоков динамически в зависимости от результатов исполнения ранее запущенных задач.
В дальнейшем планируется расширить код фреймворка для прозрачного взаимодействия между платформой Everest и Templet Web, что позволит реализовывать код оркестратора непосредственно исследователем, без участия системного программиста.
[1] Sukhoroslov O. A Web-Based Platform for Publication and Distributed Execution of Computing Applications [Text] / Sukhoroslov O., Volkov S., Afanasiev A. // IEEE Xplore. – 2015. – Vol. 14. – P. 175-184.
[2] Vostokin S.V. Templet Web: the use of volunteer computing approach in PaaS-style cloud [Text] / S.V. Vostokin, Y.S. Artamonov, D.A. Tsaryov // Open Engineering. – 2018. – Vol. 8(1). – P. 50-56.
Primary authors
Dr
Oleg Sukhoroslov
(IITP RAS)
Sergey Vostokin
(Samara National Research University)
Co-authors
Mrs
Irina Bobyleva
(Samara National Research University)
Mr
Stefan Popov
(Samara National Research University)
