Современные суперкомпьютеры предоставляют много полезной информации о выполняемых на них приложениях: данные о структуре, производительности выполнения или коммуникационном профиле приложений; названия используемых прикладных программных пакетов, библиотек и компиляторов; подробная информация о запуске заданий, и т. д. Объем собираемой информации становится все больше, и его уже практически невозможно обрабатывать вручную. Поэтому все более актуальной становится проблема разработки методов интеллектуального анализа данных, которые позволят администраторам более полно, точно и быстро оценивать работу суперкомпьютера на основе указанной информации, а также выявлять и устранять проблемы, приводящие к снижению эффективности функционирования суперкомпьютеров. Одним из направлений для подобного анализа является задача поиска схожих приложений. Обладая информацией о схожести различных приложений, можно не только изучать новые задания, используя полученные ранее результаты анализа схожих, уже изученных приложений, но и группировать задания или предсказывать их поведение, что значительно облегчит процесс исследования эффективности приложений, как для пользователей, так и для администраторов суперкомпьютеров. В данной работе приведены 2 подхода к решению задачи поиска схожих суперкомпьютерных приложений, а также предложены алгоритмы для исследования потока суперкомпьютерных заданий на основе предложенных подходов, которые позволяют выделять используемые программные пакеты, осуществлять кластеризацию заданий и предсказывать оценки качества использования суперкомпьютерных ресурсов.
Research and development of methods for comparative analysis of supercomputer applications based on data mining techniques
Modern supercomputers provide a lot of useful information about the applications running on them: data on the structure, performance or communication profile of applications; names of the used application software packages, libraries and compilers; detailed information on the launch of jobs, etc. The volume of collected information is growing, and it is almost impossible to process it manually. Therefore, the problem of developing data mining methods are becoming increasingly relevant which will allow administrators to more fully, accurately and quickly evaluate the work of a supercomputer based on the specified information, as well as to identify and eliminate problems that lead to a decrease in the efficiency of supercomputers. One of the areas for such analysis is the problem of finding similar applications. Having information about the similarity of various applications, it is possible not only to study new jobs using the previously obtained results of the analysis of similar, already studied applications, but also to group jobs or predict their behavior, which will significantly facilitate the process of studying the efficiency of applications for both users and administrators of supercomputers. This research presents two approaches to solving the problem of finding similar supercomputer applications, and also proposes algorithms for studying the supercomputer job flow based on the proposed approaches, which allow identifying the software package usages, job clustering, and predicting the quality assessment of supercomputer resources usage.
