Исследователи факультета вычислительной математики и кибернетики (ВМК) МГУ разработали подходы, позволяющие сократить время обучения систем, управляющих распределением вычислительных задач в сети. Работа посвящена повышению эффективности планирования вычислений в условиях изменяющейся нагрузки.
В современных вычислительных сетях, в том числе используемых для обработки данных от устройств Интернета вещей, задачи поступают в непредсказуемые моменты времени. Для их эффективного выполнения необходимо динамически распределять нагрузку между узлами сети с учетом текущей занятости ресурсов.
Ранее для решения этой задачи был предложен подход на основе многоагентного обучения с подкреплением. В такой системе несколько агентов отвечают за разные части сети, а центральный агент распределяет поступающие задачи между ними. Однако обучение таких систем требует значительных вычислительных ресурсов и времени даже на сравнительно небольших сетях.
Эксперименты показали, что обучение моделей может занимать около десяти часов процессорного времени. При подборе параметров обучения таких запусков требуется множество, что делает процесс настройки слишком длительным.
В работе исследователи сосредоточились на оптимизации процесса обучения. Были выявлены основные затраты вычислительных ресурсов и предложены практические решения, включая отказ от избыточного копирования данных и параллельное выполнение вычислений. Это позволило значительно ускорить процесс сбора данных и обучения моделей.
«Оптимизация процесса обучения позволяет существенно сократить время настройки системы и делает такие подходы применимыми на практике при управлении вычислительными сетями», — отметил старший научный сотрудник лаборатории вычислительных комплексов факультета ВМК МГУ Василий Балашов.
В результате проведенных оптимизаций время настройки системы удалось сократить до приемлемого уровня — нескольких суток, с учетом многократного прогона обучения.
Полученные результаты могут использоваться при разработке систем управления вычислительными ресурсами, включая распределенные вычислительные сети и инфраструктуры обработки данных.
Работа была представлена на научной конференции «Ломоносовские чтения».
Информация предоставлена пресс-службой МГУ
Источник фото: ru.123rf.com
