Молодые ученые новой лаборатории ФПМИ на переднем крае науки

В начале декабря в Новом Орлеане прошло одно из самых значимых событий в сфере машинного обучения и искусственного интеллекта — Конференция NeurIPS (Conference and Workshop on Neural Information Processing Systems).

Сотрудники ведущих компаний и исследовательских центров в области искусственного интеллекта собрались, чтобы обсудить возможные решения актуальных проблем академического мира и определить тренды будущего развития технологии искусственного интеллекта. В этом году на конференцию принято всего 2672 доклада. Из них 11 — авторства команды талантливых ученых новой лаборатории Математических методов оптимизации.

Один из самых активных сотрудников лаборатории — Александр Безносиков, младший научный сотрудник лаборатории продвинутой комбинаторики и сетевых приложений ФПМИ. Александр окончил магистратуру «Интеллектуальный анализ данных» и поступил в аспирантуру (h index 17, h-10 index 21). Он автор 4 статей. И он не просто написал большую часть этих статей, но и был автором самой идеи для каждой статьи. На момент написания материала Александр обучался на 6 курсе Физтех-школы прикладной математики и информатики. Кажется, это рекорд, и до сих пор ни один студент ни одного Российского вуза не может похвастаться такой производительностью!

Методы оптимизации имеют довольно большую историю исследований, но в последние годы к ним появился большой интерес. И связано это, прежде всего, с развитием машинного обучения. Особую роль стали играть распределенные алгоритмы, где вместо одного вычислительного устройства используется несколько. С помощью такого подхода можно значительно ускорить процесс обучения популярных и самых новых моделей на огромных датасетах. Ключевым отличием от нераспределённых алгоритмов является процесс организации эффективных коммуникаций. Это связано с тем, что часто в распределенных алгоритмах большая часть времени работы уходит именно на общение устройств между собой, а не на полезные для решения задачи вычисления.

Все работы Александра и всей команды лаборатории ММО посвящены как раз распределенным алгоритмам, различным подходам к вопросу эффективности их работы. Расскажем о последних научных достижениях немного подробнее: 

Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity

Авторы: Dmitry Kovalev, Aleksandr Beznosikov, Ekaterina Borodich, Alexander Gasnikov, Gesualdo Scutari
В данной работе рассматривается популярная постановка задачи распределенного обучения, когда данные на локальных вычислительных устройствах являются похожим. Оказывается, что в таком случае процесс работы алгоритма может быть значительно ускорен за счет уменьшения числа коммуникаций. Почти 10 лет назад были доказаны оценки сходимости распределенных алгоритмов — ориентир, к которому нужно стремиться. Различные авторы, в том числе и очень именитые, подступались к этой задаче, но оптимального алгоритма так и не получили. В докладе представлен алгоритм, который является оптимальным как с точки зрения коммуникационной сложности, так и с точки зрения локальных вычислений.

Optimal Algorithms for Decentralized Stochastic Variational Inequalities

Авторы: Dmitry Kovalev, Aleksandr Beznosikov, Abdurakhmon Sadiev, Michael Persiianov, Peter Richtárik, Alexander Gasnikov
Здесь рассматривается более широкий класс задач — вариационные неравенства, с помощью которых можно описать и седловые задачи, и задачи поиска стационарной точки. Для такого класса задач разрабатываются распределенные алгоритмы решения на децентрализованной архитектуре связи между вычислительными устройствами. В этом случае устройства соединены между собой в некоторый граф и могут общаться только с соседями. При этом учитывается случай, когда граф может значительно меняться в ходе работы алгоритма. Например, из-за сбоев сети.

В последние несколько лет появились модные направления распределенного обучения, такие как коллаборативное и федеративное. Суть этих направлений заключается в том, что вычислительными устройствами являются пользовательские девайсы: ноутбуки, планшеты, телефоны. А данными, на которых обучается модель, — локальные данные пользователей. Отсюда возникает еще больше дополнительных важных аспектов распределенных алгоритмов: приватность данных, персонализация результата под каждого пользователя, эффективные коммуникации в условиях плохого соединения локальных вычислителей.

Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees

Авторы: Aleksandr Beznosikov, Peter Richtárik, Michael Diskin, Max Ryabinin, Alexander Gasnikov
В этой работе продолжают рассматриваться задачи вариационного неравенства. Только теперь суть подхода в сжатии передаваемой информации для более эффективного процесса общения между устройствами. Рассматриваются как так называемые «несмещённые/случайные», так и «смещенные/жадные» операторы сжатия информации. Полученные алгоритмы превосходят все методы-конкуренты.

Decentralized Local Stochastic Extra-Gradient for Variational Inequalities

Авторы: Aleksandr Beznosikov, Pavel Dvurechensky, Anastasia Koloskova, Valentin Samokhin, Sebastian U Stich, Alexander Gasnikov
Последняя статья тоже про вариационные неравенства и децентрализованные алгоритмы для них, но рассматривает метод, который способен работать в критических ситуациях, в духе полного разрыва всех коммуникационных соединений между устройствами. Оказывается, и в таком случае можно дать некоторые гарантии работы алгоритмов и получения приемлемого результата.

NeurIPS — это в первую очередь возможность для людей из области data science следить за последними научными достижениями и результатами исследований. А команда нашей новой лаборатории — это гордость Школы! Коллектив, который занимается действительно важными и актуальными научными проблемами, которые уже востребованы в реальном мире.

У студентов ФПМИ всегда есть возможность присоединиться к научным исследованиями лаборатории. Наука — это невероятно интересно!