Три статьи сотрудников лаборатории прошли на конференцию ICLR
Три научные статьи сотрудников лаборатории прошли на международную конференцию по машинному обучению ICLR. Мероприятие пройдет с 24 по 28 апреля 2025 года в Сингапуре.
1) Decentralized Optimization with Coupled Constraints. Авторы: Демьян Ярмошик, Александр Рогозин, Никита Киселев, Даниил Дорин, Александр Гасников, Дмитрий Ковалев
«В статье рассматривались задачи децентрализованной оптимизации с перекрестными аффинными ограничениями. Каждый узел сети хранит часть целевой функции и часть матрицы аффинных ограничений. Такие задачи возникают, например, в управлении энергетическими сетями или в вертикально машинном обучении, когда веса модели распределяются по разным вычислительным устройствам. В нашей статье был формализован класс задач оптимизации. Удалось получить алгоритм, имеющий оптимальную сложность на этом классе», — рассказал Рогозин.
«Работа посвящена децентрализованной оптимизации со "связывающими" линейными ограничениями. В более классической консенсусной постановке минимизируется сумма функций, распределенных по узлам вычислительной сети, и аргументы у всех функций должны быть одинаковые. А тут аргументы связаны произвольной системой линейных уравенений. В таком обобщении напрямую не получается показать линейную сходимость в сильно выпуклом случае. Грубо говоря, работа началась с того, что мы заметили эту проблему и стали её решать. Потом, благодаря Диме Ковалёву, получились четкие оценки на параметры задачи и совпадающие верхние и нижние оценки на сложность алгоритма. В продолжение темы сейчас готовим объединяющую статью по децентрализованной оптимизации с линейными ограничениями, чтобы покрыть все основные предположения о целевых функциях и структуре ограничений», — добавил Ярмошик.
2) OPTAMI: Global Superlinear Convergence of High-order Methods. Авторы: Дмитрий Камзолов, Дмитрий Пасечнюк, Артем Агафонов, Александр Гасников, Martin Takáč
3) Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization. Авторы: Юрий Демидович, Петр Остроухов, Григорий Малиновский, Samuel Horváth, Martin Takáč, Peter Richtárik, Эдуард Горбунов
«В 2020 году авторами из MIT было предложено условие обобщенной гладкости, которое является более реалистичным, в отличие от обычного условия гладкости. В нашей работе продолжается развитие данной траектории, исследуется применение методов федеративного обучения к обобщенно-гладким задачам. Предлагаются новые методы, сочетающие локальные шаги, частичное участие клиентов и случайное перемешивание данных без дополнительных ограничивающих предположений. Предложенные методы основаны на правильном сочетании шагов клиентов и сервера, а также на использовании клиппинга градиентов. Кроме того, впервые проводится анализ этих методов для задач, удовлетворяющих условию Поляка-Лоясиевича. Теоретические результаты согласуются с известными выводами для стандартных гладких задач и подкрепляются экспериментальными результатами», — рассказал Остроухов.
Международная конференция ICLR посвящена развитию искусственного интеллекта. Она известна во всем мире благодаря передовым исследованиям по всем аспектам глубокого обучения, используемым в области ИИ, статистики и науки о данных.
Источник фото: сайт конференции ICLR
