Статьи сотрудников лабораторий прошли на конференции ICLR и AISTATS по ML
Статьи сотрудников лаборатории прошли на международные конференции по машинному обучению ICLR и AISTATS. В работе над статьями также принимали юные сотрудники лаборатории.
На конференциях выделены следующие работы:
1) Stochastic Frank-Wolfe: Unified Analysis and New Faces of Classical Method (AISTATS). Авторы: Руслан Назыков, Александр Шестаков, Владимир Солодкин, Александр Гасников, Александр Безносиков;
2) Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems (AISTATS). Авторы: Никита Пучкин, Эдуард Горбунов, Николай Кутузов и Александр Гасников;
3) Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting (ICLR). Авторы: Алексей Устименко и Александр Безносиков.
4) Advancing the lower bounds: An accelerated, stochastic, second-order method with optimal adaptation to inexactness (ICLR). Авторы: Артем Агафонов, Дмитрий Камзолов, Александр Гасников и другие.
5) Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates (AISTATS). Авторы: Никита Федин, Эдуард Горбунов и другие.
«Работу над статьёй мы начали в начале февраля 2023 года в рамках курса по оптимизации. Выбрали именно эту тему, так как создание универсального способа анализа алгоритмов типа Франка-Вульфа позволит получить новые сходящиеся алгоритмы. Более того, это расширит наше понимание об алгоритмов такого типа. Я доказал сходимость стохастических алгоритмов типа Франка-Вульфа в определённых предположениях на стохастический градиент; нашёл асимптотики некоторых методов, в частности в распределенной оптимизации; принял большое участие в составлении аппендикса статьи», — рассказывает Александр Шестаков, один из авторов статьи Stochastic Frank-Wolfe: Unified Analysis and New Faces of Classical Method.
По словам исследователя, в статье удалось доказать и проверить, что в рамках определённых ограничений на случайный градиент (которые вполне естественны для существующих алгоритмов), алгоритмы типа Франка-Вульфа сходятся. Команде удалось уточнить скорость этой сходимости.
«Этот результат расширяет наше представление об алгоритмах такого типа и дает возможность изучать сходимость новых алгоритмов гораздо более простыми техниками, чем раньше», — подытоживает результаты Александр.
Конференция по искусственному интеллекту и статистике AISTATS объединяет исследователей, работающих на стыке информатики, искусственного интеллекта, машинного обучения, статистики и смежных областей. Темы, которые поднимаются на конференции, включают в себя методы и алгоритмы машинного обучения, вероятностные методы, обучение с подкреплением и другие.
В то же время конференция ICLR посвящена развитию отрасли искусственного интеллекта. Она известна во всем мире благодаря передовым исследованиям по всем аспектам глубокого обучения, используемым в области искусственного интеллекта, статистики и науки о данных, а также в важных областях применения. К последним относятся вычислительная биология, распознавание речи, понимание текста, игры, робототехника и другое.