Александр Гасников выступил на семинаре «Проблемы искусственного интеллекта»
Глава лаборатории Александр Гасников выступил с докладом на тему «Сходимость градиентных методов в условиях относительной неточности» на семинаре «Проблемы искусственного интеллекта» 2 апреля 2025 года в конференц-зале ФИЦ ИУ РАН в Москве.
Аннотация доклада:
«Концепция относительной неточности была введена еще в 60-ке годы прошлого века в работах Б.Т. Поляка. Реальная машинная арифметика как раз и приводит именно к такой концепции. Собственно, важный вопрос, ответ на который был получен еще Б.Т. Поляком в первых работах на эту тему: как будет сходиться градиентный метод в условиях относительной неточности в градиенте? Ответ оказался очень оптимистичным -- если масштаб относительной неточности строго меньше единицы (то есть шум хотя и портит направление градиента, но не может его поменять на противоположное), то сходимость не меняется (для сильно выпуклых задач, остается линейная сходимость с немного более медленной скоростью).
В современных приложениях оптимизационных алгоритмов в обучении больших генеративных моделей часто используются распределенные варианты градиентных методов. Узким местом становится коммуникация. С целью сокращения времени коммуникации используют различные компрессии и квантизации. На практике часто наиболее эффективны смещенные компрессии градиентов. Математически это приводит как раз к относительной неточности в градиенте».