Команда лаборатории награждена за лучшую статью на конференции AI Journey
Сотрудник лаборатории Михаил Рудаков был награжден за лучшую статью «Техники сжатия активаций слоев и градиентов для распределённого обучения моделей искусственного интеллекта» на конференции AI Journey. Мероприятие проходит с 22 по 24 ноября 2023 года. Совместно с Михаилом над статьёй работали Александр Безносиков (Иннополис, МФТИ), Ярослав Холодов (Иннополис) и Александр Гасников (Иннополис, МФТИ).
В рамках конференции SberAI Journey проходил отбор научных статей для AI Journey Science. В рамках этого отбора работы будут опубликованы в журнале Доклады Российской академии наук (Математика, информатика, процессы управления, а также англоязычной версии doklady mathematics).
«Для меня это был первый опыт подачи научной статьи на конференцию, который позволил поработать с экспертами лаборатории ММО МФТИ и глубже погрузиться в решаемую задачу», — рассказал Рудаков.
Он уточнил, что в статье «Техники сжатия активаций слоев и градиентов для распределённого обучения моделей искусственного интеллекта» исследуется влияние одновременного сжатия активаций и градиентов в режиме параллелизации модели на сходимость процесса обучения.
«В нашей работе приводятся границы применения сжатия для обучения нейронных сетей при разбиении модели на несколько устройств. Также сделано несколько новых наблюдений об особенностях применения сжатия в такой задаче. Например, мы замечаем, что активации слоёв нейронных сетей менее чувствительны к сжатию, чем градиенты; а также что применение техник компенсации ошибки хоть и не ускоряет сходимость, но делает модель более устойчивой, выравнивая качество модели с применением сжатия и без», — сообщают авторы статьи.
Статья также сопровождалась лекцией «Техники сжатия активаций слоев и градиентов для распределенного обучения моделей ИИ», которую зачитал глава лаборатории Александр Гасников.
Коллектив лаборатории поздравляет команду с этим достижением и желает дальнейших успехов в исследовании!
Работа поддержана Российским научным фондом (проект No 23-11-00229).
Источник фото: телеграм-канал Machinelearning.
