При обучении современных нейронных сетей все чаще параметры (nn.Module ю ноу) имеют вид матриц (двумерных тензоров), однако классические методы оптимизации никак не учитывают эту структуру, так как любимые AdamW и SGD (sign SGD) работают в режиме element-wise.

Поговорим о современных вызовах в обработке видео — от уязвимостей нейросетевых моделей до оптимизации потокового вещания с помощью федеративного обучения.

Разберем современные подходы к использованию гомогенности локальных данных для построения эффективных методов распределенного и федеративного обучения. На семинаре будут представлены последние результаты нашей лаборатории и перспективные направления развития этой области

Обсудим Natural Gradient Descent (NGD) — метод оптимизации, учитывающий геометрическую структуру пространства параметров модели, а также аппроксимации гессианов для методов второго порядка.

Разберем, как сделать Sign-SGD parameter-free, избавившись от ручной настройки гиперпараметров и упростив обучение моделей в условиях ограниченных ресурсов.

Поговорим о масштабной инвариантности — важном свойстве нейронных сетей, которое оказывает значительное влияние на процесс обучения и ландшафт функции потерь.

Обсудим зеркальный спуск для динамически масштабируемой функции потерь и его линейную скорость сходимости.

Поговорим о ранжировании, о важном направлении машинного обучения и рекомендательных систем в частности, о которых мы говорили на прошлом семинаре.

Мы поговорим о рекомендательных системах — одном из самых востребованных направлений в машинном обучении и искусственном интеллекте.