Калиниченко Виктория Константиновна · Семинары

Рассмотрим вероятностно-статистическую модель, предполагающую малую энтропийную размерность распределения данных, что позволяет избежать проклятия размерности. Будет установлена скорость сходимости оценки метода сопоставления скор-функций к градиенту логарифма плотности распредения элементов выборки.

Расскажем, как обобщенный SGD с произвольной «стационарной линейной памятью» можно отождествить с контуром в комплексной плоскости: например, простому SGD отвечает окружность, SGD с импульсом — эллипс, а SGD с памятью размера 1 общего вида — профиль Жуковского.

В докладе будет рассказано о задаче построения диффузионного моста Шрёдингера, будут описаны как его теоретические свойства, так и недавно разработанный алгоритм построения моста Шрёдингера по данным (Light Schrodinger Bridge).

При обучении современных нейронных сетей все чаще параметры (nn.Module ю ноу) имеют вид матриц (двумерных тензоров), однако классические методы оптимизации никак не учитывают эту структуру, так как любимые AdamW и SGD (sign SGD) работают в режиме element-wise.

Поговорим о современных вызовах в обработке видео — от уязвимостей нейросетевых моделей до оптимизации потокового вещания с помощью федеративного обучения.

Разберем современные подходы к использованию гомогенности локальных данных для построения эффективных методов распределенного и федеративного обучения. На семинаре будут представлены последние результаты нашей лаборатории и перспективные направления развития этой области

Обсудим Natural Gradient Descent (NGD) — метод оптимизации, учитывающий геометрическую структуру пространства параметров модели, а также аппроксимации гессианов для методов второго порядка.

Разберем, как сделать Sign-SGD parameter-free, избавившись от ручной настройки гиперпараметров и упростив обучение моделей в условиях ограниченных ресурсов.

Поговорим о масштабной инвариантности — важном свойстве нейронных сетей, которое оказывает значительное влияние на процесс обучения и ландшафт функции потерь.

Обсудим зеркальный спуск для динамически масштабируемой функции потерь и его линейную скорость сходимости.

Поговорим о ранжировании, о важном направлении машинного обучения и рекомендательных систем в частности, о которых мы говорили на прошлом семинаре.

Мы поговорим о рекомендательных системах — одном из самых востребованных направлений в машинном обучении и искусственном интеллекте.