Обсудим Natural Gradient Descent (NGD) — метод оптимизации, учитывающий геометрическую структуру пространства параметров модели, а также аппроксимации гессианов для методов второго порядка.

Разберем, как сделать Sign-SGD parameter-free, избавившись от ручной настройки гиперпараметров и упростив обучение моделей в условиях ограниченных ресурсов.

Поговорим о масштабной инвариантности — важном свойстве нейронных сетей, которое оказывает значительное влияние на процесс обучения и ландшафт функции потерь.

Обсудим зеркальный спуск для динамически масштабируемой функции потерь и его линейную скорость сходимости.

Поговорим о ранжировании, о важном направлении машинного обучения и рекомендательных систем в частности, о которых мы говорили на прошлом семинаре.

Мы поговорим о рекомендательных системах — одном из самых востребованных направлений в машинном обучении и искусственном интеллекте.