Динамическое масштабирование функции потерь

Что такое динамическое масштабирование функции потерь?

Добавление весов к объектам обучающей выборки — это стандартный подход в машинном обучении, например, для борьбы с дисбалансом классов. В рамках семинара будет рассмотрена адаптация этих весов в процессе обучения, что позволит не только минимизировать функцию потерь по параметрам модели, но и максимизировать её по этим весам. Для решения поставленной задачи будут применены различные вариации классического метода зеркального спуска (MirrorProx).

Тема семинара:
На семинаре мы рассмотрим, как такой подход привел к интересным теоретическим результатам: впервые была показана линейная сходимость MirrorProx. Кроме того, мы обсудим практические применения: модифицированная задача позволяет улучшить результаты обучения для различных моделей глубокого обучения, начиная с работы с табличными данными и заканчивая генерацией изображений.

Более подробно о том, как динамическое масштабирование потерь меняет подход к обучению моделей и как это можно использовать на практике, Дмитрий расскажет на семинаре. Приходите, будет интересно!