Масштабная инвариантность

Что такое масштабная инвариантность?

Масштабная инвариантность — это свойство модели, при котором изменение масштаба ее параметров не влияет на выходные предсказания. Это явление естественным образом возникает в глубоких нейронных сетях, использующих слои нормализации, такие как Batch Norm. В результате большинство параметров модели становятся масштабно-инвариантными, что делает изучение этого свойства крайне важным для понимания динамики обучения и структуры функции потерь.

Тема семинара:
В рамках семинара будут рассмотрено, как масштабная инвариантность влияет на процесс обучения, а также будут предложены три режима обучения масштабно-инвариантных моделей на сфере. Эти режимы позволили выявить ряд интригующих внутренней структуры ландшафта потерь, а также предложить практические методы для поиска лучших минимумов.

Более подробно о том, как масштабная инвариантность меняет наше понимание обучения нейронных сетей и как это можно использовать на практике, Максим расскажет на семинаре. Приходите, будет интересно!