Статистический анализ генеративных диффузионных моделей
Диффузионные модели являются одним из передовых методов генеративного моделирования, способным создавать изображения высокого разрешения. В их основе лежит идея искажения исходных данных с помощью шума и восстановления обратного преобразования. Как правило, для этого используется метод сопоставления градиентов логарифмов плотностей или скор-функций (denoising score matching, см. [Vincent, Neural Comput., 2011]).
В последние несколько лет был предпринят ряд попыток провести статистический анализ данного подхода и получить верхние теоретические границы на точность оценивания распределения данных по выборке конечного объема с помощью метода сопоставления скор-функций. В большинстве случаев полученные результаты оказываются бессодержательными в пространствах большой размерности.
В рамках доклада будет рассмотрена вероятностно-статистическая модель, предполагающая малую энтропийную размерность распределения данных, что позволяет избежать проклятия размерности. Будет установлена скорость сходимости оценки метода сопоставления скор-функций к градиенту логарифма плотности распредения элементов выборки.
Место и время: МИАН (ул. Губкина 8), 9 этаж, конференц-зал + Контур Толк.
Ссылка на подключение в Контур Толк. Пин-код: 6107