Математика больших данных, осень 2023

По средам с 17:00 до 19:30, с 6 сентября

Аудитория 113 ГК

О курсе

Альтернативный курс для студентов 4-5 курса ПМФ ФПМИ. Проводится совместно с Независимым московским университетом (НМУ) и будет зачитываться также в НМУ.

Предварительная программа курса:

1 лекция (6 сентября) Вводная. В частности, схема испытаний Бернулли с точки зрения современного анализа данных. Задача PageRank. Обсуждение плана на семестр.

2 лекция (13 сентября) Вокруг энтропии. Элементы теории макросистем (принцип максимума энтропии): в частности, Задача 19 (теорема Гордона–Ньюэлла и PageRank). Кинетика социального неравенства. Модель хищник-жертва. Парадокс Эренфестов. Теорема Шеннона об энтропии текста; А.М. Яглом, "Вероятность и информация".

3 лекция (20 сентября) Алексей Фролов (tg: @frolov_alexey) Теоретико-информационные границы для задачи приближенного восстановления носителя.

Аннотация:

В рамках лекции мы рассмотрим задачу восстановление носителя неизвестного разреженного вектора по небольшому количеству зашумленных линейных измерений. Рассматривается случай большой размерности. С помощью вероятностного метода (или метода случайного кодирования) будут выведены две границы существования. В обоих случаях используется аддитивная граница, но для ее уточнения применяются методы Фано и Галлагера.

4 лекция (27 сентября) Эргодическая теорема для динамических систем. Примеры поворот окружности, цепные дроби. Модель Блэка-Шоулса-Мертона, диффузионный скейлинг. Введение в диффузионные процессы. Иммитация отжига.

5 лекция (4 октября) MCMC. Явление концентрации меры и различные примеры приложений. Теорема Джонсона-Линденштраусса.

Blum A., Hopcroft J., Kannan R. Foundations of data science. – Cambridge University Press, 2020.

6 лекция (11 октября) Сергей Самсонов (tg: @ssamsonov). Предварительно: Неравенства концентрации меры и приложения к статистической теории обучения. Оценки переобучения.

7 лекция (18 октября) Андрей Соболевский (tg: @sobolevski). Большие отклонения. Метод перевала и его использование в исследовании различных асимптотик.

8 лекция (25 октября) Стохастический градиентный спуск и окрестности. Рандомизированные методы. Батчирование. Сходимость в условиях перепараметризации. Многорукие бандиты.

9 лекция (1 ноября) Распределенная оптимизация для решения задач огромных размеров. Компрессии. Федеративное обучение.

10 лекция (8 ноября) Максим Рахуба (tg: @mrakhuba). Матричные разложения

Скелетное и сингулярное разложение матриц. Псевдоскелетная аппроксимация. Оптимизационные методы: ALS, риманова оптимизация.

11 лекция (15 ноября) Максим Рахуба (tg: @mrakhuba). Тензорные разложения

Каноническое разложение, разложение Таккера, тензорные сети. Оптимизационные методы для тензорных разложений.

12 лекция (22 ноября) Никита Пучкин (tg: @nikita_puchkin). Алгоритмическая устойчивость. Оценки на обобщающую способность равномерно устойчивых алгоритмов

13 лекция (29 ноября) Обучение с подкреплением с точки зрения линейнонго программирования. Уравнения Вальда-Беллмана. Индексы Гиттинса. DMDP, AMDP, HMDP и SOTA результаты.

Ведущие курса

Лекторы: А. Гасников, М. Рахуба, А. Фролов, А. Наумов, А. Безносиков

Материалы курса

Программа курса и материалы (прошлогодний вариант).