Проектная смена по доверенному ИИ пройдет в Сириусе
С 7 по 18 ноября 2023 года пройдет проектная смена «Доверенный искусственный интеллект» на базе научного центра «Информационные технологии и искусственный интеллект». На смене будут проекты от группы сотрудников лаборатории: Александра Безносикова, Дмитрия Ковалева, Александра Лобанова, Дарины Двинских и Александра Гасникова.
К участию приглашаются студенты старших курсов бакалавриата и специалитета, магистратуры и программ подготовки научных и научно-педагогических кадров в аспирантуре, обучающиеся по следующим группам специальностей: математика, прикладная математика и информатика. Подать заявку можно до 1 октября 2023 года.
В рамках программы будут изучаться:
- методы обнаружения и противодействия уязвимостям машинного обучения, включая состязательные атаки, атаки с внедрением закладок и зловредного кода и т.д.;
- методы выявления и борьбы с устареванием моделей из-за изменения распределений во входных данных (concept drift, feature drift);
- теория и практика создания моделей, устойчивых к атакам;
- подходы к интерпретируемости моделей машинного обучения;
- создание доверенных фреймворков для обучения нейронных сетей;
статический и динамический анализ компонентов интеллектуальных систем.
Проекты от сотрудников лаборатории:
1. Адаптивные методы безградиентной оптимизации
Кто преподает: А.И. Лобанов (МФТИ, ИИ Центр ИСП РАН), д.ф.-м.н. Гасников А.В. (МФТИ, ИИ Центр ИСП РАН)
Описание: В современном обучении безградиентые методы часто встречаются при настройке гиперпараметров. Также в ряде случаев отсутствие информации о градиенте целевой функции связана с моделью черного ящика — по каким-то причинам (например, физическим — работаем с каким-то прибором) нам доступны только зашумленные наблюдения функции (чем точнее хотим получить значение, тем дороже это будет стоить), в том числе с, возможно, враждебным шумом. Как правило, отсутствие информации о функции означает, отсутствие и информации о ее параметрах гладкости и т.п. Поэтому остро встают вопросы о разработке таких методов, которые бы не только допускали шум в значении функции, но и не требовали бы на вход никакой информации о целевой функции (ну или требовали бы какую-то минимальную информацию). Развитию данного направления и посвящен проект.
Литература:
— Gasnikov A. et al. The power of first-order smooth optimization for black-box non-smooth problems //International Conference on Machine Learning. – PMLR, 2022. – С. 7241-7265.
— Ivgi M., Hinder O., Carmon Y. DoG is SGD’s Best Friend: A Parameter-Free Dynamic Step Size Schedule. — 2023. — arXiv: 2302.12022 [cs.LG].
— Cutkosky A., Defazio A., Mehta H. Mechanic: A Learning Rate Tuner // arXiv preprint arXiv:2306.00144. — 2023.
2. Федеративное обучение в условиях византийской атаки на примере анализа цифровых ЭКГ
Кто преподает: к.ф.-м.н. А.Н. Безносиков (МФТИ), к.т.н. Ю.В. Маркин (ИСП РАН), стажер-исследователь А.А. Аветисян (ИСП РАН)
Описание: В проекте можно познакомиться с современными достижениями в области гомогенного и гетерогенного федеративного обучения. Попробовать на практике применить SOTA результаты для реальной задачи, с датасетом из миллиона сущностей. Поскольку локальная информация может быть ненадежна и нестабильна, потребуется модернизировать SOTA подходы под такие реалии.
Литература:
— Kairouz P. et al. Advances and open problems in federated learning // Foundations and Trends® in Machine Learning. – 2021. – Т. 14. – №. 1–2. – С. 1-210.
3. «Поиск барицентра Васерштейна редукция дисперсия и(или) симиларити»
Кто преподает: PhD Двински Д.М. (МФТИ, ИИ Центр ИСП РАН), к.ф.-м.н. А.Н. Безносиков (МФТИ, зав. лабораторией Яндекс Ресерч)
Описание: В проекте исследуется популярная в последние 10 лет задача о поиске барицентра Васерштейна набора картинок. Данная задача может быть представлена как билинейная седловая задача на произведении симплекса и всего пространства, которую в ряде случаев приходится решать распределенно. В проекте будет предложено попробовать решить эту задачу на основе схожести данных и редукции дисперсии.
Литература:
— Kovalev D. et al. Optimal gradient sliding and its application to optimal distributed optimization under similarity //Advances in Neural Information Processing Systems. – 2022. – Т. 35. – С. 33494-33507.
— Alacaoglu A., Malitsky Y. Stochastic variance reduction for variational inequality methods //Conference on Learning Theory. – PMLR, 2022. – С. 778-816.
4. Децентрализованная оптимизация с аффинными ограничениями на меняющихся графах
Кто преподает: PhD Ковалев Д.А. (ИИ Центр ИСП РАН), д.ф.-м.н. Гасников А.В. (МФТИ, ИИ Центр ИСП РАН)
Описание: Одни из основных задач распределенной оптимизации в моделировании приходят из электроэнергетики и моделирования различного рода сетей. В таких сетях периодически бывают сбои или даже злонамеренные атаки. Приходится учитывать это при разработке алгоритмов. Собственно, именно такого типа постановки и приводят к необходимости рассматривать меняющиеся графы. Ну а специфика, сязанная с сетями, кодируется в аффинных ограничениях. С такой общности данное направление начало развиваться лишь недавно и тут еще многое предстоит сделать.
Литература:
— Boyd S. et al. Distributed optimization and statistical learning via the alternating direction method of multipliers //Foundations and Trends® in Machine learning. – 2011. – Т. 3. – №. 1. – С. 1-122.
— Yarmoshik D., Rogozin A., Gasnikov A. Decentralized optimization with affine constraints over time-varying networks //arXiv preprint arXiv:2307.01655. – 2023.
Участники смены смогут также ознакомиться с разработками Исследовательского центра доверенного искусственного интеллекта ИСП РАН, а также поучаствовать в создании облачной платформы для разработки доверенных интеллектуальных систем. Также будут лекции/проекты и от известных людей, возглавляющих свои группы, например, от Ивана Оселедеца, Дмитрия Ватолина и других. Головной организацией будет выступать Центр Доверенного ИИ ИСП РАН.
Подробнее об этапах отбора, требованиях к участникам и условиях на сайте Сириуса.
Источник фото: сайт Сириуса.