Гомогенность локальных данных

Гомогенность (похожесть) локальных данных — ключевой фактор для сокращения коммуникационных затрат в распределённых системах. Это особенно критично для федеративного обучения, где данные изначально распределены между устройствами.

Что значит «похожесть локальных данных»?
В классическом распределённом обучении данные вручную распределяются между узлами, что позволяет серверу эффективно их аппроксимировать. В федеративном обучении ситуация сложнее — данные изначально распределены между устройствами, и мы можем лишь предполагать, что локальные функции потерь устройств не слишком отличаются от среднего значения. Именно эта мера схожести и называется гомогенностью данных.

На семинаре обсудим:
1. Стохастические методы распределённого обучения с учётом гомогенности данных
2. Комбинация подходов: как гомогенность взаимодействует с другими методами оптимизации коммуникаций (наши результаты)
3. Применение к вариационным неравенствам (наши результаты)
4. Рассмотрим проблемы, возникающие в анализе методов федеративного обучения
5. Перспективы развития: использование гомогенности для персонализированного федеративного обучения