Course description
В курсе рассказываются азы стохастической оптимизации. Начинается с принципа максимума правдоподобия и схемы испытаний Бернулли. Далее рассматриваются уже задачи машинного обучения. Отличие от задач математической статистики в том, что функционал задается, а не определяется логарифмом функции правдоподобия. Далее исследуются оффлайн (Монте-Карло) и онлайн (стохастический градиентный спуск и его вариации) методы решения полученной задачи стохастической оптимизации. Обсуждается вопрос о переобучение, которое возникает при оффлайн подходе. Говорится о важности регуляризации или ранней остановки.