Российские исследователи из НИУ ВШЭ совместно с зарубежными коллегами представили теоретическое обоснование быстрого и вычислительно легкого метода оценки неопределенности для стохастического градиентного спуска. Этот подход широко применяется в классическом машинном обучении, не использующем нейросети.
Кск сообщает пресс-служба НИУ ВШЭ, математическое доказательство, по словам ученых, позволяет пересмотреть отношение к простым эмпирическим методам оценки точности. Разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Это особенно важно в медицине, финансах и автономных системах, где критично знать не только предсказание, но и степень уверенности в нем.
В основе работы лежит задача построения доверительных интервалов для решений, получаемых с помощью стохастического градиентного спуска. Традиционные методы требуют сложных статистических оценок, в частности явного вычисления ковариационной матрицы, что дорого по времени и ресурсам. Ученые обратили внимание на то, что простые эмпирические подходы, используемые на практике, часто показывают лучшие результаты по сравнению с альтернативами, и дали этому строгое математическое обоснование.
Как пояснила младший научный сотрудник Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Марина Шешукова, полученное доказательство применимости метода и выявленные рамки его использования помогут улучшить работу большого числа систем машинного обучения. Это упростит и удешевит решение многих оптимизационных задач.
