Ученые Университета Иннополис, МФТИ и Института системного программирования РАН предложили метод децентрализованной оптимизации, позволяющий обучать нейросети в условиях, когда соединения между серверами могут прерываться. Разработка особенно актуальна для координации беспилотных автомобилей и обучения ИИ-моделей на данных из нескольких организаций при нестабильном интернет-соединении.
Метод разделяет математическую задачу на две части: гладкую, отвечающую за коммуникации и ускоряемую методом Нестерова, и негладкую, ответственную за обучение модели, пишет ТАСС. Вместо глобального усреднения по всей сети, требующего идеальной связи, ученые предложили использовать локальный обмен только с доступными в данный момент сетями-соседями.
Как отметил специалист Центра научных исследований Университета Иннополис Максим Дивильковский, работа охватывает более сложный случай — негладкие математические функции в динамических сетях с переменной топологией. Доказано, что алгоритм достигает теоретически оптимальной скорости сходимости, что делает его практически неулучшимым.
