Научное сообщество Университета Альберты выявило, что современные нейронные сети, используемые в глубоких обучающих методах, теряют свои обучающие способности при взаимодействии с новыми данными, что называется «катастрофическим забыванием». В статье в журнале Nature они предложили новый подход для сохранения гибкости нейронных сетей в обучающихся и управляемых системах ИИ.
Большие языковые модели (LLM), хотя и создают впечатление интеллектуальных ответов, не могут улучшать свои реакции с течением времени и усваивать новые знания. Исследователи обнаружили, что стандартные нейронные сети теряют способность к обучению, обучаясь на различных задачах, что снижает их гибкость. В нейронных сетях веса узлов, определяющие их активность, могут изменяться в зависимости от сигналов между узлами.
Ученые предполагают, что повторная настройка весов с использованием тех же инициализационных методов. Это и при первичном обучении, поможет сохранить гибкость системы и продолжить обучение на новых данных.
