Китайские ученые из Hangzhou Institute for Advanced Study предложили метод, который они назвали «хаотическим обратным распространением ошибки» (CSBP). Этот подход включает в себя хаотическую динамику, схожую с той, что наблюдается в головном мозге.
Применение этого метода к пиковым нейронным сетям (SNN) не только повышает эффективность обучения, но и улучшает обобщение на различных наборах данных, как указано в National Science Review.
SNN — это нейронные сети, которые отличаются высокой энергоэффективностью, так как они передают импульсные сигналы аналогично биологическим нервным системам. Но их обучение представляет собой сложную задачу. Существующие методы, такие как суррогатный градиент, не всегда эффективны из-за сложностей с локальными минимумами.
CSBP вводит функцию потерь, которая создает хаотическую динамику, схожую с активностью мозга. Эта методика показывает существенное преимущество как на данных нейроморфных, так и на больших статических наборах данных, включая CIFAR100 и ImageNet.
Теоретически CSBP демонстрирует, что процесс обучения вначале представляет собой хаос, после чего проходит через ряд бифуркаций и в конечном итоге сходится к градиентной динамике, что совпадает с активностью мозга животных.
Исследование глубоко проникает в механизмы обучения биологического мозга и открывает новые перспективы для обучения SNN.
