Команда робототехников из Стэнфорда и Toyota Research Institute обнаружила, что добавление аудиоинформации к визуальным данным улучшает навыки обучения роботов. Они заметили, что при обучении гуманоидов на базе ИИ обычно используется только визуальная информация, без учета звуковых аспектов. Исследователи предположили, что оснащение роботов микрофонами и возможность сбора звуковых данных улучшит процесс обучения.
Для проверки этой гипотезы были проведены четыре эксперимента по обучению роботов различным задачам: переворачивание бублика, стирание изображения, пересыпание игральных костей и выбор скотча. Обучение проводилось с использованием видео без звука и видео со звуком. Как сообщает TechXplore, добавление звука улучшило скорость и точность выполнения некоторых задач, но не всех. Например, звук при пересыпании игральных костей улучшил определение наличия костей в чашке.
