Ученые разработали метод, позволяющий прогнозировать эмоциональные реакции зрителей на видеорекламу с помощью нейросети.
Исследователи утверждают, что понимание эмоциональных реакций поможет улучшить индексацию видео, персонализированные рекомендации и создание эффективной рекламы. Однако основная сложность подобных исследований заключается в отсутствии больших наборов данных с видео и их эмоциональными оценками от зрителей.
По мнению ученых, эмоции человека сложны и зависят от культурных, психологических и физиологических факторов, что затрудняет их распознавание. В прошлом большинство исследований полагались на ручное аннотирование эмоций, что вносило субъективность в результаты.
Авторы исследования подчеркнули, что их работа рассматривает другой подход — прогнозирование эмоций исключительно на основе мультимедийного контента без какого-либо вмешательства человека. Результаты их работы были представлены в журнале Nature.
Ученые обучили нейросеть на основе более чем 30 тысяч рекламных видео, которые оценили примерно 75 зрителей. Это позволило собрать свыше 2,3 миллиона аннотаций эмоций по восьми категориям: гнев, презрение, отвращение, страх, счастье, грусть, удивление и нейтральность.
В экспериментах исследователи использовали пятисекундные отрывки видео, чтобы зафиксировать яркие эмоциональные реакции. Их сверточная нейронная сеть демонстрирует точность 43,6% в предсказании эмоций, причем лучше всего работает для счастья (55,8%) и грусти (60,2%). При анализе полного видео рекламный контент был оценен с точностью 75%.
По словам авторов исследования, их работа не только преодолевает предыдущие ограничения данных, но и предоставляет точное решение от нейросети для понимания эмоций зрителей.
