Ученые Пензенского государственного университета разработали основанный на компьютерном зрении прототип веб-приложения для оценки визуального облика городов с учетом размещенной на улице наружной рекламы.
Как сообщили в пресс-службе вуза, сервис способен в режиме, приближенном к реальному времени, находить и идентифицировать объекты наружной рекламы на фотоснимках, в том числе при плохом освещении, изменении ракурса или частичном перекрытии объекта. Приложение найдет применение не только в рекламных агентствах и пиар-службах, но и у специалистов по городской среде: с его помощью можно анализировать визуальный облик города и отслеживать динамику размещения рекламы.
Решение построено на связке моделей компьютерного зрения и методов машинного обучения. Ключевая особенность — подход Few Shot Learning, позволяющий системе динамически расширять круг поиска без полного переобучения модели. Для распознавания достаточно загрузить один-два эталонных снимка, но для надежного результата разработчики рекомендуют не менее пяти примеров с разными ракурсами, контрастностью и освещением. Приложение построено по конвейерному принципу и включает этапы детекции и идентификации рекламных носителей от крупных билбордов до небольших листовок.
Разработчик, студент Политехнического института ПГУ Михаил Андреев, отметил, что рекламные агентства, пиар-службы и медиахолдинги смогут отказаться от ручного мониторинга и рутинной работы. Система анализирует точнее и эффективнее человека, вычисляет схожесть найденного объекта с эталонным изображением и определяет принадлежность рекламы конкретной компании даже при изменении ракурса, освещения или перекрытии.
Прототип уже прошел проверку: система демонстрирует полноту обнаружения на уровне единицы и точность порядка 0,9. В перспективе данные планируется получать напрямую с городских камер наблюдения. Научный коллектив сотрудничает с компаниями для внедрения сервиса в реальных условиях.
