Исследователи представили новую модель распознавания языка жестов на основе технологий глубокого обучения и компьютерного зрения. Разработка направлена на создание эффективного инструмента коммуникации для глухих и слабослышащих людей, позволяющего преодолевать социальные барьеры.
Методика HHODLM-SLR включает несколько инновационных этапов обработки данных. На первом этапе применяется двусторонняя фильтрация для очистки входных изображений от шумов и артефактов. Затем глубокая сверточная сеть ResNet-152 выделяет наиболее значимые особенности жестов, обеспечивая высокую детализацию анализа. Классификация осуществляется с помощью двунаправленной сети LSTM с оптимизацией параметров по алгоритму Харриса Хока, пишет Gazeta.SPb.
Согласно исследованию, опубликованному в Scientific Reports, система продемонстрировала точность 98,95% на тестовых данных. Этот результат значительно превосходит показатели существующих аналогов и открывает новые перспективы для создания доступных коммуникационных сервисов.
Технология может быть интегрирована в системы видеонаблюдения, смартфоны и специализированные устройства, обеспечивая взаимодействие между людьми с разными возможностями здоровья. Разработчики подчеркивают, что система способна работать в реальном времени и адаптироваться к различным условиям освещенности и фона.
