Предложена инновационная архитектура нейронной сети ARGC-BRNN, значительно улучшающая анализ сложного оперного вокала.
Принятая структура, включающая остаточные сверточные блоки с вентильным механизмом, позволяет эффективно улавливать многоуровневые локальные признаки. Это способствует предотвращению проблемы исчезающего градиента, что заметно повышает производительность модели при обработке сложных последовательных данных.
Внедрение модуля Squeeze-and-Excitation (SE) дает сети возможность автоматически акцентировать внимание на наиболее значимых каналах признаков, что существенно усиливает процесс извлечения признаков.
Двунаправленная рекуррентная нейронная сеть (BRNN) способна моделировать контекстную информацию во временных рядах, что является ключевым для распознавания таких временно зависимых характеристик, как высота и ритм голоса в оперном исполнении.
Как сообщает Nature, когда обрабатываются аудиоданные с выраженными временными особенностями, двунаправленная структура BRNN обеспечивает гораздо более всестороннее понимание последовательности.
Механизм внимания динамически фокусируется на самых актуальных частях входных данных, значительно улучшая производительность модели во время процесса агрегации глобальных признаков. В представленной модели механизм внимания способствует лучшему пониманию того, какие именно аудиосегменты наиболее важны для поставленной задачи классификации, что приводит к существенным преимуществам как в достижении точности классификации, так и в повышении эффективности обучения.
Архитектура ARGC-BRNN разделена на три функциональных слоя: слой обучения представлений музыки, слой моделирования музыкальных последовательностей с последующей агрегацией признаков, а также полностью связанный слой для классификации.
Вся архитектура создана с учетом специфических требований к извлечению признаков и моделированию последовательностей для женских вокальных стилей в китайской национальной опере. Она фокусируется на целенаправленной оптимизации структуры и интеграции остаточных сверточных блоков с вентильным механизмом (RGLU) и BRNN.
Основная цель — улучшение производительности модели в извлечении сложных спектральных признаков и моделировании временных зависимостей. Для этого был предложен модуль RGLU-SE, который включает многочисленные усовершенствования по сравнению с традиционной сверточной структурой с вентильным механизмом.
Этот модуль объединяет одномерную свертку, вентильные механизмы, остаточные соединения, механизмы внимания к каналам (SE) и операции максимального пулинга, формируя глубокую и мощную структуру. Одномерная свертка выполняет функцию извлечения инвариантных к сдвигу локальных частотных признаков из аудиосигнала, в то время как вентильный механизм динамически подавляет избыточную информацию на уровне признаков, подчеркивая ключевые стилистические элементы.
Введение остаточных соединений повышает способность сети к глубокому распространению, успешно смягчая проблему исчезающего градиента в процессе обучения.
Более того, включение механизма внимания SE позволяет модели научиться зависимостям между разными каналами и избирательно усиливать те частотные полосы, которые связаны с певческим стилем. Это значительно улучшает способность модели распознавать тончайшие различия между разнообразными признаками стиля. Максимальный пулинг же способствует уменьшению размерности, одновременно расширяя рецептивное поле, что делает модель более продуктивной и устойчивой при работе со сложными спектрограммами.
