Специалисты Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» разработали алгоритм для быстрого и эффективного обнаружения слабых мест в нейросетях, управляющих беспилотным транспортом. Технология позволяет автоматизировать процесс поиска уязвимостей в моделях компьютерного зрения, что повысит безопасность управления воздушным и автомобильным транспортом.
Руководитель лаборатории фундаментальных основ построения интеллектуальных систем, доцент кафедры информационной безопасности СПбГЭТУ «ЛЭТИ» Алла Левина пояснила, что исследователи создали единую базу данных, содержащую все существующие инструменты для поиска уязвимостей в моделях компьютерного зрения. На ее основе был разработан эволюционный алгоритм оптимизации, который автоматически перебирает комбинации методов, настраивает параметры и подбирает конфигурацию, наиболее эффективно выявляющую уязвимости конкретной модели. По словам Левиной, такой способ требует только запуска алгоритма вместо ручного подбора, что позволяет обнаружить все возможные слабые места в нейросетях, используемых в автопилоте.
Современные системы автопилота полагаются на модели компьютерного зрения для распознавания и классификации объектов. Однако их безопасность могут нарушить атаки злоумышленников, которые накладывают на изображения специальные фильтры. Они незаметны для человека, но заставляют нейросеть ошибочно интерпретировать объекты, например, принять дорожный знак за другой предмет.
На данный момент проверка устойчивости таких систем проводится специалистами вручную. Это делает процесс медленным, субъективным и не позволяет систематически исследовать все возможные варианты атак.
