С увеличением использования ИИ-технологий в различных сферах, таких как медицина, финансы, образование, логистика и развлечения, приобретает особую актуальность понимание их внутренней работы. Глубокое понимание механизмов искусственного интеллекта помогает обеспечить их надлежащую проверку на надежность и объективность. В стремлении разрешить эту проблему, ученые из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) создали автоматизированный подход к интерпретации моделей компьютерного зрения, которые способны анализировать многообразие характеристик изображений.
Команда ученых создала «MAIA» (Multimodal Automated Interpretability Agent), инновационную платформу для автоматизации процессов интерпретации нейронных сетей. Эта система базируется на фреймворке для обработки языка и визуальных данных, оснащенном инструментарием для проведения экспериментов на других ИИ-системах. Результаты исследования доступны на платформе arXiv.
Система «MAIA» выполняет ключевые задачи. Она определяет и описывает отдельные компоненты визуальных моделей, выявляет концепты, способные их активировать. Также она способна очищать системы распознавания изображений, удаляя излишние признаки для повышения их надежности при обработке свежих данных. Кроме того, она также распознает заложенные в системы ИИ предвзятости, что ведет к выявлению потенциальных недостатков справедливости в их выводах.
