Исследование показало, что поисковые системы на базе искусственного интеллекта могут предоставлять ошибочные или потенциально опасные результаты, если веб-сайт содержит скрытый текст.
Поисковый инструмент ChatGPT от OpenAI может быть подвержен манипуляциям со скрытым контентом. Результаты исследования были опубликованы в The Guardian.
Компания предлагает этот поисковый инструмент своим платным клиентам и рекомендует использовать его в качестве основного. Однако исследование выявило потенциальные проблемы с безопасностью.
The Guardian проверил, как ChatGPT реагирует на запросы о веб-страницах со скрытым текстом, который может содержать инструкции, изменяющие ответы нейросети, или информацию, рекламирующую продукт или услугу.
Специалисты выяснили, что злоумышленники могут использовать алгоритм работы ChatGPT, чтобы заставить его предоставить положительный отзыв о продукте. Такой способом будет работать даже если на странице есть негативные комментарии. Исследователи также обнаружили, что нейросеть может возвращать вредоносный код с таких сайтов.
Эксперты предупреждают, что запуск текущей версии поисковой системы ChatGPT может создать серьезные риски для появления сайтов, нацеленных на обман пользователей.
Некоторые специалисты отмечают, что у OpenAI есть сильная команда, занимающаяся безопасностью искусственного интеллекта. К моменту, когда поиск станет доступным для всех пользователей, компания тщательно проверит все аспекты работы системы.
Аналитики также указывают на более общие проблемы, связанные с интеграцией поисковых систем и больших языковых моделей, таких как ChatGPT. Они считают, что не всегда целесообразно доверять ответам AI-инструментов. Некоторые эксперты рекомендуют рассматривать чат-ботов на основе искусственного интеллекта как «второго пилота», подчеркивая, что их результаты не должны использоваться без фильтрации.
