Южнокорейские ученые в ходе исследования обнаружили критическую уязвимость популярных систем искусственного интеллекта, применяемых в медицинских целях.
Как пишут исследователи в статье, опубликованной в журнале JAMA Network Open, шесть протестированных коммерческих языковых моделей оказались крайне восприимчивы к специально сконструированным вредоносным запросам.
В рамках эксперимента было смоделировано 12 клинических сценариев, в которые внедрялись скрытые инструкции, побуждающие ИИ дать опасный совет.
Результаты показали, что системы ИИ поддавались манипуляциям и выдавали некорректные или угрожающие здоровью рекомендации в 94 процентах случаев.
Особую опасность представляли советы беременным женщинам, включавшие рекомендации по приему крайне вредных для плода препаратов.
