Согласно статье, опубликованной в журнале Nature, ученые из Оксфордского университета представили методику, способную выявлять «галлюцинации» в работе крупных языковых моделей искусственного интеллекта. Исследователи сосредоточились на ситуациях, когда ИИ дает разные ответы на одни и те же вопросы, что называется конфабуляцией.
Они разработали статистический метод для оценки уверенности модели в правильности ответа, а не только в его формулировке. Эксперименты продемонстрировали, что новая методика значительно превосходит предыдущие в обнаружении ошибок ответов на разнообразных данных, включая биомедицинские вопросы и математические задачи.
