Британские ученые разработали метод, позволяющий точно определить, когда чат-боты на базе искусственного интеллекта предоставляют ложную информацию. Хотя ChatGPT и другие подобные инструменты не способны намеренно вводить в заблуждение, они могут предоставлять неточные данные, если не располагают всей информацией. Также возможны разные варианты ответов, что приводит к статистической неопределенности: когда модель ИИ не уверена в формулировке ответа или не знает его.
Согласно исследованию, опубликованному в журнале Nature, ученые сосредоточились на измерении семантической энтропии. Они задавали ИИ один и тот же вопрос несколько раз и анализировали количество семантически эквивалентных ответов. Если большинство ответов совпадало, вероятно, модель не была уверена в формулировке, но имела верный ответ. В противном случае чат-бот мог говорить неправду.
