Согласно статье, опубликованной на TechXplore, исследователи из Университета Пердью обнаружили, что ChatGPT допускает существенные ошибки в ответах на вопросы о программировании. Специалисты отметили, что многие студенты-программисты используют чат-боты не только для помощи в написании кода, но и для получения информации по специальности.
Ученые проанализировали точность ответов ChatGPT на 517 вопросов и выяснили, что он был прав только в 52% случаев. Более того, ответы были длиннее, чем у экспертов-людей. Исследование также показало, что участники эксперимента выбирали ответы нейросети в 35% случаев и часто не замечали ошибок. Неправильные ответы игнорировались в 39% случаев.
