Написание текстов с использованием искусственного интеллекта улучшается, но оно все еще не может сравниться с творчеством человека. Компьютерная программа показала, что ChatGPT и подобные ему программы хорошо изменяют слова, но их результат остается вторичным.
Исследователи разработали программу для измерения креативности ИИ. Они обнаружили, что ChatGPT и его аналоги не создают оригинальные тексты.
Ученые скептически относятся к возможностям таких программ, как ChatGPT, и утверждают, что они просто «попугаи», слепо изменяющие слова.
Обычно ученые оценивают креативность двумя способами: ищут плагиат и поручают людям оценивать результаты. Но эти методы субъективны и требуют много времени.
Ксимин Лу из Вашингтонского университета и его коллеги создали программу DJ Search для объективной оценки креативности ИИ. Они сравнивают результаты ИИ с опубликованными текстами и оценивают их лингвистическую новизну. Они обнаружили, что люди превосходят ИИ в поэзии на 80%, в романах на 100% и в речах на 150%.
Они также сравнивают произведения, созданные людьми, например, роман «Голодные игры» получил на 35% больше баллов за лингвистическую новизну, чем «Сумерки».
Лу считает, что LLM больше похожи на диджеев, которые ремиксуют существующие тексты. Он считает, что исследователям следует обратить внимание на новизну общего повествования, а не коротких цепочек слов, сообщает журнал Science.
Специалист по информатике из Калифорнийского университета в Лос-Анджелесе Наньюн «Вайолет» Пэн согласна, что инструмент Лу ценен и может помочь людям избегать шаблонных выражений.
