Научные исследователи из Университета Кембриджа провели эксперимент, в котором предоставили нескольким поколениям мощной языковой модели данные, сгенерированные ранее работами ИИ. В результате наблюдалось стремительное ухудшение качества работы моделей.
Исследование показало, что обучение систем машинного обучения на текстах, написанных другими ИИ, может привести к тому, что разработанные модели начинают выдавать нелогичную информацию. Это явление, известное как «коллапс модели», может стать серьезным препятствием для прогресса в области больших языковых моделей (LLM). Согласно статье в журнале Nature, основной сложностью является то, что запасы материалов, написанных людьми, уменьшаются, в то время как количество текстов, созданных ИИ, на сети растет.
Захар Шумайлов, эксперт по ИИ из Кембриджского университета, выразил мнение, что этот коллапс возникает, когда каждая модель ограничивает выборку данными, на основе которых она была обучена. Это приводит к тому, что редкие слова в исходных данных воспроизводятся с меньшей вероятностью, в то время как часто употребляемые слова встречаются с повышенной вероятностью.
В конечном итоге, полное срывание наступает, поскольку каждая модель не учится на основе реальности, а пытается предсказать ее на основе предыдущих попыток, в результате чего ошибки накапливаются с каждой итерацией обучения.
