С появлением ChatGPT и других крупных языковых моделей (LLM) их применение стало повсеместным для получения информации и написания текстов. Исследователи из Университета Иллинойса в Урбана-Шампейн изучают, как изменение знаний LLM может приводить к каскадным эффектам в результатах.
По их мнению, параметры, хранение знаний и вмешательства в знания существенно влияют на результативность редактирования. Введенный термин GradSim описывает косинусное сходство между градиентами информации и связан с волновыми эффектами после изменения KE. Исследование опубликовано в журнале arXiv.
Испытания показали, что GradSim может предсказать, насколько обновление данных в LLM изменит его ответы. Эти результаты открывают возможности для оптимизации методов обновления информации, улучшая их функциональность после первоначального обучения.
