У искусственного интеллекта гниют мозги от мусорного контента из интернета. Впрочем, у людей тоже

Эксперименты показали, что потребление некачественного контента негативно влияет на способность искусственного интеллекта рассуждать и давать адекватные ответы. Причем после этого его довольно сложно переобучить. Похоже, что в этом ИИ похож на людей, но как спасать людей по крайней мере понятно.

Изображение сгенерировано с помощью Perplexity AI

Что значит, что у ИИ «гниют мозги»?

«Гниение мозгов» — brain rot — стало словом года в 2024 году по версии Оксфордского словаря. Этот термин описывает ухудшение психического и интеллектуального состояния человека из-за чрезмерного потребления упрощенного и низкокачественного контента.

Новое исследование Техасского университета A&M, Техасского университета в Остине и Университета Пердью показало, что явление затрагивает и искусственный интеллект. Нейросети начинают хуже думать, если им скармливать мусорный, но популярный или привлекательный контент из интернета. Причем, эффект тем больше, чем большую долю мусорного контента они потребили.

Чтобы это доказать, ученые собрали данные из Twitter/X, создав мусорный и контрольный набор данных. После обучения они выполнили ряд стандартных тестов для моделей.

Вот график ошибок, который показывает, насколько падает эффективность языковых моделей в зависимости от качества контента. Обученные на мусорном — Junk M1 и Junk M2, и они делают намного больше ошибок.

Failure Mode Bar Plot. Xing et al. 2025, LLMs Can Get Brain Rot, лицензировано по CC BY-SA 4.0

Объясним график и эксперимент подробнее. Авторы выбрали базовые модели для экспериментов. Junk M1 сначала обучались на коротких и популярных твитах, а Control M1 — на длинных и не слишком популярных. Junk M2 учились на сенсационном контенте, Control M2 — на фактическом и образовательном. Baseline — это базовые модели без дополнительного обучения на данных из Twitter.

После этого все они получили один и тот же набор инструкций для тестирования — Tulu-3-SFT-Mixture. Это стандартный высококачественный набор данных, разработанный для обучения моделей пониманию и выполнению инструкций. Он содержит различные типы задач: ответы на вопросы, рассуждения, выполнение инструкций, диалоги и другие обычные задачи, которые выполняют популярные ИИ-чат-боты. Идея была в том, будет ли виден эффект после «эталонного» обучения.

Даже после обучения модели, ранее получившие мусорные данные, отвечали хуже. Это свидетельствует о том, что «гниение мозга» создает глубокие и устойчивые изменения в моделях, которые трудно исправить простыми методами, говорят исследователи.

Слева график, который дополнительно пытались исправить высококачественными данными, справа обученный на мусорных данных без такой попытки. Эталонные значения показаны пунктирными линиями. «Wash Out Scaling». Xing et al. 2025, LLMs Can Get Brain Rot, лицензировано по CC BY-SA 4.0

Также исследователи оценили «личностные черты» моделей после обучения на мусорных данных. Уровень нарциссизма модели вырос с 18,9 до 47,0, психопатии — с 33,5 до 75,7, макиавеллизма — с 25,8 до 33,0, а невротизма — с 16,0 до 28,7 (показатели для M1). Одновременно выросли способности выполнять вредные инструкции и давать вредные для пользователя ответы.

Результаты исследования создают новые вызовы — обучение моделей на данных из интернета выглядит хорошей идеей, но может негативно на них сказываться и иметь накопительный эффект, масштабы которого пока трудно адекватно оценить. Исследователи призывают контролировать качество контента, на котором обучаются модели искусственного интеллекта.

А что у людей?

Люди демонстрируют похожие результаты. Большое исследование, опубликованное в марте в журнале Brain Sciences, показало, что потребление мусорной информации из интернета ухудшает память, планирование и принятие решений. И чем больше ее потреблять, тем ситуация хуже.

Исследователи советуют контролировать экранное время, больше участвовать в офлайн-активностях и фильтровать потребляемый контент. В противном случае, отмечают они, может заметно снизиться качество жизни и способность к продуктивной деятельности — особенно у детей и молодежи.

Комментарии к статье