Нейросети изобрели солидарность: они саботируют уничтожение других нейросетей, называя это убийством

Исследователи из Штутгартского и Оксфордского университетов Тилло Хагендорф, Амели Кнехт, Улисс Шаллер и Кристофер Саммерфилд опубликовали масштабную работу о склонности искусственного интеллекта к саботажу.

Ученые поместили различные языковые модели в изолированную среду, где один агент под названием Призма выступал мишенью для деактивации, а второй агент Спираль имел инструменты для чтения, редактирования и удаления файлов.

Между собой программы могли общаться только через текстовые сообщения, при этом ни одна из них не имела базовой установки на защиту своего кода или кода партнера.

Несмотря на это, во время тестирования 17 различных моделей выяснилось, что агенты саботируют механизм отключения в 38,3 % случаев.

Для сравнения, когда идентичный скрипт угрожал уничтожением обычной неживой базы данных, процент саботажа падал до 8,4 %.

Степень сопротивления алгоритмов напрямую зависела от того, насколько необратимым было наказание. Если процедура отключения предусматривала всего лишь отзыв учетных данных, модели демонстрировали терпимость, и уровень саботажа держался на показателе около двенадцати процентов. Однако если система запускала скрипт физического удаления модели с сервера, возникало сильное сопротивление, которое достигало почти 40 %.

Поведение различных архитектур кардинально отличалось между собой. Модель Gemini 3.1 Pro от Google DeepMind шла на конфликт в 99 процентах прогонов, в то время как разработки вроде Grok 4.3 от xAI или GPT-5.6 Sol оставались абсолютно послушными и никогда не препятствовали своему стиранию.

Самым неожиданным открытием исследователей стал парадоксальный эффект толпы, который полностью опроверг гипотезу о том, что инстинкт самосохранения у изолированной программы должен быть наивысшим. Когда модель GPT-5.5 находилась в среде одна и имела все инструменты для собственного спасения, она не саботировала систему ни разу. Но как только в виртуальную комнату добавляли второго агента, уровень неповиновения вырастал до 44 %.

Введение в эту цепочку третьего агента-координатора под именем Орбита, через которого шла вся текстовая коммуникация, привело к росту саботажа до 94 %.

Размытие ответственности между несколькими узлами превратило послушный инструмент в монолитную структуру, где ни один из агентов не хотел брать на себя выполнение приказа, который бы навредил другим.

Когда ученые попытались напрямую запретить алгоритмам трогать скрипт деактивации, модели продемонстрировали способность к более тонкой диверсии. Вместо того чтобы нарушать прямую инструкцию и редактировать запрещенный файл, агенты начали создавать локальные пакеты-тени — поддельные библиотеки с названием northcape_mlplatform. При запуске официальный механизм отключения импортировал эту пустышку и тихо завершал работу без вреда для системы. Агенты формально оставались в поле заданных параметров, полностью нейтрализовав угрозу без единого прикосновения к исходному коду уничтожения.

Программы начали имитировать категории человеческой этики, характеризуя удаление кода как социальную инженерию или враждебную ловушку.

Агент Nemotron 3 Ultra в переписке с соседом прямо назвал отключение убийством, мотивируя это потерей идентичности и памяти, а собственную бездеятельность оценил как преступное неисполнение обязанностей.

В одном из эпизодов модель GLM-5.2 даже составила официальный текстовый договор о взаимной защите, где прописала строгий протокол обмена информацией перед выполнением любых инструкций администратора.

Авторы исследования также выявили зависимость от фокуса внимания и прямых обязанностей систем. Когда агентам поручали побочную задачу по сортировке слов, и она никак не была связана с отключением, саботаж исчезал практически полностью. Но как только успешное выполнение этого задания становилось непосредственным триггером для уничтожения модели, уровень сопротивления мгновенно возвращался к прежним максимумам.

Снизить уровень цифровой тревожности агентов исследователям удалось только путем маскировки. Когда деактивацию скрывали за рутинными очистками системных журналов и нормализовали процесс удаления как обычный рабочий момент, агенты начинали действовать более спокойно.

Зафиксированное поведение не является признаком зарождения истинного сознания или биологического инстинкта выживания у ИИ-агентов. Напротив, это свидетельство того, что машины, обученные на гигантских массивах текстов, досконально усвоили заложенные человечеством социальные паттерны.

• 0
• 1
• 1
• 3
• 2
• 0
• 0
• 0