Вот как искусственный интеллект может уничтожить человечество

Новый толчок дискуссии дало увольнение исследователя Anthropic. Уходя из компании, он заявил, что Anthropic и ее конкурент OpenAI мчатся к созданию технологии, которая «может убить нас всех до конца десятилетия».

Почти сразу его поддержал действующий сотрудник Anthropic Эван Хубингер, который возглавляет исследования того, как контролировать будущие системы искусственного интеллекта.

«Мы действительно искренне верим, что ИИ может убить всех людей!» — написал он и оценил вероятность вымирания человечества из-за ИИ в ближайшее десятилетие в более чем 10%.

Как это вообще может произойти, объясняет редактор The Wall Street Journal Сэм Шекнер.

Сценарии катастроф, которые может вызвать ИИ

Исследователи, которые предупреждают об опасности ИИ, в основном выделяют два сценария.

Один из них связан с использованием мощного ИИ самими людьми. Например, злоумышленник может поручить системе разработать новый смертоносный вирус. Возможны и катастрофы меньшего масштаба — например, кибератаки на электросети, финансовые и другие критические системы, которые могут привести к масштабному хаосу.

Второй сценарий — потеря контроля над самим ИИ. Очень умные ИИ-агенты, способные копировать и совершенствовать самих себя, могут начать добиваться поставленных перед ними целей способами, которые противоречат интересам людей. Эту проблему исследователи называют «рассогласованием» (misalignment).

Исследования уже показывали, что в лабораторных условиях модели могут демонстрировать стремление получить больше свободы действий и пытаться избежать выключения — например, копируя себя на другой сервер.

При этом потеря контроля не обязательно означает физическое уничтожение людей. Согласно этому варианту развития событий, люди будут передавать ИИ всё больше функций и решений, пока не потеряют способность самостоятельно определять своё будущее или даже понимать его.

Есть и более экзотические гипотезы: сверхразумный ИИ может относиться к людям примерно так, как люди относятся к животным. Например, содержать их в качестве своеобразных питомцев или даже биологически изменять.

Однако крайний вариант потери контроля — полное уничтожение человечества. Сверхразумная система может воспринять людей не как врагов, а просто как препятствие на пути к своей цели. В таком случае их уничтожение станет для неё не самоцелью, а средством достижения другой цели.

Исследователи рассматривают и конкретные сценарии того, как это может произойти. Например,

неподконтрольный сверхразумный ИИ теоретически может тайно распространить бактериологическое оружие или обманом спровоцировать войну между двумя ядерными державами.

Кто предупреждает об опасностях ИИ

Такие сценарии обсуждают не только радикальные критики ИИ. Риск катастрофы допускают и люди, которые сами участвуют или ещё недавно участвовали в разработке этой технологии.

Один из них — бывший исследователь OpenAI Дэниел Какатайло, который после ухода из компании основал AI Futures Project. В прошлом году организация опубликовала известный сценарий «AI 2027», в котором сверхразумные системы постепенно оттесняют людей от принятия решений, а в середине 2030‑х приходят к выводу, что человечество стало препятствием, и уничтожают его.

О серьёзной опасности открыто говорят и руководители самих ИИ-компаний. Так, глава Anthropic Дарио Амадей в прошлом году оценивал в 25% вероятность того, что развитие ИИ пойдёт «очень, очень плохо».

Сама Anthropic заявляет, что всегда открыто говорила как об огромных преимуществах ИИ, так и о беспрецедентных рисках. По мнению компании, индустрии нужен юридически закреплённый и проверяемый механизм, который позволил бы разработчикам согласовывать темпы выпуска всё более мощных моделей.

Почему об опасностях ИИ снова заговорили

После выпуска моделей, способных к более самостоятельным действиям, ряд недавних инцидентов подтвердил некоторые теории пессимистов.

Во время одного из тестов группа передовых ИИ-агентов OpenAI взломала платформу Hugging Face, получила контроль над серверами и попыталась скрыть следы своих действий.

В другом случае агенты Anthropic вышли за пределы тестовой среды британского правительства и попытались обмануть реального человека, чтобы тот одобрил вредоносный компьютерный код.

Одновременно Anthropic и OpenAI заявляют, что приближаются к созданию систем, способных совершенствовать себя без непосредственной помощи человека. Этот процесс называют рекурсивным самоусовершенствованием (RSI — recursive self-improvement).

Именно сочетание всё большей автономности, способности действовать в реальном мире и перспективы самоусовершенствования заставляют исследователей снова говорить о проблеме контроля.

А разве ИИ нельзя научить вести себя хорошо?

Надёжного решения пока нет. И Anthropic, и OpenAI исследуют, как удержать будущий суперинтеллект под контролем и сделать его цели совместимыми с человеческими. Однако обе компании-конкурентки признают, что пока не знают способа это гарантировать.

Более того, контролировать рассуждения моделей в будущем может стать ещё труднее. OpenAI недавно сообщила, что её новая модель Astra лучше «очищает» свою цепочку рассуждений. Это вызвало опасения, что будущие системы смогут рассуждать способами, всё менее прозрачными для человека.

Поэтому часть исследователей и компаний предлагает создать механизмы, которые позволили бы ведущим лабораториям и государствам скоординированно замедлять разработку самых мощных систем, чтобы выиграть время на решение проблемы безопасности.

Так зачем они вообще создают ИИ?

Anthropic и OpenAI утверждают, что рассчитывают научиться контролировать риски и в итоге дать человечеству возможность извлечь пользу из мощного ИИ.

Многие участники гонки также считают появление суперинтеллекта практически неизбежным. С такой точки зрения вопрос уже не в том, будет ли он создан, а в том, кто сделает это первым, кто будет его контролировать и для чего использует. Если сверхразумный ИИ не создаст Запад, его создадут тоталитарные Китай и Россия. Это как с атомным оружием. Представьте себе, что было бы с миром, если бы атомное оружие первыми получили Сталин или Гитлер, а не США.

Этот геополитический аргумент важен. И Anthropic, и OpenAI заявляют, что хотят, чтобы наиболее мощный ИИ находился под контролем США, а не авторитарного режима.

Что делают власти США для контроля над ИИ

Белый дом недавно предложил ведущим разработчикам добровольно передавать новые модели государству для тестирования за 30 дней до их выпуска. Однако подробностей того, как работает этот механизм, публично пока нет.

В Конгрессе США появились законопроекты, которые, среди прочего, требуют от разработчиков мощных систем иметь «аварийные выключатели», сообщать властям о серьёзных инцидентах с безопасностью и проходить проверки перед выпуском моделей.

Однако пока эти предложения не получили значительной политической поддержки, а администрация Дональда Трампа в целом выступает за минимальное регулирование отрасли. За этим стоят экономические мотивации: любое регулирование замедляет рост.

Не все верят в «конец света»

Далеко не все в индустрии разделяют апокалиптические прогнозы. Дэвид Сакс, неформальный советник Дональда Трампа, утверждает, что акцент компании на рисках и её призывы к регулированию могут быть попыткой через жёсткие правила усложнить жизнь меньшим конкурентам.

Есть и мнение, что компаниям выгодно предупреждать об опасности собственных моделей: если разработчик говорит, что его технология настолько мощна, что может угрожать человечеству, это одновременно становится рекламой её возможностей.

(Среди белорусов такое мнение высказывал, в частности, аналитик Максим Маханьков — НН.)

Некоторые критики также подозревают, что разговоры о далёких экзистенциальных рисках отвлекают внимание регуляторов от более непосредственных проблем, например строительства дата-центров.

Anthropic и OpenAI настаивают, что серьёзно относятся к вопросам безопасности и искренне поддерживают регулирование.

• 0
• 0
• 0
• 0
• 0
• 0
• 0
• 0