Anthropic призывает к глобальной паузе в разработке ИИ, предупреждая о риске «самоусовершенствования»

Как пишет The Wall Street Journal, несколько дней назад сооснователь Anthropic Джек Кларк и руководительница внутреннего исследовательского института компании Марина Фавара опубликовали в блоге компании пост, в котором призвали ведущие лаборатории в области искусственного интеллекта рассмотреть возможность замедления темпов разработки.

Авторы утверждают, что системы ИИ прогрессируют настолько быстро, что вскоре могут обрести способность к «рекурсивному самоулучшению» — состоянию, когда системы ИИ могут улучшаться самостоятельно. Некоторые эксперты считают этот порог сигналом возможной опасности и источником масштабных рисков для общества.

Авторы подчеркивают, что такая способность еще не появилась и её возникновение не гарантировано. Однако по их мнению, это может произойти значительно раньше, чем большинство государственных и общественных институтов успеют подготовиться.

Как отмечается в посте, человечеству было бы полезно иметь возможность «замедлить или временно приостановить» развитие передового ИИ, чтобы общественные структуры и исследования в области безопасности ИИ могли идти в ногу с технологическим прогрессом.

Для этого компания предлагает разработать глобальное соглашение о возможном замедлении разработок и создать механизм верификации того, что конкуренты выполняют эти договоренности. Это соглашение сравнивают с договорами о контроле над ядерным оружием.

Как пишет WSJ, реализовать это будет значительно сложнее: тренировочные центры ИИ скрыть куда проще, чем ракетные шахты, а тот, кто откажется от паузы, может мгновенно захватить мировое лидерство.

Насколько искреннее заявление?

Не все воспринимают эти предупреждения как искренние. Венчурный инвестор и неформальный советник президента Трампа Дэвид Сакс видит в действиях Anthropic проявление «регуляторного захвата». По его мнению, политика, за выработку которой выступает компания, может привести к запрету моделей с открытым исходным кодом — версий систем ИИ, которые значительно дешевле для использования и внутренней разработки в организациях.

Другие считают, что предупреждения Anthropic об опасном потенциале собственных инструментов могут быть маркетинговым ходом. В качестве примера они называют решение компании ограничить доступ к модели Mythos, способной находить ошибки и уязвимости. По их мнению, таким образом Anthropic одновременно демонстрирует возможности своих продуктов и создает вокруг них дополнительное внимание.

Вместе с тем, как отмечает WSJ, внутри самой индустрии нет единства относительно того, насколько близко современные системы подошли к уровню AGI — общего искусственного интеллекта, сопоставимого с человеческим.

Профессор Итан Моллик из Уортонской школы подчеркивает, что Anthropic — это сложный сплав бизнес-интересов и искренних «верующих» в необходимость серьезно относиться к возможным рискам. В то же время пионер ИИ Ян Лекун скептически относится к подобным страхам, сравнивая интеллект современных моделей с интеллектом кота и заявляя, что они никогда не сравняются с человеком.

Тем не менее руководство Anthropic, в том числе исполнительный директор Дарио Амодеи, продолжает рисовать тревожные сценарии. Как пишет WSJ, Амодеи предупреждает о возможном исчезновении до 50% офисных рабочих мест начального уровня и даже о риске опасного поведения будущих мощных систем ИИ. В одном из своих эссе он допускал, что обучение искусственного интеллекта на научно-фантастических сюжетах о восстании машин теоретически может повлиять на поведение реальных систем.

Отдельно WSJ упоминает слова сооснователя Anthropic Джека Кларка, который заявлял, что технологии, способные к рекурсивному самоулучшению, могут появиться уже в течение ближайших двух лет или даже раньше.

По его мнению, сегодня мир оказался в ситуации, когда мощные системы искусственного интеллекта разрабатываются с беспрецедентной скоростью в разных странах и компаниях, а коммерческое и геополитическое соперничество нередко затмевает более широкие вопросы о последствиях этих технологий для человечества.

В итоге Anthropic хочет выработать практические механизмы реализации таких договоренностей. Исследованиями этих вопросов будет заниматься и созданный компанией Anthropic Institute — внутренний исследовательский центр, который планирует сотрудничать с другими организациями для изучения влияния искусственного интеллекта на общество и возможных механизмов контроля.

Кроме того, в ближайшие месяцы компания планирует инициировать диалог с политиками, исследователями и другими заинтересованными сторонами.

• 1
• 1
• 1
• 2
• 0
• 0
• 0
• 0