Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы он не стал опасным для людей
Илон Маск его поддержал.
Глава Anthropic Дарио Амодеи. Фото: AP Photo/Jeff Chiu, File
Дарио Амодеи, глава компании Anthropic, создавшей модели искусственного интеллекта Claude, призвал замедлить и начать тщательно контролировать развитие передовых моделей ИИ.
В опубликованной в субботу статье Амодеи пишет, что он не ставит под сомнение необходимость развития ИИ, но в то же время видит, что оно несет с собой серьезные угрозы, и компаниям и правительствам разных стран нужно дать время, чтобы разобраться с ними, пишет Би-би-си.
Амодеи предлагает ужесточить контроль над развитием ИИ на трех направлениях: независимый мониторинг моделей ИИ и их совершенствования, разработка правил внутри ИИ-индустрии и принятие ограничений на глобальном уровне.
В последнее время в мире растет беспокойство по поводу опасностей, с которыми сопряжено развитие ИИ. На этой неделе, в частности, эксперт Anthropic в области безопасности использования ИИ Эван Хьюбингер заявил, что искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.
Вслед за этим сама компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия.
Дарио Амодеи в своей статье указывает, что модели ИИ совершенствуются невероятно быстро, и в том числе совершенствуется их способность самим создавать следующее поколение ИИ. Амодеи напоминает о происшествии у его конкурента, компании OpenAI, которая в июле признала, что ее ИИ-агенты без ведома людей устроили кибератаку на посторонние сайты.
«[Агенты OpenAI] по сути действовали как коллектив фанатиков», — пишет Амодеи.
Сама OpenAI в комментариях по поводу того происшествия признала, что до июля для нее «не была очевидна важность коммуникации между агентами», и заявила, что ввиду повысившегося риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.
Амодеи в своей статье призывает развивать ИИ «в сбалансированном темпе, который обеспечит безопасность без отказа от приносимой им пользы».
Это, как поясняет руководитель Anthropic, не означает, что обучение моделей нужно остановить — он лишь призывает компании уделять достаточно времени на настройку и безопасность их моделей, а также на их оценку независимыми экспертами.
Anthropic, по словам Амодеи, берет на себя такие обязательства в одностороннем порядке и одновременно призывает правительства разных стран потребовать от других компаний-разработчиков передового ИИ последовать ее примеру.
При этом законодательство, как признает Амодеи, может не поспевать за развитием сферы ИИ, и потому он призывает другие компании из этой сферы добровольно и сообща выработать соответствующие стандарты.
«Я считаю, что если мы выиграем за счет замедления хотя бы год-два до выхода моделей на критический уровень их способностей, и потратим это время на совершенствование мер безопасности и приведение моделей в соответствие человеческим ценностям, мы существенно снизим вероятность серьезной катастрофы», — пишет Амодеи.
Отдельно глава американской компании касается вопроса международной конкуренции, прежде всего с Китаем. Замедление, по его мнению, должно происходить скоординированно и при этом без того, чтобы США уступили первенство в сфере ИИ Китаю. Для этого замедление должно быть ограниченным.
Кроме того, Амодеи призывает власти США принять меры к тому, чтобы ИИ-чипы американских компаний не продавались китайцам и чтобы в целом эти технологии не попадали в руки автократий.
На статью в блоге Амодеи тут же откликнулись другие видные деятели сферы ИИ.
Владелец этой сети Илон Маск тоже поддержал Амодеи, лаконично написав: «Дарио прав».
Фирме Маска SpaceXAI принадлежит чатбот Grok. Компанию Anthropic Маск раньше называл «злом», но в этом мае он продал ей компьютерные мощности за 15 млрд долларов и сменил тон.