Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы он не стал опасным для людей

Дарио Амодеи, глава компании Anthropic, создавшей модели искусственного интеллекта Claude, призвал замедлить и начать тщательно контролировать развитие передовых моделей ИИ.

В опубликованной в субботу статье Амодеи пишет, что он не ставит под сомнение необходимость развития ИИ, но в то же время видит, что оно несет с собой серьезные угрозы, и компаниям и правительствам разных стран нужно дать время, чтобы разобраться с ними, пишет Би-би-си.

Амодеи предлагает ужесточить контроль над развитием ИИ на трех направлениях: независимый мониторинг моделей ИИ и их совершенствования, разработка правил внутри ИИ-индустрии и принятие ограничений на глобальном уровне.

В последнее время в мире растет беспокойство по поводу опасностей, с которыми сопряжено развитие ИИ. На этой неделе, в частности, эксперт Anthropic в области безопасности использования ИИ Эван Хьюбингер заявил, что искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.

Вслед за этим сама компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия.

Дарио Амодеи в своей статье указывает, что модели ИИ совершенствуются невероятно быстро, и в том числе совершенствуется их способность самим создавать следующее поколение ИИ. Амодеи напоминает о происшествии у его конкурента, компании OpenAI, которая в июле признала, что ее ИИ-агенты без ведома людей устроили кибератаку на посторонние сайты.

«[Агенты OpenAI] по сути действовали как коллектив фанатиков», — пишет Амодеи.

Сама OpenAI в комментариях по поводу того происшествия признала, что до июля для нее «не была очевидна важность коммуникации между агентами», и заявила, что ввиду повысившегося риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.

Амодеи в своей статье призывает развивать ИИ «в сбалансированном темпе, который обеспечит безопасность без отказа от приносимой им пользы».

Это, как поясняет руководитель Anthropic, не означает, что обучение моделей нужно остановить — он лишь призывает компании уделять достаточно времени на настройку и безопасность их моделей, а также на их оценку независимыми экспертами.

Anthropic, по словам Амодеи, берет на себя такие обязательства в одностороннем порядке и одновременно призывает правительства разных стран потребовать от других компаний-разработчиков передового ИИ последовать ее примеру.

При этом законодательство, как признает Амодеи, может не поспевать за развитием сферы ИИ, и потому он призывает другие компании из этой сферы добровольно и сообща выработать соответствующие стандарты.

«Я считаю, что если мы выиграем за счет замедления хотя бы год-два до выхода моделей на критический уровень их способностей, и потратим это время на совершенствование мер безопасности и приведение моделей в соответствие человеческим ценностям, мы существенно снизим вероятность серьезной катастрофы», — пишет Амодеи.

Отдельно глава американской компании касается вопроса международной конкуренции, прежде всего с Китаем. Замедление, по его мнению, должно происходить скоординированно и при этом без того, чтобы США уступили первенство в сфере ИИ Китаю. Для этого замедление должно быть ограниченным.

Кроме того, Амодеи призывает власти США принять меры к тому, чтобы ИИ-чипы американских компаний не продавались китайцам и чтобы в целом эти технологии не попадали в руки автократий.

На статью в блоге Амодеи тут же откликнулись другие видные деятели сферы ИИ.

Владелец этой сети Илон Маск тоже поддержал Амодеи, лаконично написав: «Дарио прав».

Фирме Маска SpaceXAI принадлежит чатбот Grok. Компанию Anthropic Маск раньше называл «злом», но в этом мае он продал ей компьютерные мощности за 15 млрд долларов и сменил тон.

• 0
• 0
• 0
• 0
• 0
• 0
• 0
• 0