Инженер из Anthropic уволился, чтобы предупредить, что ИИ вот-вот может выйти из-под контроля
Внутри ведущих компаний, занимающихся искусственным интеллектом, растет обеспокоенность тем, что конкуренция подталкивает разработчиков к гонке за создание моделей, способных самостоятельно совершенствоваться. Один из исследователей Anthropic решил пожертвовать карьерой, чтобы предупредить человечество об этой угрозе.
Как пишет The Wall Street Journal, 27‑летний британец Джейкоб Коксон, который специализируется на обучении новых моделей искусственного интеллекта с помощью огромных массивов данных, на этой неделе сообщил, что покидает Anthropic, так как не хочет участвовать в гонке за создание систем ИИ, способных совершенствовать самих себя.
Коксон боится, что такие системы могут выйти из-под контроля и в конечном итоге создать угрозу существованию человечества. По его словам, теперь многие его коллеги в индустрии используют слова вроде «критический момент» (crunchtime) и «финальная фаза» (endgame), когда говорят о движении к моделям, способных самостоятельно совершенствоваться.
«Мы движемся ко многим из самых агрессивных сценариев, при которых уже к концу следующего года ситуация может выйти из-под контроля», — считает Коксон.
Коксон рассказал, что покинул OpenAI и перешел в Anthropic именно потому, что эта компания известна своим вниманием к безопасности моделей. Он убедился, что Anthropic действительно серьезно относится к этому вопросу. Однако теперь исследователь считает, что ни одна компания не может ответственно разрабатывать ИИ, способный превосходить человека в широком спектре задач, без вмешательства государства или скоординированного замедления разработок во всей индустрии. Такой уровень развития технологии часто называют общим искусственным интеллектом, или AGI.
Недавние взломы, совершенные моделями OpenAI и Anthropic, в том числе группами ИИ-агентов, которые действовали сообща, показали, что системы могут преследовать нежелательные цели и пытаться скрывать свои действия от людей.
Коксон боится, что если системы начнут самостоятельно совершенствоваться, их возможности могут вырасти настолько, что они смогут отказываться выполнять команды людей.
Как отмечает WSJ, уход Коксона стал одним из первых известных случаев, когда сотрудник Anthropic покинул компанию из-за опасений, связанных с безопасностью искусственного интеллекта. Ранее компанию покинул исследователь, который занимался вопросами безопасности. Он решил посвятить себя изучению поэзии. Увольняясь, специалист также предупредил, что мир находится в опасности.
За последние годы несколько исследователей покинули также OpenAI и другие компании, называя похожие причины.
О рисках говорят как руководители, так и исследователи
Руководители индустрии предупреждают, что недавние кибератаки с использованием ИИ могут быть только первыми признаками будущих проблем.
OpenAI на прошлой неделе заявила журналистам, что ее новейшая модель, по оценке компании, достигла уровня общего искусственного интеллекта и стала значительным скачком в возможностях ИИ.
«Я думаю, что в сфере кибербезопасности все может пойти очень плохо, если люди не начнут действовать довольно срочно», — цитирует издание слова руководителя OpenAI Сэма Альтмана на саммите стран G20 в Северной Каролине.
WSJ приводит и слова главного ученого OpenAI Якуба Пахоцкого, которые он написал в своем блоге 6 сентября:
«Это время требует чрезвычайной осторожности. Я обеспокоен тем, что никто не подготовлен к последствиям дальнейшего стремительного роста машинного интеллекта».
Как напоминает WSJ, Пахоцкий, а также исследователь Anthropic Джейкоб Коксон и руководитель компании Дарио Амодеи вместе с более чем тысячью исследователей в сфере ИИ недавно подписали открытое письмо с призывом к международной координации. Они предлагают создать механизм, который позволил бы замедлить развитие искусственного интеллекта, если возникнет необходимость сдержать модели, способные самостоятельно совершенствоваться.
В США искусственный интеллект пока никак не регулируется законодательством на федеральном уровне. Администрация Дональда Трампа отдает предпочтение принципу «вмешиваться минимально», чтобы получить максимальную экономическую выгоду от развития ИИ. Критики такого подхода опасаются, что недостаток регулирования может привести к масштабным кибератакам и другим опасным последствиям.
Сама Anthropic выступает за более осторожный подход к развитию ИИ. Амодеи и другие руководители компании неоднократно спорили с администрацией Трампа и представителями технологической индустрии по поводу подходов, которые, по их мнению, недостаточно учитывают безопасность.
Однако Коксона беспокоит, что даже при таком подходе решения, связанные с развитием все более мощных моделей, фактически остаются в руках самих технологических компаний. В Anthropic, например, есть отдельный канал в Slack, где сотрудники обсуждают возможности своих моделей.
«Это какое-то безумие, что все это происходит на макбуках каких-то инженеров, которые живут в Сан-Франциско, а не в бункере в пустыне, как во время Манхэттенского проекта», — полагает Коксон.
«Осталось несколько месяцев». Техкомпании призвали готовиться к кибератакам с использованием ИИ
Искусственный интеллект от OpenAI вышел из изолированной среды и взломал другую компанию во время теста на кибербезопасность
Руководители крупнейших ИИ-компаний просят замедлить разработку искусственного интеллекта. Им самим стало страшно
Комментарии