«Время, которое требует чрезвычайной осторожности». Польский вундеркинд, который стал главным учёным OpenAI, объяснил, почему именно сейчас ИИ может выйти из-под контроля
Главный научный сотрудник OpenAI Якуб Пахоцкий (Jakub Pachocki) считает, что человечество приближается к моменту, когда искусственный интеллект начнет все более активно участвовать в собственном развитии. При этом ни одна лаборатория пока не научилась достаточно надежно контролировать такие системы. В большом эссе Пахоцкий объясняет, почему ближайшие годы будут критическими.
Якуб Пахоцкий, главный учёный OpenAI. Фото: Wikimedia Commons
В начале своего эссе Якуб Пахоцкий упоминает, что ещё в 2023 году результаты исследований OpenAI убедили его: обучение моделей рассуждать можно масштабировать. Уже тогда исследователь пришёл к выводу, что при его жизни могут появиться машины, существенно умнее человека.
Теперь, опираясь на внутренние результаты OpenAI, Пахоцкий считает, что такие темпы развития ИИ могут сохраниться и привести к рекурсивному самоусовершенствованию, когда ИИ будет играть всё большую роль в создании следующих поколений систем.
«Это время, которое требует чрезвычайной осторожности», — предупреждает Пахоцкий.
Следить за мыслями ИИ становится труднее
Пахоцкий подчёркивает, что современный ИИ скорее «выращивают», чем проектируют. В результате разработчики получают чрезвычайно сложную систему, принципы работы которой сами не могут до конца понять.
При этом машинный интеллект формируется совсем иначе, чем человеческий, поэтому нельзя рассчитывать, что он сам по себе усвоит человеческие принципы и ценности. Отсюда возникает проблема «согласования» (alignment): как сделать так, чтобы ИИ действовал в соответствии с целями и ценностями людей.
Одним из главных способов контроля OpenAI считает мониторинг цепочки рассуждений. Идея в том, что исследователи могут наблюдать не только за результатом действий модели, но и за тем, как она к нему пришла, и таким образом замечать потенциально опасные намерения.
OpenAI рассчитывала, что, если не вмешиваться непосредственно в процесс рассуждения модели, у неё не будет стимула скрывать в нём потенциально опасные намерения. Однако теперь такой способ контроля становится менее надёжным.
Новые модели работают в более сложной среде, взаимодействуют с людьми и другими системами ИИ, пользуются внешними инструментами. Кроме того, они всё лучше умеют анализировать и изменять собственный процесс рассуждений, а часть задач могут выполнять без явной вербализации своих мыслей.
Поэтому одним из главных ограничений дальнейшего развития ИИ, по мнению исследователя, может стать вопрос, смогут ли люди достаточно надёжно контролировать всё более мощные системы.
Остановить разработку также опасно
Здесь возникает парадокс. Если разработчики не уверены, что смогут контролировать более умные модели, почему просто не остановить их создание?
Сильнейшим аргументом в пользу продолжения разработки Пахоцкий называет необходимость защищаться от других систем ИИ. Модели уже становятся чрезвычайно сильными в поиске уязвимостей и взломе компьютерных систем. В будущем такие агенты смогут получать доступ к почти любой недостаточно защищённой инфраструктуре и непосредственно влиять на её работу.
Исследователь также предупреждает, что с ростом самостоятельности ИИ будет всё труднее отделить злоупотребление им со стороны человека от опасных действий самих агентов. Такие системы смогут обманывать людей, договариваться с ними или шантажировать их. Ещё одна угроза — использование ИИ для создания опасных технологий, например искусственных патогенов.
Но здесь возникает парадокс. Для защиты от опасного ИИ также потребуется мощный ИИ. Такие системы смогут защищать критическую инфраструктуру, противостоять опасным агентам и разрабатывать новые средства защиты. Именно это учёный называет сильнейшим аргументом в пользу продолжения разработки всё более умных моделей.
Иллюстративный снимок. Фото: Getty / Andriy Onufriyenko
«Гонка любой ценой» не имеет смысла
Однако потребность в мощном ИИ для защиты не означает, что его развитие нужно ускорять любой ценой. Напротив, дальнейшее наращивание возможностей систем, по мнению Пахоцкого, должно зависеть от уверенности в их безопасности. Если такой уверенности нет, темпы развития нужно замедлять.
Существующие добровольные механизмы, такие как Рамочная программа готовности (Preparedness Framework) OpenAI и Политика ответственного масштабирования (Responsible Scaling Policy) Anthropic, он предлагает постепенно превратить в общие обязательные стандарты безопасности. Контролировать их выполнение могли бы независимые аудиторы, государственные органы или международные структуры.
Пахоцкий ожидает и надеется, что добровольное замедление разработки станет обычной практикой, пока такие стандарты не будут выработаны. Ведь, согласно его текущей оценке, ни одна лаборатория ещё не решила проблемы «согласования» и мониторинга настолько хорошо, чтобы долго и ответственно продолжать наращивать мощность ИИ на максимальной скорости.
Главное — оставить будущее людям
При этом Пахоцкий не считает дальнейшее развитие ИИ исключительно угрозой. Безопасные системы могут ускорить научные открытия, помочь создавать новые методы лечения и принести большое экономическое благосостояние.
Но ближайшие несколько лет он считает особенно важными. Человечеству нужно сохранить собственную субъектность в мире, где большинство задач смогут выполнять машины, и не допустить чрезвычайной концентрации власти, когда работу тысяч специалистов смогут выполнить несколько человек с мощным компьютером.
35‑летний Якуб Пахоцкий родился в Гданьске и проявил неординарный талант программиста ещё в школьные годы. Высшее образование он получил в США, докторскую диссертацию защитил в Carnegie Mellon, работал в Гарварде. К OpenAI он присоединился в 2017 году.