«Мы не знаем, как добиться выравнивания таких систем». Разговоры об угрозах ИИ — заговор OpenAI, Google и Anthropic?

Максим Маханьков: Мотивы замедлить развитие искусственного интеллекта — два, и это не спасение человечества

«Руководители американских топовых компаний, призывающие притормозить, замедлить развитие искусственного интеллекта, чтобы «спасти человечество от экзистенциальной угрозы», руководствуются в своей деятельности сейчас двумя основными мотивами.

1. Они пытаются нечестными, нерыночными методами сохранить свое преимущество на рынке, закрыв доступ для молодых компаний и стартапов. Перекрыть кислород конкурентам. Короче, создать обычный картель / олигополию.

Примерно то же самое, что делал в прошлом году Илон Маск, когда выступал за отмену государственных субсидий для «зеленого» транспорта. При том, что сам Маск является одним из руководителей крупнейшего «зеленого» бизнеса («Тесла») и сам ранее получал огромные субсидии от американского правительства. И здесь также реальные мотивы (стремление завоевать монополию со своей «Теслой» на рынке зарядных станций) подменялись риторикой про «увеличение эффективности и сокращение расходов бюджета».

2. У инвесторов все больше и больше возникает вопросов, почему та «магия», почему этот «оракул», который им втюхали под названием «искусственного интеллекта», не дает тех быстрых результатов в сокращении расходов, автоматизации бизнес-процессов. Инвесторам обещали магическую черную коробку, которая заменит программистов и продавцов, сократит расходы и все упростит. А эта гадость (если она не под контролем нормального инженера) не просто пишет дерьмовый, немасштабируемый, необслуживаемый код, но и требует еще новых уровней абстракций, компетенций, более сложных процессов и больших затрат.

Вся информационная кампания о том, как мы «специально замедлили необузданный искусственный интеллект, чтобы он не вышел из-под контроля» направлена на то, чтобы оправдаться перед инвесторами, почему их миллиардные вливания не окупаются и не окупятся в обозримом будущем. Потому что они, техноолигополисты, прекрасно понимают, что реальные способности так называемого «искусственного интеллекта» на основе больших языковых моделей уже упираются в свои пределы, в непреодолимое асимптотическое плато (кто бы и что вам не говорил о «сингулярности» и других красивых словах). Этот выход на плато (при том, что инвесторам втюхали «сингулярность») проще всего объяснить тем, что «мы специально сдерживаем его».

Вот и все», — считает Максим Маханьков.

Андрей Храповицкий: Учитывайте, что публично доступные модели — это не самые мощные модели фронтир-лабов

«Мнение Максима Маханькова разделяют многие. В том числе в определенной степени Трамп, согласно его недавним постам в Truth Social.

Но есть и много других вариаций, в том числе таких, где предостережения Дарио [Амадеи, руководителя Anthropic], Сэма [Альтмана, руководителя OpenAI] и других лидеров индустрии могут быть обоснованными.

Вот для примера: новейшие публично доступные модели (Fable 5.1, GPT 6‑Astra и некоторые другие) уже достаточно мощные и могут создать проблемы, если вдруг guardrails против misuse, которые фронтир-лабы выставляют, по той или иной причине не сработали бы. Были уже случаи jailbreaks и т.д.

Да, действительно, можно спекулировать о плато возможностей LLM. Но то, что мы сейчас имеем на фронтире, это я бы сказал не совсем LLM. Современные фронтир-модели правильнее называть reasoning models. Архитектура трансформеров постепенно трансформируется (сорри за каламбур). Как кто-то из лабов пошутил, мы сейчас имеем так сказать квази-трансформеры. Да, они все еще довольно близки к оригиналу. Но постепенно архитектурные решения меняются и совершенствуются.

Можно утверждать, что наибольший прирост в плане способностей новых моделей дают скорее не архитектурные изменения, а работа с данными, на которых модели тренируются. Как говорят англичане: We are what we eat — «мы то, что мы едим». То же самое можно сказать и про модели ИИ.

Очень важный аспект здесь вот какой. В фронтирных лабах (и не только в них) уже пришла эпоха рекурсивного самоусовершенствования моделей. Предыдущая модель работает над усовершенствованием процесса тренировки следующей. То есть фактически предыдущая модель как бы работает над своими «потомками». К тому же модели сейчас меняют harnesses, переписывают свой контекст, управляют кучами агентов и субагентов. Эти процессы отчасти автоматизированы. Их очень сложно мониторить. Можно очень просто что-то пропустить и наделать беды.

А теперь представим, что a swarm of agents хакнет какую-нибудь финансовую структуру, нанеся ущерб на миллиарды долларов или еще что-то подобное. Фронтир-лабы просто засудят до банкротства, если не дойдет до арестов.

В определенном смысле внешний мониторинг — это может быть в том числе попыткой защититься от таких судебных дел. Вроде посторонние компании / институции мониторили наши процессы и ничего не заметили. 

Рекурсивное самоусовершенствование, которое мы имеем сейчас, это слабая версия этого концепта. Современные модели после тренировки имеют замороженное состояние весов. Но идут исследования и в плане continual learning — постоянного обучения, где модель самоусовершенствуется. Это очень сложное и потенциально очень опасное направление. Представим, что в этом направлении произошел прорыв. Мониторинг и алайнмент таких систем стал бы еще более сложным. Мы не знаем, как добиться алайнмента таких систем.

И еще одно. Реальность такова, что публично доступные модели — это не самые мощные модели фронтир-лабов. Взгляд изнутри может иметь немного другую оптику», — считает Андрей Храповицкий.

• 3
• 0
• 0
• 0
• 0
• 0
• 0
• 0