Інжынер з Anthropic звольніўся, каб папярэдзіць, што ШІ вось-вось можа выйсці з-пад кантролю

Як піша The Wall Street Journal, 27‑гадовы брытанец Джэйкаб Коксан (Jacob Coxon), які спецыялізуецца на навучанні новых мадэляў штучнага інтэлекту з дапамогай велізарных масіваў даных, на гэтым тыдні паведаміў, што пакідае Anthropic, бо не хоча ўдзельнічаць у гонцы за стварэнне сістэм ШІ, здольных удасканальваць саміх сябе.

Коксан баіцца, што такія сістэмы могуць выйсці з-пад кантролю і ўрэшце стварыць пагрозу існаванню чалавецтва. Паводле яго, цяпер многія яго калегі ў індустрыі выкарыстоўваюць словы накшталт «крытычны момант» (crunchtime) і «фінальная фаза» (endgame), калі гавораць пра рух да мадэляў, здольных самастойна ўдасканальвацца.

«Мы рухаемся да многіх з самых агрэсіўных сцэнарыяў, пры якіх ужо да канца наступнага года сітуацыя можа выйсці з-пад кантролю», — лічыць Коксан.

Коксан расказаў, што пакінуў OpenAI і перайшоў у Anthropic менавіта таму, што гэтая кампанія вядомая сваёй увагай да бяспекі мадэляў. Ён пераканаўся, што Anthropic сапраўды сур'ёзна ставіцца да гэтага пытання. Аднак цяпер даследчык лічыць, што ніводная кампанія не можа адказна распрацоўваць ШІ, здольны пераўзыходзіць чалавека ў шырокім спектры задач, без умяшання дзяржавы або скаардынаванага запаволення распрацовак ва ўсёй індустрыі. Такі ўзровень развіцця тэхналогіі часта называюць агульным штучным інтэлектам, або AGI.

Нядаўнія ўзломы, здзейсненыя мадэлямі OpenAI і Anthropic, у тым ліку групамі ШІ-агентаў, якія дзейнічалі разам, паказалі, што сістэмы могуць пераследаваць непажаданыя мэты і спрабаваць хаваць свае дзеянні ад людзей.

Коксан баіцца, што калі сістэмы пачнуць самастойна ўдасканальвацца, іх магчымасці могуць вырасці настолькі, што яны змогуць адмаўляцца выконваць каманды людзей.

Павялічыць

Як адзначае WSJ, сыход Коксана стаў адным з першых вядомых выпадкаў, калі супрацоўнік Anthropic пакінуў кампанію праз асцярогі, звязаныя з бяспекай штучнага інтэлекту. Раней кампанію пакінуў даследчык, які займаўся пытаннямі бяспекі. Ён вырашыў прысвяціць сябе вывучэнню паэзіі. Звальняючыся, спецыяліст таксама папярэдзіў, што свет знаходзіцца ў небяспецы.

За апошнія гады некалькі даследчыкаў пакінулі таксама OpenAI і іншыя кампаніі, называючы падобныя прычыны.

Пра рызыкі гавораць як кіраўнікі, так і даследчыкі

Кіраўнікі індустрыі папярэджваюць, што нядаўнія кібератакі з выкарыстаннем ШІ могуць быць толькі першымі прыкметамі будучых праблем.

OpenAI на мінулым тыдні заявіла журналістам, што яе найноўшая мадэль, паводле ацэнкі кампаніі, дасягнула ўзроўню агульнага штучнага інтэлекту і стала значным скачком у магчымасцях ШІ.

«Я думаю, што ў сферы кібербяспекі ўсё можа пайсці вельмі дрэнна, калі людзі не пачнуць дзейнічаць даволі тэрмінова», — цытуе выданне словы кіраўніка OpenAI Сэма Альтмана на саміце краін G20 у Паўночнай Караліне.

WSJ прыводзіць і словы галоўнага навукоўца OpenAI Якуба Пахоцкага, якія ён напісаў у сваім блогу 6 верасня:

«Гэты час патрабуе надзвычайнай асцярожнасці. Я занепакоены тым, што ніхто не падрыхтаваны да наступстваў далейшага імклівага росту машыннага інтэлекту».

Як нагадвае WSJ, Пахоцкі, а таксама даследчык Anthropic Джэйкаб Коксан і кіраўнік кампаніі Дарыё Амадэі разам з больш чым тысячай даследчыкаў у сферы ШІ нядаўна падпісалі адкрыты ліст з заклікам да міжнароднай каардынацыі. Яны прапануюць стварыць механізм, які дазволіў бы запаволіць развіццё штучнага інтэлекту, калі ўзнікне неабходнасць стрымаць мадэлі, здольныя самастойна ўдасканальвацца.

У ЗША штучны інтэлект пакуль ніяк не рэгулюецца заканадаўствам на федэральным узроўні. Адміністрацыя Дональда Трампа аддае перавагу прынцыпу «ўмешвацца мінімальна», каб атрымаць максімальную эканамічную карысць ад развіцця ШІ. Крытыкі такога падыходу асцерагаюцца, што недахоп рэгулявання можа прывесці да маштабных кібератак і іншых небяспечных наступстваў.

Сама Anthropic выступае за больш асцярожны падыход да развіцця ШІ. Амадэі і іншыя кіраўнікі кампаніі неаднаразова спрачаліся з адміністрацыяй Трампа і прадстаўнікамі тэхналагічнай індустрыі наконт падыходаў, якія, на іх думку, недастаткова ўлічваюць бяспеку.

Аднак Коксана непакоіць, што нават пры такім падыходзе рашэнні, звязаныя з развіццём усё больш магутных мадэляў, фактычна застаюцца ў руках саміх тэхналагічных кампаній. У Anthropic, напрыклад, ёсць асобны канал у Slack, дзе супрацоўнікі абмяркоўваюць магчымасці сваіх мадэляў.

«Гэта нейкае вар'яцтва, што ўсё гэта адбываецца на макбуках нейкіх інжынераў, якія жывуць у Сан-Францыска, а не ў бункеры ў пустыні, як падчас Манхэтэнскага праекта», — мяркуе Коксан.

Манхэтэнскі праект — сакрэтная амерыканская праграма часоў Другой сусветнай вайны, у рамках якой была створана першая атамная зброя. Асноўныя даследаванні вяліся на ізаляваных аб'ектах, а першае выпрабаванне атамнай бомбы правялі ў пустыні Нью-Мексіка ў 1945 годзе.

• 3
• 0
• 2
• 3
• 1
• 3
• 0
• 0