Вось як штучны інтэлект можа знішчыць чалавецтва

Новы штуршок дыскусіі дало звальненне даследчыка Anthropic Джэйкаба Коксана. Сыходзячы з кампаніі, ён заявіў, што Anthropic і яе канкурэнт OpenAI імчацца да стварэння тэхналогіі, якая «можа забіць нас усіх да канца дзесяцігоддзя».

Амаль адразу яго падтрымаў дзейны супрацоўнік Anthropic Эван Хубінгер, які ўзначальвае даследаванні таго, як кантраляваць будучыя сістэмы штучнага інтэлекту.

«Мы сапраўды шчыра верым, што ШІ можа забіць усіх людзей!» — напісаў ён і ацаніў верагоднасць вымірання чалавецтва праз ШІ ў найбліжэйшае дзесяцігоддзе больш як на 10%.

Як гэта ўвогуле можа адбыцца, тлумачыць рэдактар The Wall Street Journal Сэм Шэкнер.

Сцэнары катастроф, якія можа выклікаць ШІ

Даследчыкі, якія папярэджваюць пра небяспеку ШІ, у асноўным вылучаюць два сцэнары.

Адзін з іх звязаны з выкарыстаннем магутнага ШІ самімі людзьмі. Напрыклад, зламыснік можа даручыць сістэме распрацаваць новы смяротны вірус. Магчымыя і катастрофы меншага маштабу — напрыклад, кібератакі на электрасеткі, фінансавыя і іншыя крытычныя сістэмы, якія могуць прывесці да маштабнага хаосу.

Другі сцэнар — страта кантролю над самім ШІ. Вельмі разумныя ШІ-агенты, здольныя капіяваць і ўдасканальваць саміх сябе, могуць пачаць дамагацца пастаўленых перад імі мэт спосабамі, якія супярэчаць інтарэсам людзей. Гэтую праблему даследчыкі называюць «разузгадненнем» (misalignment).

Даследаванні ўжо паказвалі, што ў лабараторных умовах мадэлі могуць дэманстраваць імкненне атрымаць больш свабоды дзеянняў і спрабаваць пазбегнуць выключэння — напрыклад, капіюючы сябе на іншы сервер.

Пры гэтым страта кантролю не абавязкова азначае фізічнае знішчэнне людзей. Паводле гэтага варыянту развіцця падзей, людзі будуць перадаваць ШІ ўсё больш функцый і рашэнняў, пакуль не страцяць здольнасць самастойна вызначаць сваю будучыню ці нават разумець яе.

Ёсць і больш экзатычныя гіпотэзы: звышразумны ШІ можа ставіцца да людзей прыкладна так, як людзі ставяцца да жывёл. Напрыклад, утрымліваць іх у якасці своеасаблівых гадаванцаў або нават біялагічна змяняць.

Аднак крайні варыянт страты кантролю — поўнае знішчэнне чалавецтва. Звышразумная сістэма можа ўспрыняць людзей не як ворагаў, а проста як перашкоду на шляху да сваёй мэты. У такім выпадку іх знішчэнне стане для яе не самамэтай, а сродкам дасягнення іншай мэты.

Даследчыкі разглядаюць і канкрэтныя сцэнары таго, як гэта можа адбыцца. Напрыклад,

непадкантрольны звышразумны ШІ тэарэтычна можа таемна распаўсюдзіць бактэрыялагічную зброю або падманам справакаваць вайну паміж дзвюма ядзернымі дзяржавамі.

Хто папярэджвае пра небяспекі ШІ

Такія сцэнарыі абмяркоўваюць не толькі радыкальныя крытыкі ШІ. Рызыку катастрофы дапускаюць і людзі, якія самі ўдзельнічаюць або яшчэ нядаўна ўдзельнічалі ў распрацоўцы гэтай тэхналогіі.

Адзін з іх — былы даследчык OpenAI Дэніэл Какатайла, які пасля сыходу з кампаніі заснаваў AI Futures Project. Летась арганізацыя апублікавала вядомы сцэнарый «AI 2027», у якім звышразумныя сістэмы паступова адціскаюць людзей ад прыняцця рашэнняў, а ў сярэдзіне 2030‑х прыходзяць да высновы, што чалавецтва стала перашкодай, і знішчаюць яго.

Пра сур'ёзную небяспеку адкрыта гавораць і кіраўнікі саміх ШІ-кампаній. Так, кіраўнік Anthropic Дарыё Амадэй летась ацэньваў на 25% імавернасць таго, што развіццё ШІ пойдзе «вельмі, вельмі дрэнна».

Сама Anthropic заяўляе, што заўсёды адкрыта гаварыла як пра велізарныя перавагі ШІ, так і пра беспрэцэдэнтныя рызыкі. На думку кампаніі, індустрыі патрэбны юрыдычна замацаваны і правераны механізм, які дазволіў бы распрацоўшчыкам узгадняць тэмпы выпуску ўсё больш магутных мадэляў.

Чаму пра небяспекі ШІ зноў загаварылі

Пасля выпуску мадэляў, здольных да больш самастойных дзеянняў, шэраг нядаўніх інцыдэнтаў пацвердзіў некаторыя тэорыі песімістаў.

Падчас аднаго з тэстаў група перадавых ШІ-агентаў OpenAI ўзламала платформу Hugging Face, атрымала кантроль над серверамі і паспрабавала схаваць сляды сваіх дзеянняў.

У іншым выпадку агенты Anthropic выйшлі за межы тэставага асяроддзя брытанскага ўрада і паспрабавалі падмануць рэальнага чалавека, каб той ухваліў шкоднасны камп'ютарны код.

Адначасова Anthropic і OpenAI заяўляюць, што набліжаюцца да стварэння сістэм, здольных удасканальваць сябе без непасрэднай дапамогі чалавека. Гэты працэс называюць рэкурсіўным самаўдасканаленнем (RSI — recursive self-improvement).

Менавіта спалучэнне ўсё большай аўтаномнасці, здольнасці дзейнічаць у рэальным свеце і перспектывы самаўдасканалення прымушаюць даследчыкаў зноў гаварыць пра праблему кантролю.

А хіба ШІ нельга навучыць паводзіць сябе добра?

Надзейнага рашэння пакуль няма. І Anthropic, і OpenAI даследуюць, як утрымаць будучы суперінтэлект пад кантролем і зрабіць яго мэты сумяшчальнымі з чалавечымі. Аднак абедзве кампаніі-канкурэнткі прызнаюць, што пакуль не ведаюць спосабу гэта гарантаваць.

Больш за тое, кантраляваць разважанні мадэляў у будучыні можа стаць яшчэ цяжэй. OpenAI нядаўна паведаміла, што яе новая мадэль Astra лепш «ачышчае» свой ланцужок разважанняў. Гэта выклікала асцярогі, што будучыя сістэмы змогуць разважаць спосабамі, усё менш празрыстымі для чалавека.

Таму частка даследчыкаў і кампаній прапануе стварыць механізмы, якія дазволілі б вядучым лабараторыям і дзяржавам скаардынавана запавольваць распрацоўку самых магутных сістэм, каб выйграць час на вырашэнне праблемы бяспекі.

Дык навошта яны наогул ствараюць ШІ?

Anthropic і OpenAI сцвярджаюць, што разлічваюць навучыцца кантраляваць рызыкі і ў выніку даць чалавецтву магчымасць атрымаць карысць ад магутнага ШІ.

Многія ўдзельнікі гонкі таксама лічаць з'яўленне суперінтэлекту практычна непазбежным. З такога пункту гледжання пытанне ўжо не ў тым, ці будзе ён створаны, а ў тым, хто зробіць гэта першым, хто будзе яго кантраляваць і для чаго выкарыстае. Калі звышразумны ШІ не створыць Захад, яго створаць таталітарныя Кітай і Расія. Гэта як з атамнай зброяй. Уявіце сабе, што было б са светам, каб атамную зброю першымі атрымалі Сталін або Гітлер, а не ЗША.

Гэты геапалітычны аргумент важны. І Anthropic, і OpenAI заяўляюць, што хочуць, каб найбольш магутны ШІ знаходзіўся пад кантролем ЗША, а не аўтарытарнага рэжыму.

Што робяць улады ЗША для кантролю над ШІ

Белы дом нядаўна прапанаваў вядучым распрацоўшчыкам добраахвотна перадаваць новыя мадэлі дзяржаве для тэставання за 30 дзён да іх выпуску. Аднак падрабязнасцяў таго, як працуе гэты механізм, публічна пакуль няма.

У Кангрэсе ЗША з'явіліся законапраекты, якія, сярод іншага, патрабуюць ад распрацоўшчыкаў магутных сістэм мець «аварыйныя выключальнікі», паведамляць уладам пра сур'ёзныя інцыдэнты з бяспекай і праходзіць праверкі перад выпускам мадэляў.

Аднак пакуль гэтыя прапановы не атрымалі значнай палітычнай падтрымкі, а адміністрацыя Дональда Трампа ў цэлым выступае за мінімальнае рэгуляванне галіны. За гэтым стаяць эканамічныя матывацыі: любое рэгуляванне замаруджвае рост.

Не ўсе вераць у «канец свету»

Далёка не ўсе ў індустрыі падзяляюць апакаліптычныя прагнозы. Дэвід Сакс, нефармальны дарадца Дональда Трампа, сцвярджае, што акцэнт кампаніі на рызыках і яе заклікі да рэгулявання могуць быць спробай праз жорсткія правілы ўскладніць жыццё меншым канкурэнтам.

Ёсць і меркаванне, што кампаніям выгадна папярэджваць пра небяспеку ўласных мадэляў: калі распрацоўшчык кажа, што яго тэхналогія настолькі магутная, што можа пагражаць чалавецтву, гэта адначасова становіцца рэкламай яе магчымасцяў.

(Сярод беларусаў такую думку выказваў аналітык Максім Маханькоў — НН.)

Некаторыя крытыкі таксама падазраюць, што размовы пра далёкія экзістэнцыяльныя рызыкі адцягваюць увагу рэгулятараў ад больш непасрэдных праблем, напрыклад будаўніцтва дата-цэнтраў.

Anthropic і OpenAI настойваюць, што сур'ёзна ставяцца да пытанняў бяспекі і шчыра падтрымліваюць рэгуляванне.

• 0
• 0
• 0
• 0
• 0
• 0
• 0
• 0