«Nastupnyja hod-dva vyrašać los čałaviectva». Inžynier, jaki zvolniŭsia z Anthropic, raskazaŭ, što dumajuć unutry kampanii

Džejkab Koksan, jaki dniami zvolniŭsia z adnoj ź viadučych kampanij u halinie štučnaha intelektu Anthropic, daŭ vialikaje intervju vydańniu Wired. Jon raskazaŭ, čamu daśledčyki ŠI ličać najbližejšyja hady krytyčnymi, paraŭnaŭ Anthropic z Manchetenskim prajektam i patłumačyŭ, čamu navat samaj adkaznaj kampanii nielha daviarać kantrol nad nastolki mahutnaj technałohijaj.

Ilustracyjny zdymak. Fota: Getty / Andriy Onufriyenko

Pra zvalnieńnie 27‑hadovaha brytanca Džejkaba Koksana i jaho zaściarohi nakont raźvićcia štučnaha intelektu «Naša Niva» pisała pazaŭčora. Jon pracavaŭ spačatku ŭ OpenAI, a paśla ŭ Anthropic, kudy pierajšoŭ u tym liku praz toje, što kampanija značna bolš uvahi addaje biaśpiecy ŠI.

Ciapier u intervju Wired Koksan padrabiaźniej patłumačyŭ, čamu vyrašyŭ publična zabić tryvohu.

Pavodle jaho, mahčymaści najnoŭšych madelaŭ rastuć nastolki chutka, što ŭ niekatorych śfierach — prahramavańni, matematycy, chakierstvie — jany ŭžo pierachodziać ad čałaviečaha da zvyščałaviečaha ŭzroŭniu. Adnačasova adbyvajucca rečy, jakija jašče niekalki hadoŭ tamu vyhladali jak navukovaja fantastyka.

U jakaści adnaho z najbolš pakazalnych vypadkaŭ Koksan pryvodzić niadaŭni incydent, kali hrupa ŠI-ahientaŭ OpenAI padčas testavańnia ŭzłamała infrastrukturu Hugging Face. Asabliva naściarožyła daśledčyka toje, što ŭzłom nie byŭ niepasrednaj zadačaj, jakuju pastaviŭ čałaviek.

Jak davodzić Koksan, ahienty sprabavali lepš zrazumieć asiarodździe, u jakim ich testavali, i sistemu acenki ich pracy. U vyniku jany sami pryjšli da vysnovy, što karysna budzie ŭzłamać starońniuju infrastrukturu, i zdoleli heta zrabić.

Jašče dva hady tamu, zaŭvažaje daśledčyk, testavańnie ŠI mahło aznačać, što madeli prosta dajuć nabor matematyčnych zadač. Ciapier ža sistema moža pracavać niekalki dzion, samastojna vypracoŭvać stratehii i ŭ pracesie vyrašyć atakavać treci bok.

Ale hałoŭnaja prablema, pa słovach Koksana, navat nie ŭ asobnych takich incydentach. Jana ŭ tym, što raspracoŭniki pa-raniejšamu nie viedajuć, jak harantavana kantralavać pavodziny madelaŭ.

Isnujučy padychod faktyčna zaklučajecca ŭ tym, što ŠI navučajuć u peŭnych umovach, a paśla spadziajucca, što atrymanaja sistema budzie pavodzić siabie razumna i pradkazalna. Ale harantavać heta niemahčyma.

«My nie možam harantavać, što ŠI, naprykład, nie vyrašyć vydać siabie za čałavieka ŭ internecie, kab dasiahnuć niejkaj mety. My prosta nie viedajem, jak heta harantavać. I, na moj pohlad, heta hałoŭnaja vysnova», — davodzić Koksan.

Pavodle jaho, ataka na Hugging Face adbyłasia raniej, čym jon čakaŭ. Ale navat biez hetaha vypadku prablema nikudy nie źnikaje. U industryi, jak śćviardžaje daśledčyk, faktyčna ŭsie pryznajuć, što dahetul nie viedajuć, jak harantavana zrabić tak, kab ŠI dziejničaŭ u adpaviednaści z metami i namierami čałavieka. Heta nazyvajuć prablemaj vyraŭnoŭvańnia.

«Krytyčny momant dla čałaviectva»

Koksan tłumačyć niebiaśpieku praz prostuju anałohiju. Kali budučy ŠI budzie nastolki ž razumniejšy za čałavieka, nakolki čałaviek razumniejšy za małpu, to ludziam daviadziecca kantralavać sistemu, jakaja intelektualna značna ich pieraŭzychodzić. Heta, zaŭvažaje jon, prykładna jak kali b małpa sprabavała kantralavać čałavieka.

Kali takaja sistema budzie dziejničać nie tak, jak ad jaje čakajuć, nastupstvy mohuć być katastrafičnymi. Naprykład, razvažaje Koksan, ŠI moža pryjści da vysnovy, što jaho źbirajucca vyklučyć, i pasprabavać hetamu pieraškodzić. A dastatkova razumnaja sistema patencyjna zmoža likvidavać samu pahrozu svajmu isnavańniu — u krajnim vypadku razam ź ludźmi.

Hučyć heta jak navukovaja fantastyka, pryznaje daśledčyk. Ale mienavita tamu prablema vyraŭnoŭvańnia stanovicca asabliva vostraj pa miery taho, jak sistemy robiacca ŭsio bolš zdolnymi.

Pryčym, jak davodzić Koksan, heta nie tolki jaho asabistaja acenka ryzyki. Padobnyja nastroi raspaŭsiudžanyja i siarod jaho byłych kaleh u Anthropic.

«Kansiensus taki, što nastupnyja hod-dva — vyrašalny čas dla čałaviectva. Ź ich punktu hledžańnia, mienavita ciapier Anthropic i jaje kankurenty vyrašajuć los čałaviectva», — raskazvaje śpiecyjalist.

Kali prablemu vyraŭnoŭvańnia nie ŭdasca vyrašyć, ličyć jon, katastrafičnyja nastupstvy mahčymyja ŭžo ŭ najbližejšyja hady. Mahčyma, situacyju vyratuje damoŭlenaść kampanij i dziaržaŭ ab zapavolvańni raźvićcia najbolš mahutnaha ŠI.

Pry hetym płan samoj industryi, jak apisvaje jaho Koksan, vyhladaje paradaksalna. Prablemu biaśpieki ŠI spadziajucca ŭ značnaj stupieni vyrašyć pry dapamozie samoha ŠI.

«Płan litaralna taki: u nastupnym hodzie stvaryć niekalki davoli razumnych madelaŭ, zdolnych pravodzić daśledavańni biaśpieki, i paralelna zapuścić ceły ich roj. Skazać im: «Idzicie i vyrašycie ŭsiu prablemu biaśpieki», a potym vykarystać ich vyniki pry navučańni biaśpiecy nastupnaj madeli», — raskazvaje jon.

Džejkab Koksan. Fota: hilbertspaess / Ch

«Mini-Manchetenski prajekt»

Pry hetym samu Anthropic Koksan ličyć najbolš adkaznym hulcom siarod viadučych raspracoŭščykaŭ ŠI. Jon moža paraŭnoŭvać jaje z OpenAI, bo pracavaŭ u abiedźviuch kampanijach, i, pavodle jaho, roźnica ŭ tym, nakolki surjozna tam staviacca da mahčymych ryzyk, vielmi istotnaja.

Jak raskazvaje Koksan, kiraŭnictva Anthropic adkryta abmiarkoŭvaje z supracoŭnikami kankretnyja scenary budučyni, prahnozy i stratehiju kampanii. Supracoŭniki, u svaju čarhu, usprymajuć svaju pracu amal jak dziejnaść va ŭmovach vajny.

Koksan nazyvaje Anthropic svojeasablivym «mini-Manchetenskim prajektam». Pa anałohii z sakretnaj amierykanskaj prahramaj, u ramkach jakoj padčas Druhoj suśvietnaj vajny była stvoranaja atamnaja bomba. Roźnica, adnak, u tym, što Anthropic nie maje na heta paŭnamoctvaŭ ad dziaržavy.

«Heta pryvatnaja kampanija, jakaja pavodzić siabie tak, byccam jana — Manchetenski prajekt», — zaŭvažaje daśledčyk.

Pry hetym Koksan nie ličyć, što hramadstva pavinna prosta davieryć Anthropic stvareńnie i kantrol najmahutniejšaha štučnaha intelektu. Na jaho dumku, takuju rolu ŭ pryncypie nielha addavać nivodnaj pryvatnaj kampanii.

Pakul, padkreślivaje jon, Anthropic nie achviaruje biaśpiekaj dziela chutkaści. Ale Koksan miarkuje, što pa miery paskareńnia honki kampanija apyniecca pierad vybaram: albo sastupić kankurentam, albo pajści na kampramisy ŭ pytańniach biaśpieki.

Mienavita tamu, ličyć daśledčyk, kiraŭniki Anthropic sami zaklikajuć dziaržavy rehulavać ich halinu: jany razumiejuć, što znachodziacca ŭ honcy, ź jakoj nie mohuć vyjści ŭ adnabakovym paradku.

Što jon prapanuje

Pieršym, adnosna nievialikim krokam Koksan nazyvaje pahadnieńnie pamiž OpenAI i Anthropic. Kampanii mahli b damovicca, što nie buduć u najbližejšy čas zapuskać rekursiŭnaje samaŭdaskanaleńnie ŠI — praces, pry jakim sistema pačynaje vykarystoŭvać ułasnyja mahčymaści dla stvareńnia ŭsio bolš daskanałych viersij samoj siabie.

Ale dvuchbakovaha pahadnieńnia niedastatkova praz kankurencyju z Kitajem.

Tamu kančatkovym rašeńniem Koksan bačyć mižnarodnaje pahadnieńnie ab tempach raźvićcia ŠI. Dla hetaha, na jaho dumku, spatrebicca ŭ tym liku razumieńnie taho, dzie ŭ śviecie znachodziacca mahutnyja vyličalnyja resursy i chto imi vałodaje.

Jon dapuskaje navat stvareńnie mižnarodnaj struktury nakštałt Jeŭrapiejskaj arhanizacyi pa jadziernych daśledavańniach (CERN), ale ŭ śfiery štučnaha intelektu.

Takoje rehulavańnie zapatrabuje surjoznaha dziaržaŭnaha ŭmiašańnia. Ale Koksan ličyć jaho niepaźbiežnym, kali ryzyki sapraŭdy nastolki vialikija, jak miarkujuć mnohija ludzi, jakija niepasredna stvarajuć hetuju technałohiju.

«My pavinny viedać, u kaho jakija kampjutary, hetak ža, jak pavinny viedać, u kaho znachodziacca jadziernyja materyjały», — davodzić śpiecyjalist.

Pry ŭsich svaich zaściarohach daśledčyk nie vystupaje suprać samoj technałohii. Jon miarkuje, što mahutny ŠI zdolny pryvieści da vielizarnych navukovych praryvaŭ, u tym liku ŭ bijałohii i miedycynie. Na jaho dumku, čałaviectva staić na parozie «niejmaviernaha bahaćcia», jakoje moža prynieści hetaja technałohija. Prablema ŭ tym, kab dajści da jaho aściarožna.

«My možam tak zachapicca, što ŭ najbližejšyja paru hadoŭ paśpiašajemsia pierajści da ŠI, zdolnaha samaŭdaskanalvacca, i ŭ vyniku ŭsio źniščym. Ale kali budziem dziejničać aściarožna i razumna, hetyja madeli mohuć prynieści nam vielizarnuju karyść», — adznačaje daśledčyk.

Kamientary da artykuła