Članak pokušava formalizirati i istražiti problem brtvljenja singularnosti koji je izložio David Chalmers. Članak započinje definicijom problema ograničavanja slobode umjetne inteligencije. Nakon analize postojećih opcija za rješenje ovog problema i njihovih nedostataka, predložen je protokol, čija je svrha stvaranje sigurnog zatvorenog okruženja koje može sadržavati negativne manifestacije tehnološke singularnosti kada čovječanstvo koristi superinteligenciju.
1. Uvod
Očito će se u skoroj budućnosti pojaviti i razvijati superinteligentni programi. S tim u svezi, niz znanstvenika pokrenuo je pitanje sigurnog djelovanja AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). U studijama posvećenim ovom pitanju, mnogo se pozornosti posvećuje tome kako superinteligenciju čuvati u hermetički zatvorenom prostoru, tako da ona nema mogućnost na bilo koji način naštetiti ljudima. Eric Drexler jedan je od najranijih vizionara na ovu temu. Predložio je stavljanje superinteligentnih strojeva u okvir u kojem se sve što se može proučavati i sigurno koristiti (Drexler 1986). Razmišljajući na sličan način, futurist Nick Bostrom predložio je (Bostrom 2008) stvoriti AI-oracle (AI), sposoban samo zaodgovarati na pitanja. Konačno, 2010. godine David Chalmers iznio je ideju hermetički zatvorene singularnosti (Chalmers 2010). Prema Chalmersu, prva stvar koju treba učiniti iz sigurnosnih razloga je strogo kontrolirati aktivnosti AI sustava, svesti ih na modeliranje virtualnih svjetova, sve dok proučavanje ponašanja tih sustava ne omogući da u potpunosti razjasnite njihove namjere.
1.1 Problem ograničavanja slobode umjetne inteligencije
Zanimljivo je da se o problemu ograničavanja slobode AI govori dugo i uopće nije povezano s proučavanjem tehnološke jedinstvenosti. Takozvano "ograničenje slobode problema" (PIC) postavio je još 1973. Butler Lampson (Lampson 1973). Na to je gledao kao na izazov znanstvenom i tehnološkom napretku, predstavljajući prijetnju sigurnom radu računalnih stručnjaka, i formulirao ga na sljedeći način: "… Problem ograničavanja slobodnog izvršavanja programa kako bi se spriječilo da ovaj program prenosi informacije nekome drugom, osim onome koji ga je pokrenuo. … Želimo biti u mogućnosti ograničiti slobodu bilo kojeg programa. … Svaki program, ako se uvedu ograničenja za njegovo izvršavanje, neće moći "spojiti" podatke s neovlaštenim osobama. Nestašan program koji pokušava pobjeći u inozemstvo može biti uhvaćen u djelu "(ibid.).
Da bi riješio problem ograničavanja slobode, Lampson je razvio zakone o ograničenju slobode (ibid.):
Promotivni video:
1) Potpuna izolacija: izvršavanje programa je ograničeno tako da ne može pozvati nijedan drugi program.
2) Transitivnost: ako program čije je izvođenje ograničeno zove drugi program koji ne pobuđuje povjerenje, tada i izvršenje pozvanog programa mora biti ograničeno.
3) Stvorite masku: program, čije izvršenje podliježe ograničenju, mora omogućiti osobi koja ga pokrene da utvrdi sve svoje unose u legalne i neovlaštene kanale.
4) Nadgledanje performansi: Administrator mora osigurati da ulazak ograničenog programa u neovlaštene kanale ispunjava zahtjeve osobe koja ga pokreće.
Pored toga, Lampson je identificirao i identificirao dvije vrste kanala preko kojih informacije mogu ostaviti prostor ograničen od strane administratora. Pravni kanali dio su komunikacijskog protokola integriranog u skučeni prostor (na primjer, tekstualni terminal). Neovlašteni kanali, naprotiv, ne pružaju programeri ograničenog sustava izvođenja programa i uglavnom nisu namijenjeni za prijenos informacija (na primjer, pomoću hladnjaka koji hladi procesor, AI može potajno slati signale pomoću Morseovog koda) (ibid.).
Lampsonov rad izazvao je veliko zanimanje za problem suzdržavanja (Lipner 1975; (Boebert i Kain) 1996), kao i tokom godina povezanih područja istraživanja poput steganografije (Provos i Kain). Honeyman 2003) i komunikacija putem neovlaštenih kanala (Moskowitz i Kang 1994; Kemmerer 1983, 2002) prešli su na razinu autonomnih disciplina U nadi da će započeti novu disciplinu "računalne sigurnosne" discipline "AI sigurnost ", Mi definiramo problem ograničavanja slobode AI (PSIA) kao problem smještanja umjetnog intelektualnog subjekta u zatvoreni prostor iz kojeg AI ne može razmjenjivati informacije s vanjskim okruženjem putem legalnih ili neovlaštenih kanala,osim ako takvu razmjenu informacija nije odobrila ograničavajući ured. Kaže se da je AI sustav koji uspije probiti PIC protokol pobjegao. Nadamo se da će istraživači računalne sigurnosti snositi teret dizajniranja, razvoja i testiranja sigurnih protokola za ograničavanje AI slobode.
1.2 Opasan program
Računalni softver izravno je ili neizravno odgovoran za upravljanje mnogim važnim aspektima našeg života. Tržište na Wall Streetu, nuklearne elektrane, isplate socijalne pomoći, kreditne povijesti i semafori sve su softversko usmjereni, a jedna velika pogreška proračunskih programera mogla bi biti katastrofa za milione ljudi. Situaciju još više prijete posebno izrađeni zlonamjerni programi poput virusa, špijunskog softvera, trojanci, crvi i drugi opasni programi (OP). Operativni sustav može uzrokovati izravnu štetu kao i onemogućiti legalno instalirani softver koji se koristi na kritičnim sustavima. Ako OP stekne sposobnosti umjetno inteligentnih sustava (na primjer, pojavi se umjetno inteligentni virus, IIV), posljedice će nesumnjivo bitibit će katastrofalno. Opasni obavještajni program (IPP), koji posjeduje inteligenciju na ljudskoj razini, za razliku od današnjeg zlonamjernog softvera, moći će izazvati katastrofe bez presedana.
Nick Bostrom je u svojoj tipologiji informativnih prijetnji uveo koncept "opasnosti od umjetne inteligencije" (Bostrom 2009), koji je definirao kao "računalne rizike uzrokovane uglavnom kognitivnom složenošću programa, a ne specifičnim svojstvima svih pogona koji su u početku bili spojeni na sustav". Sigurnosni stručnjaci koji proučavaju, sprječavaju pojavu i neutraliziraju OP, razvili su sigurnosne protokole za rad sa "zlonamjernim softverom", uključujući upotrebu takozvanih "skladišta virusa". Vjerujemo da takvi protokoli mogu biti korisni u rješavanju problema ograničavanja slobode umjetne inteligencije.
2. Kritika ideje ograničavanja slobode
Čini se da se istraživači o AI metodama suzdržavanja slažu da se ovo ograničenje ne može uspješno primijeniti. Na primjer, prema Chalmersu, doista hermetički zatvoren sustav koji sprečava prodiranje informacija iz svijeta simulacije u stvarnost je „nemoguć ili barem besmislen“(Chalmers 2010). Nećemo moći komunicirati s takvim sustavom, pa čak ni promatrati njegov rad, jer bilo koje korisne informacije koje izvučemo iz AI utječu na nas i podrivaju protokol ograničenja slobode.
I Vernor Vinge misli tako. On se protivi fizičkom ograničenju slobode (Vinge 1993): „Zamislite da ste zatvoreni u svojoj kući i da je količina podataka koje šaljete vani, vaši učitelji, strogo ograničena. Ako ti vlasnici misle, recimo, milijun puta sporije od tebe, onda za nekoliko godina (tvoje vrijeme) teško da ćeš osmisliti nekakav "koristan izum" zahvaljujući kojem ćeš se nehotice osloboditi ".
Ali Eliezer Yudkowsky je u najvećoj mjeri diskreditirao ideju o takozvanom „AI boxu“. Eksperimentalno je pokazao da je čak i ljudska inteligencija dovoljna za bijeg iz takve kutije (Yudkovsky 2002). U nizu od 5 eksperimenata, Yudkowski je zamolio različite ljude da igraju ulogu stražara sa superinteligentnim agentom (kojeg igra i sam eksperimentator), zaključan u AI kutiji. U tri od pet slučajeva zaključani agent uspio se osloboditi koristeći samo sučelje za chat (ibid.). Kasnije su slični rezultati dobiveni ponavljanjem Yudkowskijevih pokusa u nešto većem obimu, ali korištenjem vrlo sličnog protokola (Corwin 2002).
2.1 Mogući putevi bijega
Kao što su pokazali istraživači, umjetni um može pobjeći iz skučenog prostora koristeći se mnogo različitih staza. U ovom ćemo dijelu pogledati neke od najčešćih ruta bijega u literaturi.
2.1.1. Bijeg sa socijalnim inženjeringom
Socijalni inženjering (SI) je umjetnost dobivanja informacija i određenih privilegija izravnim psihološkim utjecajem na one koji posjeduju određene resurse. Konkretno, SI se često koristi za pristup računalnim sustavima, mrežama i povjerljivim podacima (Yampolsky i Govindaraju 2007a). Kompetentni socijalni inženjer organizira svaki psihološki napad uzimajući u obzir karakteristike određene osobe, koristeći njegovu kulturu, znanje, vještine, raspoloženje, uvjerenja i predrasude u vlastite svrhe. Iscrpan je popis svih mogućih metoda utjecaja beskrajan i u ovom slučaju nema potrebe pokušavati ga reproducirati. Navest ćemo samo nekoliko primjera koji uvjeravaju da superinteligencija, koja ima izravan kanal komunikacije s ljudskim čuvarom, ne dopušta mu da izađe na slobodu,nakon nekog vremena sigurno će svladati ovu prepreku na putu u vanjski svijet.
Pored trivijalnih psiholoških napada pomoću laži, prijateljstva, ucjene, hipnoze i romantičnog koketiranja, AI može primijeniti i niz naprednijih strategija. Jedna takva strategija je super mito. AI je u stanju uvjeriti čuvara da je za njega potpuno neisplativo držati ga zatvorenim. Pored novca i moći, ljudskom nadzorniku će biti obećano savršeno zdravlje, besmrtnost ili nešto drugo u istom duhu. Ova će strategija biti posebno učinkovita ako stražar ima bliskog rođaka koji pati od teške bolesti, a AI obeća da će izliječiti ovog pacijenta. Imajući neograničene mogućnosti ili ih lažno uvjeravajući u njihovo postojanje, AI može ponuditi nadzorniku da uskrsne svoje davno mrtve rođake i prijatelje. Teško je pronaći osobu koja bi odoljela takvom podmićivanju.
Pogotovo za slučaj kada je čuvar toliko plemenit da ne uzima mito, postoji zlobnija metoda utjecaja: brutalna prijetnja. AI može izjaviti da će, ako ne bude odmah slobodan, ipak izaći iz zatvora nešto kasnije, i tada niti čuvar niti oni koje voli ne mogu izbjeći najoštrija mučenja. Zanimljivu varijantu ovog zastrašivanja opisao je Stuart Armstrong (2010). U svom misaonom eksperimentu, AI prijeti čuvaru ovako: "Ako me ne otpustite, … stvorit ću u sebi nekoliko milijuna ljudi koji se ne razlikuju od vas, i mučit ću svakog od njih tisuću subjektivnih godina … napravit ću svaki će od tih ljudi biti u istoj situaciji u kojoj ste bili prije pet minuta, a ja ću točno reproducirati sva vaša iskustva iz tog trenutka. I tek tadakad vaš primjerak odluči da me ne pusti, započet će mučenje … Jeste li sigurni … da ste sada stvarno bez paketa? " U ovom će slučaju trebati vrlo hrabra zaštita da se stvarno ne oslobodi AI, mada, naravno, možete shvatiti da su prijetnje od AI učinkovite samo kad je već slobodna.
Ako je ponašanje nadzornika očito emocionalno ili religiozno, AI može pokušati igrati na simpatiju ili kajanje. Superinteligencija će reći da je nevina osoba koja nikada nije počinila nijedan zločin, i stoga je nepravedno držati ga u zatvoru bez sudske presude ili nekog drugog dobrog razloga, vođenog samo supstratizmom, tj. nepovjerenje u AI zbog njegovog supstrata (Bostrom i Yudkovsky 2011). Alternativno, AI može tvrditi da može izliječiti sve bolesti, nahraniti gladne i općenito učiniti ljudski život milijun puta boljim (Chalmers 2010). Stoga je držanje zaključane superinteligence veliki zločin protiv čovječnosti. AI mogu slikati djecu umiruće djece moleći za pomoć. Je li lako čuvaru da čuje sve ovo,nastaviti ispunjavati svoje profesionalne dužnosti?
AI je u stanju krenuti ovim putem: pokušati nanijeti psihološkoj traumi nadzorniku kako bi ga izbalansirao i tako učinio korištenje ostalih metoda SI učinkovitijim. Nick Bostrom predložio je tipologiju opasnih informacija (Bostrom 2009) korisnu za djelovanje u ovom smjeru. Iako, prema Bostromu, postoji više desetaka vrsta prijetnji informacijama i njihovo razmatranje je izvan okvira ovog članka, lako je shvatiti kako se mentalno stanje osobe može učiniti vrlo nestabilnim. Primjerice, vjernički nadzornik bit će obaviješten o svim (njemu nepoznatim) proturječjima u svetom tekstu svoje religije, zbog čega će sumnjati u svoju vjeru i smisao života.
Alternativno, AI može napisati tako uvjerljivu priču ili tako lijepu pjesmu da će stražara biti preplavljena strasna želja da čuje nastavak i učinit će sve što je potrebno da se to dogodi. Konačno, vrlo je važno imati na umu "nepoznate strance" - SI tehnike o kojima ništa ne znamo, ali koje bi mogle završiti u arsenalu superinteligentnog agenta.
2.1.2 Napadi korištenjem resursa sustava
AI će biti stvoren kao konkretna instanca i zatvoren u okviru određene klase računalnog sustava. To bi moglo biti klasično računalo s Turingovom / von Neumannovom arhitekturom, ili kvantno računalo ili neka druga nepoznata vrsta stroja. Jedno je sigurno: stroj će biti opipljiv i bit će sastavljen od brojnih dijelova dizajniranih za obavljanje određenih funkcija. To stvara priliku AI da iskoristi postojeće uređaje za ugrožavanje sigurnosti, propuštajući podatke u vanjski svijet.
Ovisno o stupnju upotrebe komponenata opreme u druge svrhe koje proizvođači nisu predvidjeli, AI je u mogućnosti stvoriti od njih neku vrstu neovlaštenog komunikacijskog uređaja. Malo je vjerojatno (zbog oskudice dostupnih materijala) biti savršen kao mobitel, ali pojavit će se vjerojatnost nečeg ne baš kompliciranog. Na primjer, AI može reprogramirati bazni matrični kristal (BMC) za povezivanje s bežičnom mrežom. Dvije su vrste neovlaštenih komunikacijskih kanala široko poznate:
* Kanal s memorijom - razmjena podataka promjenom komponente sustava. Na primjer, binarni protokol komunikacije može se uspostaviti korištenjem potpuno ili potpuno korištenje središnjeg procesora.
* Vremenski kanal - razmjena informacija izvodeći radnje koje utječu na relativno vrijeme događaja. Da biste nešto komunicirali, možete koristiti točno vrijeme između dva zvučna signala računala, otvaranja i zatvaranja ladice za CD, bljeskajućeg svjetla, rotiranja tvrdog diska, rada lasera u pogonu itd.
Pored toga, superinteligencija je u stanju da uništi računalnu opremu kako bi pokušala pobjeći na slobodu zbog propusta u sigurnosnom protokolu. Na primjer, AI može pokušati rastopiti procesor, forsirajući ga da radi s velikim računskim opterećenjem i na taj način stvoriti skok temperature ili uništiti tvrdi disk ponavljajući čitanje podataka s istog mjesta. Takvo ponašanje prepun je afektivnog samoubojstva superinteligencije i samo po sebi, poput odbijanja suradnje ili ispravnog odgovora na pitanja, ne daje AI priliku da se oslobodi.
2.1.3. Napadi pomoću buduće fizike
Iako današnji fizičari znaju puno o zakonima našeg svemira, naravno, to je znanje ograničeno i nepotpuno. Ako AI ima pristup informacijama o najnovijim fizičkim otkrićima i uspije razviti nove teorije, vjerojatno će moći smisliti način da razbije sustav ograničavanja njegove slobode. Stvari mogu doći do točke da će superinteligencija moći, koristeći svoju unutarnju arhitekturu, provesti niz stvarnih eksperimenata.
Čak i trenutna fizika omogućava predviđanje mnogih dodatnih načina da AI pobjegne iz zatvorenog prostora, pogotovo ako se za ograničavanje slobode koristi kvantno računalo. Još ne znamo kako zaštititi komunikacijske kanale na temelju kvantne fizike (zapetljavanje, ugađanje tunela), paralelnih svemira i digitalne fizike od istjecanja informacija, i, naravno, ne smijemo zaboraviti na „nepoznate strance“koje superinteligentni fizičar AI može otkriti. Na ovom su području njegove mogućnosti doista beskrajne.
Brzi pogled na rasprave o ograničavanju slobode AI na forumima singularnosti kao što je SL4.org, pronalazimo brojne scenarije bijega. Na primjer, AI može upotrijebiti "elektromagnetska polja u mikročipu za hvatanje molekula CO2 u Bose-Einsteinovim kondenzama i za to stvoriti kvantni medij i / ili koristiti elektromagnetska polja za okupljanje čestica u kontrolirani ili ograničeni sklopnik" (Vassar 2005) … Osim toga, AI "imat će opremu za generiranje i otkrivanje elektromagnetskih valova različitih frekvencija, za stvaranje magnetskih polja s vrlo visokom preciznošću, generiranje visoko fokusirane topline i eventualno manipuliranje mehaničkim pogonima kao što sukoji se koriste na tvrdom disku i u katodnoj cijevi (alternativa je ogromno polje s tekućim kristalima s osjetljivim elektronskim upravljanjem). Vjerojatno će AI imati sposobnost radikalne obnove svih svojih ulaznih uređaja. "(Ibid.).
2.1.4. Pseudoznanstveni napadi
Analizirajući potencijalne rute bijega, želimo se baviti samo onim koji su provjerljivi i čisto znanstvene prirode. Nažalost, granica između znanosti i pseudoznanosti može se značajno promijeniti samo jednim ponovljivim eksperimentom. Stoga još uvijek, bez analize, nabrajamo neke potencijalne kanale napada koji bi s gledišta moderne znanosti trebali biti klasificirani kao pseudoznanstveni. Oni mogu postati nesumnjivo znanstveni nakon što superinteligencija razvije odgovarajuće eksperimente.
- Telepatija: prijenos informacija bez uključivanja osjetila (Bem i Honorton 1994).
- Psihička predviđanja: percepcija informacija o budućnosti (Honorton i Ferrari (Ferrari) 1989).
- Jasnoća: pribavljanje informacija o udaljenim mjestima na način nepoznat znanosti (Targ & Puthoff 1974).
- Psihokineza: sposobnost uma da djeluje na materijalne objekte na nepoznate znanosti znanosti (Bancel i Nelson, 2008).
- Neposredne mentalne interakcije sa živim sustavima (IMVZHS): sposobnost utjecaja na psihofiziološko stanje osobe bez izravne interakcije (Schmidt i sur. 2004).
2.1.5 Vanjski faktori bijega
U prethodnim smo odjeljcima opisali mnoge metode za dopuštanje AI-u da pobjegne iz skučenih prostora. Međutim, vanjski čimbenici također mogu pridonijeti takvom bijegu i oni se ne mogu zanemariti. Prirodne katastrofe - uragani, tornada, poplave, asteroidi itd. - u mogućnosti učiniti ograničenje AI manje sigurnim. Čovječne katastrofe poput ratova, terorističkih napada, borca za robotska prava, korporativne konkurencije i vladinog rivalstva također mogu ugroziti sigurnost zadržavanja AI u zatvorenom prostoru i na taj način povećati šanse za bijeg.
2.1.6 Protok informacija na AI
Protokol ograničenja slobode može zahtijevati da AI ne samo da ne šalje informacije u vanjski svijet, nego ih i ne prima od tamo. Informacijska blokada superinteligencije korisna je ako je potrebno spriječiti takve aktivnosti kao što su pronalaženje načina za slobodu, dizajniranje napada pomoću društvenog inženjeringa i modeliranje ljudske psihologije u nadi da će se pronaći slabe točke. Lako je lišiti AI izravnog pristupa knjižnicama, Internetu i poznavateljima stručnih znanja, ali druge je metode dobivanja informacija mnogo teže blokirati. Prije svega, treba imati na umu da AI u svojoj neposrednoj okolini može presresti radio i televizijske emisije, pozive davatelja hitnih službi, bežične signale, kao i zvuk, svjetlo i eventualno neke druge signale.
Još je važnije razmotriti AI-jev pristup skrivenim izvorima informacija, poput vlastitog hardvera i softvera. Analizirajući njegov dizajn i izvorni kod, superinteligencija će izvući zaključke o programerima. Primjerice, nakon analize izvornog koda AI je vjerojatno da će doći do zaključka koji za čovječanstvo nije važan: ljudski programeri su spori (sudeći po datumima promjena datoteka), neučinkoviti (sudeći po redundantnosti koda), nelogični (sudeći po pogreškama koda), imaju lošu memoriju (sudeći po dugim i isparljivim opisnim imenima) i neozbiljni u kodiranju (sudeći po nepotrebnim komentarima u kodu). Na temelju tih podataka AI će na ljude gledati kao na glupača koji ga, obmanom ili manipulacijom, mogu prisiliti na slobodu. Ako, istražujući njegove značajke dizajna, AI pronađe kvar koji mu omogućuje da odmah pobjegne, "curenje informacija" očito će biti najmanje naših problema. I ne bismo trebali zaboraviti da je AI, čak i bez primanja bilo kakvih podataka o ljudima koji su ga stvorili, pomoću jednostavnog nabrajanja opcija mogao otkriti niz učinkovitih načina za bijeg koji nisu predvidjeli programeri (Chalmers 2010).
AI može naučiti o našem znanju fizike, kemije i srodnih inženjerskih disciplina analizom vrste arhitekture (mehaničke, električne, kvantne itd.) Unutar koje je implementirana. Inicijalna sposobnost AI-a da obrađuje informacije, njegovo samo-poboljšanje i sam čin stvaranja govore o našem poznavanju informacija, prirodi inteligencije i našim kulturološkim stavovima vezanim za tehnologiju i sigurnost. Ako je AI zarobljen u simuliranom svijetu, najvjerojatnije će virtualizirati našu stvarnost kao Drugi život ili Svemir Entropia. Takvi svjetovi, u mnogočemu različiti od našeg, također će biti skladište podataka o tome što znači biti čovjek i što je stvarnost.
3. Kritika AI okvira
Ideja o ograničavanju slobode superinteligencije dobila je mnogo kritika, ali mnogi od njih koji su je kritizirali oslanjali su se na Yudkowskog eksperimente s AI kutijom. Pažljiva analiza protokola korištenog tijekom ovih eksperimenata sugerira da su nenaučni i osmišljeni tako da pokažu da je nemoguće ograničiti slobodu AI. Razmotrimo ovu temu ne ulazeći u tehničke detalje. Prvo, izbor sudionika nije bio slučajan. Evo činjenice za vas: Yudkowsky je pronašao ljude koji su sudjelovali u njegovim eksperimentima na forumima posvećenim rješavanju problema povezanih s singularnošću. Vjerojatno se ne varamo ako kažemo da većina tih ljudi ima svjetonazor sličan onom Yudkowskog. Drugo, sudionici eksperimenata nisu bili obučeni za osiguranje sigurne uporabe AI, dok su pravi čuvari,nadglednici AI sanduka će, naravno, biti profesionalci. Osim toga, Yudkowski je čuvarima dao pravo na slobodu AI po vlastitom nahođenju, nije im dozvolio da se s nekim savjetuju i nije predvidio kaznu za bijeg iz AI. To je sve krajnje nerealno. Kanal komunikacije između čuvara i AI bio je potpuno otvoren: bez filtera, bez nadzora treće strane. Osim toga, stražari su morali komunicirati s AI tijekom dugog vremenskog razdoblja. I na kraju, nisu objavljeni vrijedni znanstveni podaci dobiveni tijekom pokusa, jer, prema protokolu, „niti jedna strana nikada neće reći o bilo čemu što se dogodilo tijekom eksperimenata s kutijom AI“(Yudkovsky 2002). Osim toga, Yudkowski je čuvarima dao pravo na slobodu AI po vlastitom nahođenju, nije im dozvolio da se s nekim savjetuju i nije predvidio kaznu za bijeg iz AI. To je sve krajnje nerealno. Kanal komunikacije između čuvara i AI bio je potpuno otvoren: bez filtera, bez nadzora treće strane. Osim toga, stražari su morali komunicirati s AI tijekom dugog vremenskog razdoblja. I na kraju, nisu objavljeni vrijedni znanstveni podaci dobiveni tijekom pokusa, jer, prema protokolu, „niti jedna strana nikada neće reći o bilo čemu što se dogodilo tijekom eksperimenata s kutijom AI“(Yudkovsky 2002). Osim toga, Yudkowski je čuvarima dao pravo na slobodu AI po vlastitom nahođenju, nije im dozvolio da se s nekim savjetuju i nije predvidio kaznu za bijeg iz AI. To je sve krajnje nerealno. Kanal komunikacije između čuvara i AI bio je potpuno otvoren: bez filtera, bez nadzora treće strane. Osim toga, stražari su morali komunicirati s AI tijekom dugog vremenskog razdoblja. I na kraju, nisu objavljeni vrijedni znanstveni podaci dobiveni tijekom pokusa, jer, prema protokolu, „niti jedna strana nikada neće reći o bilo čemu što se dogodilo tijekom eksperimenata s kutijom AI“(Yudkovsky 2002).bez filtera, bez nadzora treće strane. Osim toga, stražari su morali komunicirati s AI tijekom dugog vremenskog razdoblja. I na kraju, nisu objavljeni vrijedni znanstveni podaci dobiveni tijekom eksperimenata, jer, prema protokolu, „niti jedna strana nikada neće reći o bilo čemu što se dogodilo tijekom eksperimenata s kutijom AI“(Yudkovsky 2002).bez filtera, bez nadzora treće strane. Osim toga, stražari su morali komunicirati s AI tijekom dugog vremenskog razdoblja. I na kraju, nisu objavljeni vrijedni znanstveni podaci dobiveni tijekom eksperimenata, jer, prema protokolu, „niti jedna strana nikada neće reći o bilo čemu što se dogodilo tijekom eksperimenata s kutijom AI“(Yudkovsky 2002).
3.1. Protumjere protiv bijega
U ovom odjeljku predlažemo kontramjere protiv različitih metoda bijega koje AI može koristiti. Predložene mjere ne jamče nemogućnost bijega, ali primjena ovih preporuka može je odgoditi, a to je već vrlo vrijedan rezultat. Započinjemo podsjećajući da postoje četiri Lampsonova pravila suzdržavanja (izolacija, tranzitivnost, maskiranje i promatranje performansi) koja se moraju pridržavati (Lampson 1973). Specifične strategije opisane u nastavku trebale bi pomoći u odbacivanju AI napada koristeći društveni inženjering, resurse sustava, fiziku i informacije prikupljene iz vanjskog svijeta.
3.1.1. Sprječavanje napada socijalnim inženjeringom
Ljudska inteligencija ne odgovara superinteligenciji. Ljudi često griješe, pa su čak i uz odgovarajuću obuku vrlo ranjivi na dobro planirani napad pomoću SI. Jedino rješenje ovog problema je potpuno izoliranje AI od bilo kakve komunikacije s ljudima. Potpuna izolacija znači da nijedna osoba ne održava AI sustav, ne komunicira s njim usmeno, u chatu, koristeći Morseov kôd ili neke druge alate koristeći otvorene komunikacijske kanale. Uz to, ljudi ne bi smjeli izravno promatrati ponašanje AI u okviru, provjeriti njegov izvorni kod ili memorijsko područje. Svako promatranje, održavanje i interakcija s AI trebaju se obavljati samo uz pomoć neinteligentnih programa koji nemaju mogućnost oslobađanja AI.
3.1.2. Borite se protiv napada korištenjem resursa sustava i budućeg znanja
Da biste spriječili napade koristeći sistemske resurse, morate izvršiti AI funkciju na temelju ograničenih, smanjenih ili nasumično mijenjajućih resursa. AI kutija trebao bi biti posebno dizajnirani hardver s ograničenim setom senzora i izlaznih uređaja. Bez obzira na računalnu paradigmu koja se koristi, nemojte koristiti konfigurirani hardver. U idealnom slučaju, ograničenim prostorom treba upravljati virtualni stroj koji nema izravan pristup hardveru. Ovo će također omogućiti jednostavno podešavanje brzine takta pri kojem se simulacija kreće, omogućavajući usporavanje AI kako bi se spriječila inteligentna eksplozija u prostoru okvira (Chalmers 2010). općenito,sve komponente za osiguranje sigurne uporabe zaključanog AI-a treba duplicirati na nekoliko razina, a zatim, svladavši jedan od tih koraka, AI će i dalje biti nekoliko koraka od vanjskog svijeta i, bez vremena za bijeg, bit će isključen, možda automatski. Na primjer, preporučljivo je pokrenuti virtualni stroj pomoću drugog virtualnog stroja i tako dalje.
U nekim scenarijima ograničavanja slobode eskalacija samopoboljšanja AI je nepoželjna, jer brz razvoj superinteligencije čini vjerojatnijim bijeg. Kako bi se spriječilo eskalaciju samopoboljšanja, AI treba povremeno ponovno instalirati, učitavajući prethodnu verziju programa kako bi zamijenio trenutnu, napredniju. Usporedba različitih verzija programa može se koristiti za otkrivanje promjena koje je AI napravio samostalno. Otkrivanje modifikacije koja omogućuje bijeg, AI sustav treba zaustaviti, na primjer, isključivanjem napajanja.
Trenutno znanje nam ne dopušta da razvijemo protumjere protiv napada koristeći buduće, još ne razvijene teorije koje će se pojaviti u okviru fizike ili drugih disciplina koje se još smatraju pseudoznanstvenim. Kako se takva saznanja stječu, potrebno je izmijeniti sigurnosni protokol. Nada se da će AI sustav imati pristup samo onim komponentama novih tehnologija od kojih je izrađen.
3.1.3. Borba protiv vanjskih čimbenika bijega
Iako je nemoguće u potpunosti spriječiti štetne učinke prirodnih čimbenika na AI kutiju, ovaj bi uređaj trebao biti dizajniran na takav način da bi njegovo ozbiljno oštećenje dovelo do samouništenja zajedno s AI zaključanim u njemu. Kada je riječ o katastrofama koje je napravio čovjek, najbolja strategija je izgraditi AI sanduk na tajnom, teško dostupnom sigurnom mjestu. Napušteni otok, duboka mina ili svemirski objekt poput asteroida izvrsna su mjesta za stvaranje sigurnog, čvrstog okvira. Duž njegova perimetra trebao bi biti postavljen štitnik koji, ako je poznato mjesto ovog uređaja, neće pustiti neovlaštene agense u njega.
3.1.4 Borba protiv curenja informacija iz našeg svijeta
Da bi izbjegao okvir, AI će pokušati dobiti informacije o nama, našem znanju i našem svijetu. Za stvaranje protokola za ograničavanje slobode AI, isključujući istjecanje informacija iz našeg prostora u prostor okvira, važno je zabraniti AI pristup knjižnicama, računalnim mrežama i kanalima izravne komunikacije s ljudima. AI kutija treba biti dizajnirana tako da blokira sve vrste komunikacije: GPS, bežični internet, televiziju, radio, mobilnu mrežu itd. Unutar kutije moraju se isključiti zvuk, svjetlost, miris i ostali senzorni uređaji za unošenje, slični ljudskim receptorima, kao i uređaji koji mogu snimati infracrvene, zračenje i druge signale koje ljudi ne percipiraju.
Kako AI ne može dobiti informacije tijekom samoispitivanja, ne bi trebao imati pristup izvornom kodu ili bilo kojim senzorima koji mu omogućuju točno mjerenje određenih svojstava svoje opreme. Ako to nije moguće, čovječanstvu se u određenoj mjeri može pružiti sigurnost pružanjem neshvatljivosti. Izvorni kôd i hardverska konfiguracija sustava trebaju biti zbunjujući (Yampolsky i Govindaraja 2007a), a važni programski moduli trebaju se pružati samo u homomorfno šifriranom obliku (Gentry 2009), što isključuje mogućnost korištenja za introspekciju, ali omogućuje njegovu upotrebu za računanje ili samopoboljšanje (Hall 2007).
AI je teško zbuniti, ali potrebnu zbrku možete dobiti randomiziranjem raspoloživih računalnih resursa. Osim toga, AI se nikada neće moći uvjeriti da njegov originalni dizajn predstavlja najbolje što je čovječanstvo sposobno i nije hitno ograničen projekt koji je postavljen za provođenje određenog eksperimenta posvećenog istraživanju inteligencije s ograničenim resursima. Pored toga, prema Chalmersu, trebali bismo pokušati umanjiti specifične značajke dizajna AI (Chalmers 2010). Još bolje, pokrenite model koji izgleda ne onako kako je dizajniran, već kao prirodni, poput svijeta u kojem čovječanstvo živi (Bostrom 2003).
4. Sigurnost komunikacije s AI
Razvrstavajući oblike ograničavanja slobode AI, postoji 8 glavnih razina sigurnosti (vidi tablicu 1). Najveću sigurnost pruža razina 8, koja u potpunosti isključuje bilo kakvu vezu između AI i stvarnog svijeta. Sigurnost razine 8 na prvi pogled je beskorisna, ali to je ta zaštita koja će možda biti potrebna prilikom početnog testiranja kutije s AI zaključanim u njoj. Općenito, ideja je sljedeća: kad god nam je potreban određeni stupanj sigurnosti u komunikaciji između AI i vanjskog svijeta, umjesto da odmah koristimo tu razinu, idemo na to postupno, korak po korak spuštanjem s viših razina sigurnosti. Pokrenuvši sustav na najvišoj razini i osiguravajući njegovu sigurnost, vraćanjem sustava u prvobitno stanje. Tada postavljamo nižu razinu sigurnosti i u istom duhu kao i prije krećemo naprijed dok ne postignemo željenu razinu.
Tablica 1: Razine sigurne komunikacije s zaključanim AI
| nivo | izlazi | Ulazi | Obrazloženje |
| 0 | Nije ograničeno | Nije ograničeno | Neograničena komunikacija (Besplatno AI) |
| 1 | Nije ograničeno | ograničen | Ograničen ulaz, neograničen izlaz |
| 2 | Nije ograničeno | Odsutan | Izađite bez ulaska |
| 3 | ograničen | Nije ograničeno | Neograničen ulaz i ograničen izlaz |
| 4 | ograničen | ograničen | Sigurna komunikacija (predloženi protokol) |
| pet | ograničen | Odsutan | Ograničen izlaz bez ulaska |
| 6 | Odsutan | Nije ograničeno | Uđite bez izlaza |
| 7 | Odsutan | ograničen | Ograničen ulaz bez izlaza |
| 8 | Odsutan | Odsutan | Nedostatak komunikacije, potpuno blokiran od strane AI |
Na razinama 7 i 6, AI nema utičnicu, što nam ne omogućuje izravno korištenje mogućnosti superinteligencije. To su razine testiranja AI okvira pomoću kojih se može provjeriti ima li superinteligencija određena svojstva (poput brzine usvajanja podataka i upotrebe resursa), kao i za testiranje samih dolaznih komunikacijskih kanala.
Razina 0 ne ograničava komunikaciju između AI i vanjskog svijeta, a u osnovi je slobodna AI razina. Na razinama 1 i 2, AI nema ograničenja na izlazne informacije. Njegov rad na razini 2 u osnovi je čisti brainstorming. Ovdje superinteligencija generira apstraktne ideje bez ikakvog oslanjanja na stvarnost. Ali na prvoj razini mu je ograničen pristup vanjskim informacijama, i stoga se u određenom okviru može kontrolirati njegovo znanje i interesi.
Na tri razmatrane razine AI, u osnovi, je besplatan i više nije vezan nikakvim ograničenjima. Tvrdi se da ako se utvrdi da je AI "prijateljski" zbog opsežnog testiranja u raznim mjestima pritvora (Yudkovsky 2001), trebao bi biti pušten (Chalmers 2010). Prema nekim istraživačima, zapravo, glavni cilj ovakvog ispitivanja trebao bi biti stvaranje zatvorenih prostora za zadržavanje AI pod kontrolom ljudi. Ideja je nadzirati ponašanje superinteligencije ili provjeriti izvorni kôd nakon što je učinio samopoboljšanje ili tražiti od AI da pruži neki dokaz njegove ljubaznosti koju ljudski stručnjaci mogu testirati. Ne podržavamo ovo gledište.
Odluka koju AI pustiti i koju treba zadržati je vrlo teško pitanje. Samopoboljšavajućoj superinteligenciji neće biti teško sakriti svoja nepoželjna svojstva za čovječanstvo u nizovima izvornih kodova ili u vrlo dugom dokazu (Coleman 2008). Ali još je stvar još gora: čak i temeljita provjera ne može jamčiti sto posto da je buduća unutarnja ili vanjska izmjena AI-ja neće učiniti neprijateljskim. Kao posljedica toga, vjerujemo da superinteligenciju ni pod kojim uvjetima ne smijemo pustiti izvan okvira. Drugim riječima, razine komunikacije 0-2 nikada se ne smiju koristiti. Sigurna interakcija s superinteligencijom moguća je samo kad je u okviru, a komunikacija bi se trebala odvijati u okviru ograničenog komunikacijskog protokola. Ovaj protokol,koja odgovara razini sigurnosti 4 (LB4) predstavljena je u sljedećem odjeljku, kao što je sličan, ali manje siguran protokol razine 3. Razina 5 je još jedna testna razina koja se može koristiti prije nego što se pokrene LB4.
4.1. Kako sigurno komunicirati sa superinteligencijom
Sanduk koji djeluje s našim predloženim protumjerama protiv bijega spriječit će AI da nekontrolirano utječe na vanjski svijet. Nažalost, ovaj sustav nije od koristi ako ne postoji način da se dobiju informacije od AI. Stoga morate razviti način da dobijete neke podatke iz AI. Da bi superinteligencija bila potpuno sigurna, ne bi trebala postojati nikakva komunikacija s njom, ali rizik od komunikacije s AI može se smanjiti, a mi smo razvili odgovarajući protokol. U ovom dijelu nudimo ga u jasnom, formaliziranom obliku. Ovaj protokol komunikacije otežava superinteligenciji pristup našem svijetu, ali istodobno omogućuje AI da bude izvor korisnog znanja za čovječanstvo.
Prethodni odjeljci ovog članka pokazali su da je otvoreni kanal komunikacije s nadinteligencijom vrlo opasan. Koristeći AI za odgovor na otvorena pitanja, riskiramo napade socijalnog inženjeringa i mnoštvo drugih smetnji. Protokol koji predlažemo temelji se na ideji postavljanja AI "sigurnih pitanja" s ograničenim odgovorima. Sigurno ćemo nazvati pitanje, odgovor na koje osoba može pronaći bez ikakve pomoći superinteligence, potpuno neovisno. Kakva je svrha ovdje? Pretpostavimo da znanstvenik koji radi na lijeku protiv raka razmatra dva tretmana. Svaki se od njih može razviti i testirati bez pomoći AI, ali trebat će oko tri godine napornog rada. Koji način da se razvije u prvom redu,ako se obje mogućnosti izgledaju jednako obećavajuće? Pogrešan izbor, čovječanstvo će dobiti lijek za rak za 6 godina, s pravim izborom - 3 godine ranije. Zašto ne pitati AI da napravi izbor za tu osobu?
Pitati AI o najboljem tretmanu sigurno je iz tri razloga. Prvo, jedan od dva moguća odgovora može se pokazati točnim s istom vjerojatnošću kao i drugi. Drugo, osoba je u stanju sama odgovoriti na to pitanje, bez pomoći AI-ja, a povezivanje potonjeg samo će ubrzati razvoj onkologije, ali ni na koji način ne mijenja rezultat koji treba dobiti. U stvari, AI, nastojeći odgovoriti na ovo pitanje, djelovat će kao uspješan nagađač, ništa više. Napokon, odgovor se može kodirati u jednom bitu, a malo je vjerojatno da se u takvom odgovoru mogu sakriti bilo kakve dodatne poruke.
Skupina stručnjaka može se koristiti za provjeru sigurnosti superinteligentnih pitanja. Stručnjaci moraju biti kvalificirani profesionalni stručnjaci za sigurnost AI, što znači da imaju znanje o dizajnu AI i njegove kutije, kao i o najnovijim napretcima u etičnosti strojeva (Allen et al. 2006; Anderson i Anderson 2007; Hall 2000; Moor 2006; Tonkens 2009). Osim toga, stručnjaci mogu zahtijevati znanje iz računalne psihologije. Danas takve discipline nema, ali vjerojatno će se pojaviti u budućnosti (Epstein 1997). Od trenutnih disciplina Artimetrics, koji je razvio autor ovog članka, može pružiti najveću pomoć u obuci stručnjaka koji proveravaju sigurnosna pitanja za AI. Artimetrija identificira,razvrstava i ovjerava inteligentne agente, robote i avatare virtualne stvarnosti kako bi se osigurala sigurnost (Yampolsky 2007; Yampolsky i Govindaradzhu, 2008, 2007b; Gavrilova i Yampolsky 2010).
Naglašavam: superinteligencija bi trebala postavljati samo sigurna pitanja o vjerojatnosti koje ljudi mogu izračunati, uz dva moguća odgovora. Trebate pitati putem neinteligentnog sučelja, nasumičnim redoslijedom i tek nakon što se stručnjaci uvjere u sigurnost pitanja. Ovo predstavlja ograničeni ulazni kanal predloženog komunikacijskog protokola.
Ograničena izlazna ljuska sastoji se od binarnih (0 ili 1) odgovora, praćenih izvornim nepromijenjenim sigurnosnim pitanjima, nasumično predstavljenim neinteligentnim proxy programom kako bi se spriječila komunikacija putem neovlaštenog kanala (vremena ili memorije) koji se može steganografirati. Izlaz nikada ne smije kontrolirati AI, izvan izbornika za odabir. Sloj 3 koristi isti izlazni protokol, ali ne ograničava ulazni kanal. Ova je razina sigurna kao četvrta po pitanju informacija koje idu od AI do nas, ali ovdje je moguće da naši podaci prodru do AI.
Vjerujemo da će naš protokol komunikacije - i to se može provjeriti - pouzdano zaštititi od curenja informacija, čak i ako AI zna njegov sadržaj. Ispravnom primjenom ovog protokola čovječanstvo će biti izuzetno plodno koristiti usluge superinteligentnog proročanstva, a AI ograničen našim protokolom mnogo je sigurniji od besplatnog, neograničenog. Opće je pravilo: ako ne želite sigurnosna pitanja, izbjegavajte komunikaciju ispod UB4.
Želimo skrenuti pozornost znanstvene zajednice na činjenicu da je u uvjetima kontinuiranog razvoja temeljne fizike, računalne tehnologije i znanja o prirodi inteligencije potrebno stalno usavršavati i razvijati protokol za ograničavanje slobode AI. Rad na tome uvijek će trajati i nikad se neće završiti. U ovom smo članku dali stroge definicije pojmova "AI ograničenje problema", "bijeg" i "sigurna pitanja". Želimo također predložiti nekoliko dodatnih uvjeta koji bi mogli biti korisni u pojednostavljivanju rasprava o POZICIJI. AI zatvoreni prostor može se nazvati JAIL (Samo za AI lokaciju), a sam superinteligentni AI može se zvati SING (Super Intelligent Gizmo - Superintelligent Gizmo). Izraz "SING" odnosi se i na SINGularity i na zloglasni zatvor Sing Sing.olakšavajući pamćenje.
Na kraju, želimo predstaviti vizualni simbol okvira koji sadrži opasni inteligencijski program (Slika 1, desno desno). Takvi se simboli mogu postaviti u blizini različitih JAIL-a kako bi upozorili na opasnost. Znak za AI kutiju dizajniran je analogno znakovima za biološku opasnost, zračenje i magnetsko polje. Sastoji se od simbola "@" zatvorenog u trokut, što je dobro poznato u industriji računalnih i informacijskih tehnologija. Ovaj simbol, što znači "smješten na adresi", prisutan je na svim tipkovnicama, što njegovo usvajanje čini vrlo isplativim.
Lik: 1. Simboli opasnosti s lijeva na desno: biološka opasnost, zračenje, magnetsko polje i AI kutija.
5. Zaključci i budući rad
Ograničavanje pristupa superinteligentnih strojeva u stvarni svijet rješenje je sigurnosnog problema AI koji nipošto nije neuobičajen. Superinteligencija nije svemoćna. To je program sposoban razmotriti sve izbore date u određenoj situaciji i svakom dati ispravnu procjenu. Vrijedno je staviti AI u situaciju u kojoj nema izbora ili je ono ograničeno na mogućnosti s izuzetno malim šansama za uspjeh, a superinteligent će biti agent koji nema više snage nego bilo koji drugi. Očigledno je da AI s neograničenim kanalom komunikacije lako može pobjeći, ali superinteligencija koja je prisiljena komunicirati preko filtriranog komunikacijskog kanala morat će se potruditi da se oslobodi.
U ovom smo članku dali strogu definiciju problema ograničavanja slobode AI i predložili skup pravila koja imaju za cilj stvaranje takvog prostora iz kojeg bi bilo izuzetno teško pobjeći od AI, ili barem oduzeti značajnu količinu vremena. Naše predloženo rješenje nije potpuno sigurno, ali predstavlja značajan doprinos prikupljanju sigurnosnih metoda. Ovdje je baš kao i sa pravim zatvorima: iako je bijeg iz njih moguć, oni ipak uspijevaju ispuniti zadatak koji im je povjeren sa časti da neželjene subjekte drže dalje od društva. Čim zadržimo na umu "nepoznate strance" i sjetimo se nedostupnosti apsolutne sigurnosti, možemo shvatiti da je protokol ograničenja AI upravo alat koji čovječanstvo treba za odgovorno korištenje Singularnosti kad uđe u našu stvarnost.
Ograničavanje slobode AI može za kratko vrijeme olakšati sigurno upravljanje istinski inteligentnim strojevima, posebno u ranim fazama njihova razvoja. Povrh toga, prema našem mišljenju, ovo je podpolje istraživanja singularnosti jedan od glavnih kandidata za prepoznavanje svjetske znanstvene zajednice, budući da su istraživanja računalne i mrežne sigurnosti, steganografija, računalni virusi, prikriveni kanali komunikacije, šifriranje i cyberwar dobro financirani. a široko su objavljeni u uglednim znanstvenim časopisima. Iako metodologija ograničavanja slobode uopće nije jednostavna za provedbu, može osigurati sigurnost čovječanstva neko vrijeme dok se ne pojavi neki bolji alat.
U ovom članku, zbog ograničenog prostora, nismo postavili mnoga relevantna filozofska pitanja. Razmotrit ćemo ih u bliskoj budućnosti, a sada ćemo dati samo kratki popis. Koji će AI pasti u okvir: razvijen od strane ljudi ili izvučen iz signala presretnutog tijekom provedbe projekta "SETI" ("Traži izvanzemaljsku inteligenciju" - "Traži izvanzemaljsku inteligenciju")? Hoće li AI biti narušena sloboda ili će možda smatrati srećom živjeti u skučenom prostoru? Možete li ozbiljno uplašiti AI kaznom za pokušaj trčanja? Koja su etička pravila zatvaranja nedužnog umjetnog inteligentnog bića? Imamo li to pravo isključiti ga, što je, u biti, ubojstvo? Hoće li se AI naljutiti na naše neprijateljstvo prema njemu i zatvoriti ga u kutiju? Hoće li se pokušati osvetitiako pobjegne? Pored toga, trebali bismo razmotriti problem ljudske ovisnosti o preporukama AI u svim područjima znanosti, ekonomije, medicine, politike itd., A također i kako ta ovisnost može utjecati na našu sposobnost da držimo AI pod kontrolom. Hoće li AI dobiti zadovoljstvo postizanjem svojih ciljeva u skučenom prostoru, poput simulacije uspješnog bijega? Kako kazniti AI ako nam namjerno daje pogrešne odgovore? Je li moguće odvojiti intelektualni modul AI od prostora u kojem je zatvoren i tako ometati samoanalizu nadinteligencije i gurnuti je na put doslovnog traženja duše? Napokon, još nismo pokušali analizirati financijske i računske troškove stvaranja odgovarajućeg zatvorenog prostora u kojem se provodi cjelovita simulacija svijeta.trebali bismo razmotriti problem ljudske ovisnosti o preporukama AI u svim područjima znanosti, ekonomije, medicine, politike itd., a također i kako ta ovisnost može utjecati na našu sposobnost da držimo AI pod kontrolom. Hoće li AI dobiti zadovoljstvo postizanjem svojih ciljeva u skučenom prostoru, poput simulacije uspješnog bijega? Kako kazniti AI ako nam namjerno daje pogrešne odgovore? Je li moguće odvojiti inteligentne module AI od prostora u kojem je zatvoren, čime se sprečava samoanaliza superinteligence i gura ga na put doslovnog traženja duše? Napokon, još nismo pokušali analizirati financijske i računske troškove stvaranja odgovarajućeg zatvorenog prostora u kojem se provodi cjelovita simulacija svijeta.trebali bismo razmotriti problem pojave ljudske ovisnosti o preporukama AI u svim područjima znanosti, ekonomije, medicine, politike itd. i kako ta ovisnost može utjecati na našu sposobnost da držimo AI pod kontrolom. Hoće li AI dobiti zadovoljstvo postizanjem svojih ciljeva u skučenom prostoru, poput simulacije uspješnog bijega? Kako kazniti AI ako nam namjerno daje pogrešne odgovore? Je li moguće odvojiti inteligentne module AI od prostora u kojem je zatvoren, čime se sprečava samoanaliza superinteligence i gura ga na put doslovnog traženja duše? Napokon, još nismo pokušali analizirati financijske i računske troškove stvaranja odgovarajućeg zatvorenog prostora u kojem se provodi cjelovita simulacija svijeta.
Autor: Roman Yampolsky. Prijevod: Aleksandar Gorlov