Šta će se dogoditi ako mašine nadmaše ljude u inteligenciji? Hoće li nam pomoći ili uništiti ljudsku rasu? Možemo li danas zanemariti problem razvoja umjetne inteligencije i osjećati se potpuno sigurno?
Nick Bostrom u svojoj knjizi pokušava razumjeti problem s kojim se čovječanstvo suočava u vezi sa izgledom za pojavu superinteligencije i analizirati njen odgovor.
karakteristike knjige
Datum pisanja: 2014
Naziv: . Faze. Pretnje. Strategije
Obim: 760 strana, 69 ilustracija
ISBN: 978-5-00057-810-0
Prevodilac: Sergej Filin
Nosilac autorskih prava: Mann, Ivanov i Ferber
Predgovor knjizi "Umjetna inteligencija"
Autor smatra da je smrtna prijetnja povezana s mogućnošću stvaranja umjetne inteligencije koja nadmašuje ljudski um. Katastrofa može izbiti i na kraju 21. vijeka i u narednim decenijama. Čitava istorija čovječanstva pokazuje: kada dođe do sudara između predstavnika naše vrste, razumne osobe i bilo kojeg drugog stanovnika naše planete, pobjeđuje onaj koji je pametniji. Do sada smo bili najpametniji, ali nemamo garancije da će ovo trajati vječno.
Nick Bostrom piše da ako algoritmi pametnih kompjutera nauče sami da prave još pametnije algoritme, a oni zauzvrat još pametnije, doći će do eksplozivnog rasta veštačke inteligencije, u poređenju sa kojom će ljudi pored ljudi izgledati nešto poput mrava. sada, u intelektualnom smislu, naravno. U svijetu će se pojaviti nova, doduše umjetna, ali superinteligentna vrsta. Nije bitno šta mu „padne na pamet”, pokušaj da se svi ljudi usreće ili odluka da se na najefikasniji način zaustavi antropogeno zagađenje svetskih okeana, odnosno uništavanjem čovečanstva ljudi ipak neće biti u stanju da mu se odupre. Nema šanse za sukob u stilu filma Terminator, nema pucnjave sa gvozdenim kiborzima. Čekaju nas mat i mat - kao u duelu šahovskog kompjutera Deep Blue i učenika prvog razreda.
U proteklih sto-dvije godine dostignuća nauke u nekima su budila nadu u rješavanje svih problema čovječanstva, dok su u drugima izazivala i izazivaju neobuzdani strah. Istovremeno, mora se reći da se oba gledišta čine sasvim opravdanima. Zahvaljujući nauci, strašne bolesti su pobijeđene, čovječanstvo danas može prehraniti neviđeni broj ljudi, a sa jedne tačke zemaljske kugle možete doći do suprotnog za manje od jednog dana. Međutim, milošću iste nauke, ljudi, koristeći najnoviju vojnu tehnologiju, uništavaju jedni druge monstruoznom brzinom i efikasnošću.
Sličan trend – kada brzi razvoj tehnologije ne samo da dovodi do stvaranja novih mogućnosti, već stvara i prijetnje bez presedana – primjećujemo iu oblasti informacione sigurnosti. Čitava naša industrija nastala je i postoji samo zato što je stvaranje i masovna distribucija tako divnih stvari kao što su kompjuteri i internet stvorili probleme koji bi bili nezamislivi u eri prije kompjutera. Kao rezultat pojave informacijske tehnologije, došlo je do revolucije u ljudskim komunikacijama. Uključujući da su ga koristile razne vrste sajber kriminalaca. I tek sada čovečanstvo postepeno počinje da shvata nove rizike: sve više objekata fizičkog sveta kontrolišu kompjuteri i softver, često nesavršeni, puni rupa i ranjivi; sve veći broj takvih objekata je povezan na internet, a prijetnje sajber svijetu brzo postaju fizička sigurnost i potencijalno pitanje života i smrti.
Zato se knjiga Nicka Bostroma čini tako zanimljivom. Prvi korak za sprečavanje košmarnih scenarija (za jednu kompjutersku mrežu ili za cijelo čovječanstvo) je razumjeti od čega se oni mogu sastojati. Bostrom pravi mnogo rezervi da je stvaranje veštačke inteligencije koja je uporediva sa ili superiornija od ljudskog uma - veštačke inteligencije sposobne da uništi čovečanstvo - samo je verovatan scenario koji se možda neće ostvariti. Naravno, postoji mnogo opcija, a razvoj kompjuterske tehnologije možda neće uništiti čovječanstvo, ali će nam dati odgovor na "glavno pitanje života, svemira i svega ostalog" (možda će to zaista biti broj 42, kao u romanu "Autostoperski vodič kroz galaksiju"). Nade ima, ali opasnost je veoma ozbiljna, upozorava Bostrom. Po mom mišljenju, ako postoji mogućnost takve egzistencijalne prijetnje čovječanstvu, onda se prema njoj mora postupati u skladu s tim, a da bi se spriječilo i zaštitilo od nje, zajedničkim snagama treba raditi na globalnom nivou.
Uvod
Unutar naše lubanje nalazi se određena tvar zahvaljujući kojoj možemo, na primjer, čitati. Ova supstanca - ljudski mozak - je obdarena sposobnostima koje nedostaju kod drugih sisara. Zapravo, ljudi duguju svoju dominantnu poziciju na planeti upravo ovim karakterističnim osobinama. Neke životinje odlikuju se najmoćnijim mišićima i najoštrijim očnjacima, ali ni jedno živo biće, osim čovjeka, nije obdareno tako savršenim umom. Zahvaljujući višem intelektualnom nivou, uspjeli smo stvoriti alate kao što su jezik, tehnologija i složena društvena organizacija. Vremenom je naša prednost samo jačala i širila se, kako je svaka nova generacija, oslanjajući se na dostignuća svojih prethodnika, išla napred.
Ako se ikada razvije umjetna inteligencija koja prevazilazi opći nivo razvoja ljudskog uma, tada će se u svijetu pojaviti super-moćna inteligencija. I tada će sudbina naše vrste direktno zavisiti od delovanja ovih inteligentnih tehničkih sistema – baš kao što sadašnju sudbinu gorila u velikoj meri ne određuju sami primati, već ljudske namjere.
Međutim, čovječanstvo zaista ima neospornu prednost, jer stvara inteligentne tehničke sisteme. U principu, ko nas sprečava da smislimo takvu superinteligenciju koja će pod svoju zaštitu uzeti univerzalne ljudske vrednosti? Naravno, imamo jako dobre razloge da se zaštitimo. U praktičnom smislu, moraćemo da se pozabavimo najtežim pitanjem kontrole – kako kontrolisati planove i akcije superuma. I ljudi će moći iskoristiti jednu šansu. Čim se rodi neprijateljska umjetna inteligencija (AI), ona odmah počinje ometati naše napore da je se riješimo ili barem ispravimo njene postavke. I tada će sudbina čovečanstva biti zapečaćena.
U svojoj knjizi pokušavam da shvatim problem sa kojim se ljudi suočavaju u vezi sa perspektivom superinteligencije i analiziram njihov odgovor. Očekuje nas možda najozbiljniji i najstrašniji plan koji je čovječanstvo ikada primilo. I bez obzira da li pobijedimo ili izgubimo, moguće je da će nam ovaj izazov biti posljednji. Ne dajem ovdje nikakve argumente u prilog ove ili one verzije: jesmo li na ivici velikog iskora u stvaranju vještačke inteligencije; da li je moguće sa određenom tačnošću predvideti kada će se desiti određeni revolucionarni događaj. Najverovatnije u ovom veku. Malo je vjerovatno da će neko navesti neki konkretniji datum.
Umjetna inteligencija. Faze. Pretnje. Strategija - Nick Bostrom (preuzimanje)
(uvodni fragment knjige)
Šta će se dogoditi ako mašine nadmaše ljude u inteligenciji? Hoće li nam pomoći ili uništiti ljudsku rasu? Možemo li danas zanemariti problem razvoja umjetne inteligencije i osjećati se potpuno sigurno? Nick Bostrom u svojoj knjizi pokušava razumjeti problem s kojim se čovječanstvo suočava u vezi sa izgledom za pojavu superinteligencije i analizirati njen odgovor. Prvi put objavljeno na ruskom jeziku.
* * *
Sljedeći odlomak iz knjige Umjetna inteligencija. Faze. Pretnje. Strategije (Nick Bostrom, 2014.) obezbedio naš partner za knjige - kompanija LitRes.
Poglavlje drugo
Put do superinteligencije
Danas, ako uzmemo u obzir nivo opšteg intelektualnog razvoja, mašine su apsolutno inferiorne u odnosu na ljude. Ali jednog dana - pretpostavljamo - um mašine će nadmašiti um čoveka. Kakav će biti naš put od sada do onoga koji nas čeka? Ovo poglavlje opisuje nekoliko mogućih tehnoloških opcija. Prvo ćemo pokriti teme kao što su umjetna inteligencija, potpuna emulacija mozga, ljudsko kognitivno poboljšanje, sučelje mozak-računalo, mreže i organizacije. Zatim ćemo procijeniti navedene aspekte sa stanovišta vjerovatnoće, da li oni mogu poslužiti kao stepenice uspona do superinteligencije. Sa više puteva, šansa da ikada stignete do odredišta je jasno povećana.
Hajde da prvo definišemo pojam superinteligencije. Ovo svaka inteligencija koja značajno nadmašuje kognitivne sposobnosti osobe u praktično bilo kojoj oblasti(87) . U sljedećem poglavlju ćemo detaljnije razgovarati o tome šta je superinteligencija, razložiti je na njene komponente i razlikovati sve moguće inkarnacije. Ali sada se ograničimo na takvu opštu i površnu karakterizaciju. Primijetite da u ovom opisu nije bilo mjesta ni za implementaciju superuma u život, niti za njegovu qualia, odnosno da li će biti obdaren subjektivnim iskustvima i iskustvom svijesti. Ali u određenom smislu, posebno etičkom, pitanje je veoma važno. Međutim, sada, ostavljajući po strani intelektualnu metafiziku (88), obratićemo pažnju na dva pitanja: preduvjete za nastanak superuma i posljedice ovog fenomena.
Prema našoj definiciji, šahovski program Deep Fritz nije superinteligentan, jer je "jak" samo u veoma uskom području - igranju šaha - području. Ipak, veoma je važno da superinteligencija ima svoje predmetne specijalizacije. Stoga, svaki put kada je u pitanju jedno ili drugo superintelektualno ponašanje ograničeno predmetnom oblasti, posebno ću odrediti njegovo specifično polje djelovanja. Na primjer, umjetna inteligencija, koja značajno nadmašuje ljudske mentalne sposobnosti u oblastima programiranja i dizajna, nazvat će se inženjerskom superinteligencijom. Ali da se osvrnemo na sisteme, općenito prevazilaženje opšteg nivoa ljudske inteligencije - osim ako nije drugačije naznačeno - termin ostaje nadum.
Kako ćemo doći do vremena kada će se moći pojaviti? Koji put ćemo izabrati? Pogledajmo neke moguće opcije.
Umjetna inteligencija
Dragi čitatelju, ne očekujte da će ovo poglavlje konceptualizirati pitanje kako stvoriti univerzalnu ili snažnu umjetnu inteligenciju. Projekat za njegovo programiranje jednostavno ne postoji. Ali čak i da sam sretan vlasnik takvog plana, sigurno ga ne bih objavio u svojoj knjizi. (Ako razlozi za to još nisu očigledni, nadam se da ću u narednim poglavljima moći nedvosmisleno razjasniti svoj stav.)
Međutim, već danas je moguće prepoznati neke obavezne karakteristike koje su svojstvene ovakvom inteligentnom sistemu. Sasvim je očigledno da sposobnost učenja kao integralno svojstvo jezgra sistema treba da bude uključena u dizajn, a ne da se dodaje kao zakasnelo razmatranje kasnije u obliku proširenja. Isto važi i za sposobnost efikasnog suočavanja sa nesigurnim i vjerovatnostim informacijama. Najvjerovatnije bi među glavnim modulima moderne umjetne inteligencije trebala biti sredstva za izdvajanje korisnih informacija iz podataka s vanjskih i internih senzora i pretvaranje rezultirajućih koncepata u fleksibilne kombinatorne reprezentacije za dalju upotrebu u misaonim procesima zasnovanim na logici i intuiciji.
Prvi sistemi klasične veštačke inteligencije nisu prvenstveno bili usmereni na učenje, rad u uslovima neizvesnosti i formiranje pojmova, verovatno zbog činjenice da u to vreme odgovarajuće metode analize nisu bile dovoljno razvijene. To ne znači da su sve osnovne ideje AI u osnovi inovativne. Na primjer, ideju da se učenje koristi kao sredstvo za razvoj jednostavnog sistema i njegovo dovođenje na ljudski nivo izrazio je Alan Turing 1950. godine u članku "Računarska nauka i inteligencija", gdje je iznio svoj koncept "djeteta mašina":
Zašto ne pokušamo da napravimo program koji imitira um odrasle osobe, umesto da pokušamo da napravimo program koji imitira um deteta? Uostalom, ako um djeteta dobije odgovarajuće obrazovanje, on postaje um odrasle osobe (89) .
Turing je predvidio da bi stvaranje "dječije mašine" zahtijevalo iterativni proces:
Malo je vjerovatno da ćemo iz prvog pokušaja uspjeti dobiti dobar "dječiji automobil". Neophodno je provesti eksperiment na podučavanju bilo koje mašine ove vrste i otkriti kako je ona podložna učenju. Zatim izvršite isti eksperiment sa drugom mašinom i odredite koja je od dve mašine bolja. Postoji očigledna veza između ovog procesa i evolucije u živoj prirodi...
Ipak, može se nadati da će se ovaj proces odvijati brže od evolucije. Opstanak najsposobnijih je suviše spor način za procjenu koristi. Eksperimentator, primjenom moći intelekta, može ubrzati proces evaluacije. Jednako važno, nije ograničeno na korištenje samo slučajnih mutacija. Ako eksperimentator može ući u trag uzroku nekog nedostatka, vjerovatno će biti u stanju izmisliti vrstu mutacije koja će dovesti do potrebnog poboljšanja (90).
Znamo da slijepi evolucijski procesi mogu dovesti do pojave opšte inteligencije na ljudskom nivou - barem jednom kada se to već dogodilo. Zbog predviđanja evolucijskih procesa – odnosno genetskog programiranja, kada algoritme razvija i kontroliše inteligentni ljudski programer – trebali bismo dobiti slične rezultate s mnogo većom efikasnošću. Na ovu pretpostavku se oslanjaju mnogi naučnici, uključujući filozofa Davida Chalmersa i istraživača Hansa Moraveca (91), koji tvrde da je IICHI ne samo teoretski moguć, već i praktično izvodljiv već u 21. vijeku. Prema njima, u pitanju stvaranja inteligencije, procjenom relativnih mogućnosti evolucije i ljudskog inženjeringa, otkrit ćemo da potonji u mnogim oblastima umnogome nadmašuje evoluciju i, najvjerovatnije, uskoro će je prestići u ostalim. Dakle, ako je prirodna inteligencija ikada nastala kao rezultat evolucijskih procesa, onda slijedi da nas ljudski dizajni u području dizajna i razvoja uskoro mogu dovesti do umjetne inteligencije. Na primjer, Moravec je još 1976. napisao:
Postojanje nekoliko primjera inteligencije koji su se pojavili pod ovakvim ograničenjima trebalo bi nam dati povjerenje da ćemo to moći postići vrlo brzo. Situacija je analogna istoriji stvaranja mašina koje mogu da lete, iako su teže od vazduha: ptice, slepi miševi i insekti su tu sposobnost jasno pokazali mnogo pre nego što je čovek napravio leteće mašine (92).
Međutim, treba biti oprezniji sa zaključcima zasnovanim na takvom lancu rasuđivanja. Naravno, nema sumnje da je let neljudskih živih bića, koja su teža od zraka, postao moguć kao rezultat evolucije mnogo ranije nego što su ljudi u tome uspjeli - međutim, uspjeli su uz pomoć mehanizama. U prilog tome mogu se prisjetiti i drugi primjeri: sonarni sistemi; magnetometrijski navigacijski sustavi; hemijska sredstva ratovanja; fotosenzori i drugi uređaji mehaničkih i kinetičkih karakteristika. Međutim, sa istim uspjehom navešćemo područja u kojima je djelotvornost ljudskih napora još uvijek veoma daleko od djelotvornosti evolucijskih procesa: morfogeneza; mehanizmi samoizlječenja; imunološka zaštita. Dakle, Moravecov argument ne "nam uliva povjerenje" da će IIHR biti stvoren "vrlo brzo". U najboljem slučaju, evolucija inteligentnog života na Zemlji može poslužiti kao gornja granica za poteškoće stvaranja inteligencije. Ali ovaj nivo je još uvijek izvan dosega trenutnih tehnoloških mogućnosti čovječanstva.
Još jedan argument u prilog razvoju umjetne inteligencije prema modelu evolucijskog procesa je sposobnost pokretanja genetskih algoritama na prilično moćnim procesorima i, kao rezultat, postizanje rezultata srazmjernih onima dobivenim tijekom biološke evolucije. Dakle, ova verzija argumenta predlaže poboljšanje AI putem određene metode.
Koliko je tačna tvrdnja da ćemo vrlo brzo imati na raspolaganju dovoljno računarskih resursa da reproduciramo odgovarajuće evolucione procese, kao rezultat kojih je formiran ljudski intelekt? Odgovor zavisi od sledećih uslova: prvo, da li će doći do značajnog napretka u kompjuterskoj tehnologiji u narednim decenijama; drugo, koja će računska snaga biti potrebna da bi mehanizmi pokretanja genetskih algoritama bili slični prirodnoj selekciji koja je dovela do pojave čovjeka. Mora se reći da su zaključci do kojih dolazimo u lancu našeg rasuđivanja krajnje nesigurni; ali, uprkos ovoj obeshrabrujućoj činjenici, i dalje se čini prikladnim pokušati dati barem grubu procjenu ove verzije (vidi okvir 3). U nedostatku drugih mogućnosti, čak i približni proračuni će skrenuti pažnju na neke neobične nepoznate veličine.
Suština je da je računska snaga potrebna samo za reprodukciju neophodnih evolucijskih procesa koji su doveli do pojave ljudske inteligencije praktički nedostižna i da će tako ostati još dugo vremena, čak i ako Mooreov zakon vrijedi još jedno stoljeće (vidi sliku 3 ispod ). Međutim, postoji sasvim prihvatljiv izlaz: imaćemo veoma veliki uticaj na efikasnost kada, umesto direktnog ponavljanja prirodnih evolucionih procesa, razvijemo pretraživač fokusiran na stvaranje inteligencije, koristeći niz očiglednih prednosti u odnosu na prirodna selekcija. Naravno, sada je veoma teško kvantificirati rezultirajući dobitak u efikasnosti. Ne znamo ni o kakvim redovima veličine je riječ – o pet ili dvadeset pet. Stoga, ako argument evolucijskog modela nije pravilno razvijen, nećemo moći ispuniti svoja očekivanja i nikada nećemo znati koliko su teški putevi do umjetne inteligencije na ljudskom nivou i koliko dugo moramo čekati na njenu pojavu.
Okvir 3. Procjena napora evolucijske replikacije
Nisu sva dostignuća antropogeneze vezana za ljudski um od vrijednosti za moderne stručnjake koji rade na problemu evolucijskog razvoja umjetne inteligencije. Samo mali dio onoga što se dogodilo kao rezultat prirodne selekcije na Zemlji ide u akciju. Na primjer, problemi koje ljudi ne mogu zanemariti rezultat su samo manjih evolucijskih napora. Konkretno, pošto možemo da napajamo naše kompjutere električnom energijom, ne moramo ponovo da izmišljamo molekule sistema za ekonomičnost ćelijske energije da bismo stvorili inteligentne mašine - a molekularna evolucija metaboličkog mehanizma je možda zahtevala značajan deo ukupne potrošnje moći prirodne selekcije, koja je bila na raspolaganju evoluciji kroz istoriju Zemlje(93) .
Postoji koncept da je ključ za stvaranje veštačke inteligencije struktura nervnog sistema, koja se pojavila pre manje od milijardu godina (94). Ako prihvatimo ovu poziciju, broj "eksperimenata" potrebnih za evoluciju bit će znatno smanjen. Danas na svijetu postoji otprilike (4-6) × 1030 prokariota, ali samo 1019 insekata i manje od 1010 predstavnika ljudske rase (usput rečeno, populacija uoči neolitske revolucije bila je za redove veličine manja) (95) . Slažem se, ove brojke nisu toliko zastrašujuće.
Međutim, evolucijski algoritmi zahtijevaju ne samo razne opcije, već i procjenu pogodnosti svake od opcija – obično najskuplju komponentu u smislu računskih resursa. U slučaju evolucije umjetne inteligencije, za procjenu kondicije, čini se da je potrebno modeliranje neuronskog razvoja, kao i sposobnosti učenja i kognicije. Stoga je bolje ne gledati ukupan broj organizama sa složenim nervnim sistemom, već procijeniti broj neurona u biološkim organizmima koje ćemo možda trebati modelirati da bismo izračunali ciljnu funkciju evolucije. Gruba procjena može se napraviti posmatranjem insekata, koji dominiraju kopnenom biomasom (samo mravi čine 15-20%)(96) . Volumen mozga insekata ovisi o mnogim faktorima. Što je veći i društveniji (to jest, vodi društveni život) insekt, veći je njegov mozak; na primjer, pčela ima nešto manje od 106 neurona, voćna mušica ima 105 neurona, mrav sa svojih 250.000 neurona je između njih (97). Mozak većine manjih insekata sadrži samo nekoliko hiljada neurona. Predlažem s krajnjim oprezom da se zadržimo na prosječnoj vrijednosti (105) i izjednačimo sve insekte (kojih u svijetu ukupno ima 1019) sa Drosophilama, tada će ukupan broj njihovih neurona biti 1024. Dodajmo još jedan red veličine zbog rakova, ptica, gmizavaca, sisara itd. - i dobijete 1025. (Uporedite ovo sa činjenicom da je prije pojave poljoprivrede na planeti bilo manje od 107 ljudi, a svaki je imao oko 1011 neurona - tj. ukupno, zbir svih neurona bio je manji od 1018, iako je ljudski mozak sadržavao – i sadrži – mnogo više sinapsi.)
Računski trošak modeliranja jednog neurona zavisi od potrebnog stepena detaljnosti modela. Izuzetno jednostavan model neurona u realnom vremenu zahtijeva približno 1000 operacija s plutajućim zarezom u sekundi (FLOPS). Električni i fiziološki realističan Hodgkin-Huxley model zahtijeva 1.200.000 FLOPS-a. Složeniji višekomponentni model neurona bi dodao dva do tri reda veličine, a model višeg nivoa koji radi na sistemima neurona zahtijeva dva do tri reda veličine manje operacija po neuronu nego jednostavni modeli(98) . Ako trebamo simulirati 1025 neurona tokom milijardu godina evolucije (to je više od životnog vijeka neuronskih sistema u njihovom trenutnom obliku) i pustimo kompjutere da rade na ovom zadatku godinu dana, onda njihovi zahtjevi za računskom snagom padaju u raspon od 1031 -1044 FLOPS . Poređenja radi, najmoćniji kompjuter na svijetu, kineski Tianhe-2 (od septembra 2013.) može postići samo 3,39 × 1016 FLOPS-a. Poslednjih decenija, konvencionalni računari su povećali svoje performanse za red veličine otprilike svakih 6,7 godina. Čak i ako računarska snaga bude rasla prema Mooreovom zakonu čitav vek, to neće biti dovoljno da se premosti postojeći jaz. Korištenje specijalizovanijih računarskih sistema ili povećanje vremena računanja može smanjiti zahtjeve za energijom za samo nekoliko redova veličine.
Vjerovatno je da će eliminacija ove vrste neefikasnosti uštedjeti nekoliko redova veličine potrebne snage u 1031-1044 FLOPS, ranije izračunato. Nažalost, teško je reći koliko tačno. Teško je dati čak i grubu procjenu - može se samo nagađati da li će to biti pet redova veličine, deset ili dvadeset i pet (101) .
Rice. 3. Performanse računara za teške uslove rada. U pravom smislu riječi, ono što se naziva "Mooreov zakon" je zapažanje da se broj tranzistora postavljenih na čip integriranog kola udvostručuje otprilike svake dvije godine. Međutim, zakon je često generalizovan, s obzirom na to da i drugi pokazatelji rada računara eksponencijalno rastu. Naš grafikon pokazuje vršnu brzinu najmoćnijih kompjutera na svijetu tokom vremena (na logaritamskoj vertikalnoj skali). Poslednjih godina brzina sekvencijalnog računarstva je prestala da raste, ali zbog širenja paralelnog računarstva, ukupan broj operacija nastavlja da raste istim tempom (102) .
Postoji još jedna komplikacija povezana s evolucijskim faktorima koji se iznose kao posljednji argument. Problem je u tome što nismo u mogućnosti da izračunamo - čak i vrlo grubo - gornju granicu za poteškoću dobijanja inteligencije na evolutivni način. Da, inteligentni život se nekada pojavio na Zemlji, ali iz te činjenice ne proizlazi da procesi evolucije sa visokim stepenom vjerovatnoće dovode do pojave inteligencije. Takav zaključak bi bio u osnovi pogrešan, jer ne uzima u obzir takozvani efekat opservacijske selekcije, koji podrazumijeva da se svi posmatrači nalaze na planeti na kojoj je nastao inteligentni život, bez obzira koliko je vjerojatan ili nevjerovatan takav događaj na bilo kojem drugom. planeta. Pretpostavimo da je za nastanak inteligentnog života, pored sistematskih grešaka prirodne selekcije, ogromna količina srećne utakmice- toliko veliki da se inteligentni život pojavio na samo jednoj od 1030 planeta na kojima postoje jednostavni replikatorski geni. U takvom slučaju, istraživači koji pokreću genetske algoritme u pokušaju da repliciraju ono što je evolucija stvorila mogu završiti sa oko 1030 iteracija prije nego što pronađu kombinaciju u kojoj se svi elementi pravilno zbrajaju. Čini se da je ovo sasvim u skladu s našim zapažanjem da je život nastao i razvio se ovdje na Zemlji. Ova epistemološka barijera može se djelomično zaobići pažljivim i pomalo glomaznim logičkim potezima – analizom slučajeva konvergentne evolucije karakteristika vezanih za inteligenciju, i uzimajući u obzir učinak promatranja u selekciji. Ako se naučnici ne potrude da izvrše takvu analizu, u budućnosti niko od njih neće morati da procjenjuje maksimalnu vrijednost i sazna koliko je procijenjena gornja granica potrebne računarske snage za reprodukciju evolucije inteligencije (vidi Polje 3) može pasti ispod tridesetog reda (ili neke druge jednako velike vrijednosti)(103) .
Pređimo na sljedeću opciju za postizanje našeg cilja: argument u prilog izvodljivosti evolucije umjetne inteligencije je aktivnost ljudskog mozga, koja se naziva osnovnim modelom za AI. Različite verzije ovog pristupa razlikuju se samo u stupnju reprodukcije - koliko se točno predlaže oponašanje funkcija biološkog mozga. Na jednom polu, što je neka vrsta "igre imitacije", imamo koncept potpuna emulacija mozga, odnosno simulacija mozga u punoj veličini (na to ćemo se vratiti malo kasnije). S druge strane, postoje tehnologije prema kojima je funkcionalnost mozga samo početna tačka, ali se ne planira razvoj niskorazinskog modeliranja. Na kraju ćemo se približiti razumijevanju opće ideje o mozgu, što je olakšano napretkom neuronauke i kognitivne psihologije, kao i stalnim poboljšanjem alata i hardvera. Nova znanja će nesumnjivo postati smjernica u daljem radu sa AI. Već znamo primjer AI koji je nastao kao rezultat modeliranja rada mozga - to su neuronske mreže. Druga ideja preuzeta iz neuronauke i prebačena na mašinsko učenje je hijerarhijska organizacija percepcije. Proučavanje učenja s potkrepljenjem vođeno je (barem djelomično) važnom ulogom koju ova tema igra u psihološkim teorijama koje opisuju ponašanje i razmišljanje životinja, kao i tehnike učenja s potkrepljenjem (na primjer, TD algoritam). Danas se učenje s pojačanjem široko koristi u AI sistemima(104) . Takvih primjera će sigurno biti još u budućnosti. Budući da je skup osnovnih mehanizama funkcionisanja mozga vrlo ograničen – zapravo ih je vrlo malo – svi ovi mehanizmi će prije ili kasnije biti otkriveni zahvaljujući stalnom napretku neuronauke. Međutim, moguće je da će nekom hibridnom pristupu doći kraj i ranije, kombinovanjem modela razvijenih, s jedne strane, na osnovu aktivnosti ljudskog mozga, s druge strane, isključivo na bazi tehnologija veštačke inteligencije. . Uopšte nije neophodno da nastali sistem u svemu liči na mozak, čak i ako se u njegovom stvaranju koriste određeni principi njegovog delovanja.
Aktivnost ljudskog mozga kao osnovnog modela snažan je argument u prilog izvodljivosti stvaranja i daljeg razvoja umjetne inteligencije. Međutim, nijedan čak ni najsnažniji argument nas neće približiti razumijevanju budućih datuma, jer je teško predvidjeti kada će se dogoditi ovo ili ono otkriće u neuronauci. Možemo reći samo jedno: što dublje gledamo u budućnost, veća je vjerovatnoća da će tajne funkcionisanja mozga biti otkrivene dovoljno u potpunosti da otelotvore sisteme veštačke inteligencije.
Istraživači koji rade na polju umjetne inteligencije imaju različita gledišta o tome koliko je neuromorfni pristup obećavajući u poređenju s tehnologijama zasnovanim na potpuno kompozicionim pristupima. Let ptica je pokazao fizičku mogućnost pojave letećih mehanizama težih od vazduha, što je na kraju dovelo do izgradnje aviona. Međutim, čak ni prvi avioni koji su se digli u zrak nisu zamahnuli krilima. U kom pravcu će ići razvoj veštačke inteligencije? Ostaje otvoreno pitanje: da li po principu zakona aerodinamike, koji drži teške gvozdene mehanizme u vazduhu, odnosno uči od divljih životinja, ali ih ne direktno oponaša; po principu da li je uređaj motora sa unutrašnjim sagorevanjem - odnosno direktno kopira delovanje prirodnih sila.
Turingov koncept razvoja programa koji prima b O Veliki dio znanja kroz učenje, a ne kao rezultat specificiranja početnih podataka, također je primjenjiv na stvaranje umjetne inteligencije - i na neuromorfne i na kompozicione pristupe.
Varijacija Turingovog koncepta "mašina za bebe" bila je ideja o AI(105) klici. Međutim, ako bi "dječija mašina", kako je Turing zamislio, trebala imati relativno fiksnu arhitekturu i razvijati svoj potencijal akumulirajući sadržaj, AI klica će biti složeniji sistem, koji će sam sebe poboljšati arhitektura. U ranim fazama postojanja, embrionalna AI razvija se uglavnom kroz prikupljanje informacija, delujući metodom pokušaja i grešaka, uz pomoć programera. "Odrastajući", mora sam da uči razumeti u principima svog rada, kako bi mogao dizajnirati nove algoritme i računske strukture koje povećavaju njegovu kognitivnu efikasnost. Zahtevano razumevanje moguće je samo u onim slučajevima kada je klica AI ili u mnogim oblastima dostigla prilično visok opšti nivo intelektualnog razvoja, ili je u pojedinim predmetnim oblastima - recimo, kibernetici i matematici - prešla određeni intelektualni prag.
Ovo nas dovodi do još jednog važnog koncepta koji se zove "rekurzivno samopoboljšanje". Uspješan AI embrion mora biti sposoban za kontinuirani samorazvoj: prva verzija stvara poboljšanu verziju sebe koja je mnogo pametnija od originala; poboljšana verzija, zauzvrat, radi na još boljoj verziji, i tako dalje(106) . Pod određenim uslovima, proces rekurzivnog samousavršavanja može se nastaviti dosta dugo i na kraju dovesti do eksplozivnog razvoja veštačke inteligencije. Ovo se odnosi na događaj tokom kojeg, u kratkom vremenskom periodu, ukupna inteligencija sistema raste sa relativno skromnog nivoa (možda u mnogim aspektima, osim u pogledu programiranja i istraživanja AI, čak i ispod ljudskog) do superinteligentnog, radikalno superiornog nivoa. ljudski nivo. U četvrtom poglavlju vratićemo se ovoj perspektivi, koja je veoma važna po svom značaju, i detaljnije analizirati dinamiku razvoja događaja.
Napominjemo da ovaj razvojni model podrazumijeva mogućnost iznenađenja. Pokušaji stvaranja univerzalne umjetne inteligencije mogu se, s jedne strane, završiti potpunim neuspjehom, as druge strane dovesti do posljednjeg kritičnog elementa koji nedostaje, nakon čega će embrion AI postati sposoban za održivo rekurzivno samousavršavanje.
Prije nego što završim ovaj dio poglavlja, želio bih naglasiti još jednu stvar: uopće nije neophodno da se umjetna inteligencija upoređuje s ljudskim umom. U potpunosti priznajem da će AI postati potpuno "vanzemaljac" - najvjerovatnije će se to dogoditi. Može se očekivati da će kognitivna arhitektura AI biti veoma različita od ljudskog kognitivnog sistema; na primjer, u ranim fazama, kognitivna arhitektura će imati vrlo različite snage i slabosti (iako će, kao što ćemo vidjeti, AI biti u stanju da prevaziđe početne nedostatke). Iznad svega, svrsishodni AI sistemi možda nemaju nikakve veze sa svrsishodnim sistemom čovečanstva. Nema razloga vjerovati da će AI srednjeg nivoa početi biti vođen ljudskim osjećajima, kao što su ljubav, mržnja, ponos - tako složena adaptacija zahtijevat će ogromnu količinu skupog posla, štoviše, pojavu takve prilike za AI treba tretirati veoma pažljivo. Ovo je i veliki problem i velika prilika. Vratit ćemo se na AI motivaciju u kasnijim poglavljima, ali ova ideja je toliko važna za knjigu da je vrijedi imati na umu u svakom trenutku.
Potpuna emulacija ljudskog mozga
U punom procesu simulacije mozga, koji nazivamo "potpuna emulacija mozga" ili "prebacivanje uma", umjetna inteligencija se stvara skeniranjem i preciznom reprodukcijom računske strukture biološkog mozga. Stoga, inspiraciju u potpunosti treba crpiti iz prirode – ekstremni slučaj otvorenog plagijata. Da bi potpuna emulacija mozga bila uspješna, potrebno je slijediti niz specifičnih koraka.
Prva faza. Radi se prilično detaljno skeniranje ljudskog mozga. To može uključivati fiksiranje mozga preminule osobe vitrifikacijom ili vitrifikacijom (koja rezultira time da tkiva postanu tvrda kao staklo). Zatim se od tkiva jednom mašinom prave tanki rezovi i prolaze kroz drugu mašinu za skeniranje, moguće korišćenjem elektronskih mikroskopa. U ovoj fazi, materijal se boji posebnim bojama kako bi se otkrila njegova strukturna i hemijska svojstva. Istovremeno, mnogi uređaji za skeniranje rade paralelno, istovremeno obrađujući različite dijelove tkiva.
Druga faza. Sirovi podaci sa skenera se učitavaju u kompjuter za automatsku obradu slike kako bi se rekonstruisala 3D neuronska mreža odgovorna za spoznaju u biološkom mozgu. Da biste smanjili broj slika visoke rezolucije koje je potrebno pohraniti u međuspremnik, ovaj korak se može izvesti istovremeno s prvim. Dobivena mapa se kombinuje sa bibliotekom neurokomputacionih modela na neuronima različitih tipova ili na različitim neuronskim elementima (na primer, sinapse se mogu razlikovati). Neki rezultati skeniranja i obrade slike savremenom tehnologijom prikazani su na sl. 4.
Kraj uvodnog segmenta.
Nick Bostrom
Nick Bostrom
Superinteligencija
Putevi, opasnosti, strategije
Naučni urednici M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev
Objavljeno uz dozvolu agencije Alexander Korzhenevski
Pravnu podršku izdavačkoj kući pruža advokatska kancelarija "Vegas-Lex"
Ova knjiga je originalno objavljena na engleskom 2014. Ovaj prijevod je objavljen u dogovoru sa Oxford University Press. Izdavač je isključivo odgovoran za ovaj prijevod iz originalnog djela i Oxford University Press neće snositi nikakvu odgovornost za bilo kakve greške, propuste ili netačnosti ili nejasnoće u takvom prijevodu ili za bilo kakve gubitke uzrokovane oslanjanjem na njih.
© Nick Bostrom, 2014
© Prevod na ruski, izdanje na ruskom, dizajn. DOO "Mann, Ivanov i Ferber", 2016
* * *Ova knjiga je dobro upotpunjena
Avinash Dixit i Barry Nalbuff
Stephen Strogatz
Partner's Preface
... Imam jednog prijatelja - rekao je Edik. - On tvrdi da je čovjek posredna karika neophodna da bi priroda stvorila krunu stvaranja: čaša konjaka sa kriškom limuna.
Arkadij i Boris Strugacki. Ponedjeljak počinje u subotu
Autor smatra da je smrtna prijetnja povezana s mogućnošću stvaranja umjetne inteligencije koja nadmašuje ljudski um. Katastrofa može izbiti i na kraju 21. vijeka i u narednim decenijama. Čitava istorija čovječanstva pokazuje: kada dođe do sudara između predstavnika naše vrste, razumne osobe i bilo kojeg drugog stanovnika naše planete, pobjeđuje onaj koji je pametniji. Do sada smo bili najpametniji, ali nemamo garancije da će ovo trajati vječno.
Nick Bostrom piše da ako algoritmi pametnih kompjutera nauče sami da prave još pametnije algoritme, a oni zauzvrat još pametnije, doći će do eksplozivnog rasta veštačke inteligencije, u poređenju sa kojom će ljudi pored ljudi izgledati nešto poput mrava. sada, u intelektualnom smislu, naravno. U svijetu će se pojaviti nova, doduše umjetna, ali superinteligentna vrsta. Nije bitno šta mu „padne na pamet”, pokušaj da se svi ljudi usreće ili odluka da se na najefikasniji način zaustavi antropogeno zagađenje svetskih okeana, odnosno uništavanjem čovečanstva ljudi ipak neće biti u stanju da mu se odupre. Nema šanse za sukob u stilu filma Terminator, nema pucnjave sa gvozdenim kiborzima. Čekaju nas mat i mat - kao u duelu šahovskog kompjutera Deep Blue i učenika prvog razreda.
U proteklih sto-dvije godine dostignuća nauke u nekima su budila nadu u rješavanje svih problema čovječanstva, dok su u drugima izazivala i izazivaju neobuzdani strah. Istovremeno, mora se reći da se oba gledišta čine sasvim opravdanima. Zahvaljujući nauci, strašne bolesti su pobijeđene, čovječanstvo danas može prehraniti neviđeni broj ljudi, a sa jedne tačke zemaljske kugle možete doći do suprotnog za manje od jednog dana. Međutim, milošću iste nauke, ljudi, koristeći najnoviju vojnu tehnologiju, uništavaju jedni druge monstruoznom brzinom i efikasnošću.
Sličan trend – kada brzi razvoj tehnologije ne samo da dovodi do stvaranja novih mogućnosti, već stvara i prijetnje bez presedana – vidimo i u oblasti informacione sigurnosti. Čitava naša industrija nastala je i postoji samo zato što je stvaranje i masovna distribucija tako divnih stvari kao što su kompjuteri i internet stvorili probleme koji bi bili nezamislivi u eri prije kompjutera. Kao rezultat pojave informacijske tehnologije, došlo je do revolucije u ljudskim komunikacijama. Uključujući da su ga koristile razne vrste sajber kriminalaca. I tek sada čovečanstvo postepeno počinje da shvata nove rizike: sve više objekata fizičkog sveta kontrolišu kompjuteri i softver, često nesavršeni, puni rupa i ranjivi; sve veći broj ovakvih objekata je povezan na Internet, a prijetnje sajber svijetu ubrzano postaju problem fizičke sigurnosti, a potencijalno i život i smrt.
Zato se knjiga Nicka Bostroma čini tako zanimljivom. Prvi korak za sprečavanje košmarnih scenarija (za jednu kompjutersku mrežu ili za cijelo čovječanstvo) je razumjeti od čega se oni mogu sastojati. Bostrom pravi mnogo rezervi da je stvaranje veštačke inteligencije koja je uporediva sa ili superiornija od ljudskog uma - veštačke inteligencije sposobne da uništi čovečanstvo - samo je verovatan scenario koji se možda neće ostvariti. Naravno, postoji mnogo opcija, a razvoj kompjuterske tehnologije možda neće uništiti čovječanstvo, ali će nam dati odgovor na "glavno pitanje života, svemira i svega ostalog" (možda će to zaista biti broj 42, kao u romanu "Autostoperski vodič kroz galaksiju"). Nade ima, ali opasnost je veoma ozbiljna, upozorava Bostrom. Po mom mišljenju, ako postoji mogućnost takve egzistencijalne prijetnje čovječanstvu, onda se prema njoj mora postupati u skladu s tim, a da bi se spriječilo i zaštitilo od nje, zajedničkim snagama treba raditi na globalnom nivou.
Završio bih svoj uvod citatom iz knjige Mihaila Velera "Čovek u sistemu":
Kada fantazija, odnosno ljudska misao uokvirena slikama i zapletima, ponavlja nešto dugo i detaljno – pa, nema dima bez vatre. Banalni holivudski akcioni filmovi o ratovima ljudi sa civilizacijom robota nose gorko zrnce istine ispod ljuske reklame.
Kada se u robote ugradi prenosivi program nagona, a zadovoljenje tih nagona ugradi kao bezuslovna i bazična potreba, a to pređe na nivo samoreprodukcije – onda, momci, prestanite da se borite sa pušenjem i alkoholom, jer bit će krajnje vrijeme za piće i pušenje prije hane za sve nas.
Evgenij Kasperski, izvršni direktor kompanije Kaspersky Lab
Nedovršena priča o vrapcima
Jednog dana, usred gniježđenja, vrapci, umorni od višednevnog napornog rada, sjeli su da se odmore na zalasku sunca i cvrkutali o ovome i onom.
Tako smo mali, tako slabi. Zamislite koliko bi nam bilo lakše živjeti da imamo sovu kao pomoćnicu! jedan vrabac sanjivo cvrkuta. „Mogla bi da napravi gnezda za nas…”
– Aha! složio se drugi. “I pazite na naše starce i ribe…”
„I uputi nas i zaštiti nas od komšijske mačke“, dodao je treći.
Tada je Pastus, najstariji vrabac, predložio:
- Pustite izviđače da lete u različitim smjerovima u potrazi za sovom koja je ispala iz gnijezda. Međutim, dobro će doći i sovino jaje, i vrana, pa čak i mladunče lasice. Ovo otkriće će se pokazati kao najveći uspjeh za naše stado! Poput onog koji smo našli u dvorištu sa beskrajnim zalihama žita.
Vrapci su, ozbiljno uzbuđeni, cvrkutali da ima mokraće.
I samo je jednooki Skronfinkle, zajedljivi vrabac teške naravi, kao da je sumnjao u svrsishodnost ovog poduhvata.
“Izabrali smo katastrofalan put”, rekao je uvjereno. „Zar ne bi trebalo da prvo ozbiljno razmislite o pripitomljavanju i pripitomljavanju sova pre nego što pustite tako opasno stvorenje u svoje okruženje?“
„Čini mi se“, reče mu Pastus, „umetnost pripitomljavanja sova nije lak zadatak. Pronaći jaje sove je pakleno teško. Pa počnimo s potragom. Ako uspijemo iznijeti sovu, onda ćemo razmišljati o problemima obrazovanja.
- Opak plan! Skronfinkle je nervozno cvrkutao.
Ali niko ga nije slušao. U pravcu Pastusa, jato vrabaca se podiglo u vazduh i krenulo.
Samo su vrapci ostali na mjestu, odlučivši da smisle kako ukrotiti sove. Ubrzo su shvatili da je Pastus bio u pravu: zadatak je bio nevjerovatno težak, posebno u odsustvu same sove, na kojoj bi se vježbalo. Međutim, ptice su marljivo nastavile proučavati problem, jer su se bojale da će se jato vratiti sa jajetom sove prije nego što otkriju tajnu kako kontrolirati sovino ponašanje.
Uvod
Unutar naše lubanje postoji određena supstanca, zahvaljujući ...
8 Generale
getAbstract review
Prema riječima futuriste iz Oksforda Nicka Bostroma, umjetna inteligencija može postati oruđe za nas da osiguramo sigurnost, ekonomski prosperitet i intelektualni razvoj, ali čovječanstvo možda neće moći ostvariti puni potencijal ovog alata. Bostrom kritizira inherentne nedostatke u ljudskoj percepciji AI korak po korak, i čini se kao da ljudi nemaju resurse ili maštu da daju smisao tranziciji iz svijeta kojim dominiraju ljudi u svijet koji je ugrožen ili već porobljen od strane nekih entitet koji ima superum. Bostrom maestralno opisuje kako je takva superinteligencija mogla nastati, kako bi evoluirala u svemoćnog "singletona" i kakvu bi prijetnju predstavljala. Na primjer, šta će se dogoditi, pita on, ako se ovaj AI razvije do te mjere da formira jednosvjetsku vladu koja se ne rukovodi tradicionalnim etičkim principima? Informativna, puna referenci na različite izvore, knjiga podstiče čitaoca na razmišljanje o mnogim nepoznanicama. Autorovo rezonovanje zasniva se na analizi čitavog niza mogućih scenarija za budućnost. Ova dubinska studija je prvenstveno dizajnirana za čitaoce sa posebnim interesovanjem za ovu temu. getAbstract preporučuje političarima, futuristima, studentima, investitorima, filozofima i svima koji razmišljaju o visokim tehnologijama.
Iz sažetka knjige saznaćete:
- Kako se razvija tehnologija poznata kao "vještačka inteligencija";
- Šta naučnici predlažu za korištenje i kontrolu AI;
- Zašto čovečanstvo nije spremno da se nosi sa veštačkom inteligencijom.
o autoru
Nick Bostrom Profesor na Oksfordskom univerzitetu, osnivački direktor Instituta za budućnost čovječanstva.
Izgledi za pojavu superinteligencije
U ljeto 1956. grupa naučnika okupila se na Dartmouth koledžu kako bi proučavala izglede za ljudski razvoj. Prije svega ih je zanimalo da li mašine mogu replicirati funkcije ljudske inteligencije. Istraživanja na ovu temu su nastavljena s različitim stepenom uspjeha. Osamdesetih godina prošlog vijeka su se razvili programi zasnovani na pravilima, ili "ekspertski sistemi", i činilo se da će tehnologije koje bi se mogle koristiti za izgradnju umjetne inteligencije uskoro procvjetati. Tada je napredak zastao i finansiranje je prestalo. Napori AI su dobili poticaj 1990-ih s pojavom “genetskih algoritama” i “neuralnih mreža”.
Jedna mjera snage umjetne inteligencije je koliko dobro posebno dizajnirani računari igraju igre poput šaha, bridža, polimatha, go i kviza. Za otprilike 10 godina, kompjuter sa poboljšanim algoritmima će moći da pobedi svetskog šampiona u Gou. Osim u igricama, slične tehnologije se koriste u slušnim aparatima, uređajima za prepoznavanje lica i govora, u navigaciji, dijagnostici, planiranju, logistici, kao i za izradu industrijskih robota čija je funkcionalnost...
Trenutna stranica: 1 (ukupno knjiga ima 40 stranica) [dostupan odlomak za čitanje: 8 stranica]
Ova knjiga je dobro upotpunjena
Teorija igara
Avinash Dixit i Barry Nalbuff
Brainiac
Ken Jennings
zadovoljstvo od x
Stephen Strogatz
Superinteligencija
Putevi, opasnosti, strategije
Nick Bostrom
Umjetna inteligencija
Faze. Pretnje. Strategije
"Mann, Ivanov i Ferber"
Informacije
od izdavača
Naučni urednici M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev
Objavljeno uz dozvolu agencije Alexander Korzhenevski
Prvi put objavljeno na ruskom jeziku
Bostrom, Nik
Umjetna inteligencija. Faze. Pretnje. Strategija / Nick Bostrom; per. sa engleskog. S. Filin. - M. : Mann, Ivanov i Ferber, 2016.
ISBN 978-5-00057-810-0
Šta će se dogoditi ako mašine nadmaše ljude u inteligenciji? Hoće li nam pomoći ili uništiti ljudsku rasu? Možemo li danas zanemariti problem razvoja umjetne inteligencije i osjećati se potpuno sigurno?
Nick Bostrom u svojoj knjizi pokušava razumjeti problem s kojim se čovječanstvo suočava u vezi sa izgledom za pojavu superinteligencije i analizirati njen odgovor.
Sva prava zadržana.
Nijedan dio ove knjige ne smije se reproducirati u bilo kojem obliku bez pismene dozvole vlasnika autorskih prava.
Pravnu podršku izdavačkoj kući pruža advokatska kancelarija "Vegas-Lex"
Ova knjiga je originalno objavljena na engleskom 2014. Ovaj prijevod je objavljen u dogovoru sa Oxford University Press. Izdavač je isključivo odgovoran za ovaj prijevod iz originalnog djela i Oxford University Press neće snositi nikakvu odgovornost za bilo kakve greške, propuste ili netačnosti ili nejasnoće u takvom prijevodu ili za bilo kakve gubitke uzrokovane oslanjanjem na njih.
© Nick Bostrom, 2014
© Prevod na ruski, izdanje na ruskom, dizajn. DOO "Mann, Ivanov i Ferber", 2016
Partner's Preface
... Imam jednog prijatelja - rekao je Edik. - On tvrdi da je čovjek posredna karika neophodna da bi priroda stvorila krunu stvaranja: čaša konjaka sa kriškom limuna.
Arkadij i Boris Strugacki. Ponedjeljak počinje u subotu
Autor smatra da je smrtna prijetnja povezana s mogućnošću stvaranja umjetne inteligencije koja nadmašuje ljudski um. Katastrofa može izbiti i na kraju 21. vijeka i u narednim decenijama. Čitava istorija čovječanstva pokazuje: kada dođe do sudara između predstavnika naše vrste, razumne osobe i bilo kojeg drugog stanovnika naše planete, pobjeđuje onaj koji je pametniji. Do sada smo bili najpametniji, ali nemamo garancije da će ovo trajati vječno.
Nick Bostrom piše da ako algoritmi pametnih kompjutera nauče sami da prave još pametnije algoritme, a oni zauzvrat još pametnije, doći će do eksplozivnog rasta veštačke inteligencije, u poređenju sa kojom će ljudi pored ljudi izgledati nešto poput mrava. sada, u intelektualnom smislu, naravno. U svijetu će se pojaviti nova, doduše umjetna, ali superinteligentna vrsta. Nije bitno šta mu „padne na pamet”, pokušaj da se svi ljudi usreće ili odluka da se na najefikasniji način zaustavi antropogeno zagađenje svetskih okeana, odnosno uništavanjem čovečanstva ljudi ipak neće biti u stanju da mu se odupre. Nema šanse za sukob u stilu filma Terminator, nema pucnjave sa gvozdenim kiborzima. Čekaju nas mat i mat - kao u duelu šahovskog kompjutera Deep Blue i učenika prvog razreda.
U proteklih sto-dvije godine dostignuća nauke u nekima su budila nadu u rješavanje svih problema čovječanstva, dok su u drugima izazivala i izazivaju neobuzdani strah. Istovremeno, mora se reći da se oba gledišta čine sasvim opravdanima. Zahvaljujući nauci, strašne bolesti su pobijeđene, čovječanstvo danas može prehraniti neviđeni broj ljudi, a sa jedne tačke zemaljske kugle možete doći do suprotnog za manje od jednog dana. Međutim, milošću iste nauke, ljudi, koristeći najnoviju vojnu tehnologiju, uništavaju jedni druge monstruoznom brzinom i efikasnošću.
Sličan trend – kada brzi razvoj tehnologije ne samo da dovodi do stvaranja novih mogućnosti, već stvara i prijetnje bez presedana – vidimo i u oblasti informacione sigurnosti. Čitava naša industrija nastala je i postoji samo zato što je stvaranje i masovna distribucija tako divnih stvari kao što su kompjuteri i internet stvorili probleme koji bi bili nezamislivi u eri prije kompjutera. Kao rezultat pojave informacijske tehnologije, došlo je do revolucije u ljudskim komunikacijama. Uključujući da su ga koristile razne vrste sajber kriminalaca. I tek sada čovečanstvo postepeno počinje da shvata nove rizike: sve više objekata fizičkog sveta kontrolišu kompjuteri i softver, često nesavršeni, puni rupa i ranjivi; sve veći broj ovakvih objekata je povezan na Internet, a prijetnje sajber svijetu ubrzano postaju problem fizičke sigurnosti, a potencijalno i život i smrt.
Zato se knjiga Nicka Bostroma čini tako zanimljivom. Prvi korak za sprečavanje košmarnih scenarija (za jednu kompjutersku mrežu ili za cijelo čovječanstvo) je razumjeti od čega se oni mogu sastojati. Bostrom pravi mnogo rezervi da je stvaranje veštačke inteligencije koja je uporediva sa ili superiornija od ljudskog uma - veštačke inteligencije sposobne da uništi čovečanstvo - samo je verovatan scenario koji se možda neće ostvariti. Naravno, postoji mnogo opcija, a razvoj kompjuterske tehnologije možda neće uništiti čovječanstvo, ali će nam dati odgovor na "glavno pitanje života, svemira i svega ostalog" (možda će to zaista biti broj 42, kao u romanu "Autostoperski vodič kroz galaksiju"). Nade ima, ali opasnost je veoma ozbiljna, upozorava Bostrom. Po mom mišljenju, ako postoji mogućnost takve egzistencijalne prijetnje čovječanstvu, onda se prema njoj mora postupati u skladu s tim, a da bi se spriječilo i zaštitilo od nje, zajedničkim snagama treba raditi na globalnom nivou.
Završio bih svoj uvod citatom iz knjige Mihaila Velera "Čovek u sistemu":
Kada fantazija, odnosno ljudska misao uokvirena slikama i zapletima, ponavlja nešto dugo i detaljno – pa, nema dima bez vatre. Banalni holivudski akcioni filmovi o ratovima ljudi sa civilizacijom robota nose gorko zrnce istine ispod ljuske reklame.
Kada se u robote ugradi prenosivi program nagona, a zadovoljenje tih nagona ugradi kao bezuslovna i bazična potreba, a to pređe na nivo samoreprodukcije – onda, momci, prestanite da se borite sa pušenjem i alkoholom, jer bit će krajnje vrijeme za piće i pušenje prije hane za sve nas.
Eugene Kaspersky,
Generalni direktor kompanije Kaspersky Lab
Nedovršena priča o vrapcima
Jednog dana, usred gniježđenja, vrapci, umorni od višednevnog napornog rada, sjeli su da se odmore na zalasku sunca i cvrkutali o ovome i onom.
Tako smo mali, tako slabi. Zamislite koliko bi nam bilo lakše živjeti da imamo sovu kao pomoćnicu! jedan vrabac sanjivo cvrkuta. „Mogla bi da napravi gnezda za nas…”
– Aha! složio se drugi. “I pazite na naše starce i ribe…”
„I uputi nas i zaštiti nas od komšijske mačke“, dodao je treći.
Tada je Pastus, najstariji vrabac, predložio:
- Pustite izviđače da lete u različitim smjerovima u potrazi za sovom koja je ispala iz gnijezda. Međutim, dobro će doći i sovino jaje, i vrana, pa čak i mladunče lasice. Ovo otkriće će se pokazati kao najveći uspjeh za naše stado! Poput onog koji smo našli u dvorištu sa beskrajnim zalihama žita.
Vrapci su, ozbiljno uzbuđeni, cvrkutali da ima mokraće.
I samo je jednooki Skronfinkle, zajedljivi vrabac teške naravi, kao da je sumnjao u svrsishodnost ovog poduhvata.
“Izabrali smo katastrofalan put”, rekao je uvjereno. „Zar ne bi trebalo da prvo ozbiljno razmislite o pripitomljavanju i pripitomljavanju sova pre nego što pustite tako opasno stvorenje u svoje okruženje?“
„Čini mi se“, reče mu Pastus, „umetnost pripitomljavanja sova nije lak zadatak. Pronaći jaje sove je pakleno teško. Pa počnimo s potragom. Ako uspijemo iznijeti sovu, onda ćemo razmišljati o problemima obrazovanja.
- Opak plan! Skronfinkle je nervozno cvrkutao.
Ali niko ga nije slušao. U pravcu Pastusa, jato vrabaca se podiglo u vazduh i krenulo.
Samo su vrapci ostali na mjestu, odlučivši da smisle kako ukrotiti sove. Ubrzo su shvatili da je Pastus bio u pravu: zadatak je bio nevjerovatno težak, posebno u odsustvu same sove, na kojoj bi se vježbalo. Međutim, ptice su marljivo nastavile proučavati problem, jer su se bojale da će se jato vratiti sa jajetom sove prije nego što otkriju tajnu kako kontrolirati sovino ponašanje.
Uvod
Unutar naše lubanje nalazi se određena tvar zahvaljujući kojoj možemo, na primjer, čitati. Ova supstanca - ljudski mozak - je obdarena sposobnostima koje nedostaju kod drugih sisara. Zapravo, ljudi duguju svoju dominantnu poziciju na planeti upravo ovim karakterističnim osobinama. Neke životinje odlikuju se najmoćnijim mišićima i najoštrijim očnjacima, ali ni jedno živo biće, osim čovjeka, nije obdareno tako savršenim umom. Zahvaljujući višem intelektualnom nivou, uspjeli smo stvoriti alate kao što su jezik, tehnologija i složena društvena organizacija. Vremenom je naša prednost samo jačala i širila se, kako je svaka nova generacija, oslanjajući se na dostignuća svojih prethodnika, išla napred.
Ako se ikada razvije umjetna inteligencija koja prevazilazi opći nivo razvoja ljudskog uma, tada će se u svijetu pojaviti super-moćna inteligencija. I tada će sudbina naše vrste direktno zavisiti od delovanja ovih inteligentnih tehničkih sistema – baš kao što sadašnju sudbinu gorila u velikoj meri ne određuju sami primati, već ljudske namjere.
Međutim, čovječanstvo zaista ima neospornu prednost, jer stvara inteligentne tehničke sisteme. U principu, ko nas sprečava da smislimo takvu superinteligenciju koja će pod svoju zaštitu uzeti univerzalne ljudske vrednosti? Naravno, imamo jako dobre razloge da se zaštitimo. U praktičnom smislu, moraćemo da se pozabavimo najtežim pitanjem kontrole – kako kontrolisati planove i akcije superuma. I ljudi će moći iskoristiti jednu šansu. Čim se rodi neprijateljska umjetna inteligencija (AI), ona odmah počinje ometati naše napore da je se riješimo ili barem ispravimo njene postavke. I tada će sudbina čovečanstva biti zapečaćena.
U svojoj knjizi pokušavam da shvatim problem sa kojim se ljudi suočavaju u vezi sa perspektivom superinteligencije i analiziram njihov odgovor. Očekuje nas možda najozbiljniji i najstrašniji plan koji je čovječanstvo ikada primilo. I bez obzira da li pobijedimo ili izgubimo, moguće je da će nam ovaj izazov biti posljednji. Ne dajem ovdje nikakve argumente u prilog ove ili one verzije: jesmo li na ivici velikog iskora u stvaranju vještačke inteligencije; da li je moguće sa određenom tačnošću predvideti kada će se desiti određeni revolucionarni događaj. Najverovatnije u ovom veku. Malo je vjerovatno da će neko navesti neki konkretniji datum.
U prva dva poglavlja osvrnut ću se na različite naučne oblasti i ukratko se dotaknuti teme kao što je tempo ekonomskog razvoja. Međutim, glavni fokus knjige je šta će se dogoditi nakon pojave superinteligencije. Moramo razgovarati o sljedećim pitanjima: dinamici eksplozivnog razvoja vještačke inteligencije; njegove forme i potencijal; strateške opcije kojima će biti obdaren i zbog čega će dobiti odlučujuću prednost. Nakon toga ćemo analizirati problem kontrole i pokušati riješiti najvažniji problem: da li je moguće modelirati takve početne uvjete koji će nam omogućiti da zadržimo vlastitu superiornost i na kraju opstanemo. U posljednjim poglavljima ćemo se odmaknuti od pojedinosti i sagledati problem šire kako bismo obuhvatili cjelokupnu situaciju koja se razvila kao rezultat našeg istraživanja. Skrenut ću vam pažnju na neke preporuke šta treba učiniti danas kako bi se izbjegla katastrofa koja ugrožava postojanje čovječanstva u budućnosti.
Pisanje ove knjige nije bilo lako. Nadam se da će put koji sam prešao koristiti drugim istraživačima. Doći će do novih granica bez nepotrebnih prepreka i puni energije moći će se brzo uključiti u posao, zahvaljujući čemu su ljudi potpuno svjesni složenosti problema s kojim se suočavaju. (Ako se, ipak, budućim analitičarima put proučavanja čini pomalo krivudavim i na mjestima ispucanim, nadam se da će shvatiti koliko je krajolik bio neprohodan prije.)
Uprkos poteškoćama vezanim za rad na knjizi, trudio sam se da materijal predstavim na pristupačnom jeziku; Međutim, sada vidim da se nisam baš snašao u tome. Naravno, dok sam pisao, mentalno sam se okrenuo potencijalnom čitaocu i iz nekog razloga uvijek zamišljao sebe u ovoj ulozi, samo nešto mlađoj od sadašnje - ispada da sam pravio knjigu koja bi mogla pobuditi interes prvenstveno u sebi, ali godinama nije opterećen prošlošću. Možda je to ono što će odrediti mali broj čitalaca u budućnosti. Međutim, po mom mišljenju, sadržaj knjige će biti dostupan mnogima. Samo treba da uložimo malo mentalnog napora, prestanemo odbacivati nove ideje iz vedra neba i odoljeti iskušenju da sve neshvatljivo zamijenimo zgodnim stereotipima koje svi lako izvlačimo iz naših kulturnih rezervata. Čitaoci koji nemaju posebna znanja ne bi trebali popuštati matematičkim proračunima i nepoznatim terminima koji se ponegdje javljaju, jer vam kontekst uvijek omogućava da shvatite glavnu ideju. (Čitaoci koji, s druge strane, žele da saznaju više detalja, naći će mnogo zanimljivih u bilješkama.)
Vjerovatno je da je veći dio knjige pogrešno naveden2. Možda sam previdio neka važna razmatranja, zbog čega će neki moji zaključci – a možda i svi – biti pogrešni. Da ne bih propustio ni najmanju nijansu i ukazao na stepen neizvesnosti sa kojim imamo posla, morao sam da se okrenem određenim markerima - pa je moj tekst preopterećen takvim ružnim verbalnim mrljima kao što su "možda", "mogao", "možda" , "sviđa mi se" , "vjerovatno", "vrlo vjerovatno", "gotovo sigurno". Međutim, svaki put pribjegavam pomoći uvodnih riječi izuzetno pažljivo i vrlo promišljeno. Međutim, da bi se ukazala na opća ograničenja epistemoloških pretpostavki, jedno takvo stilsko sredstvo očito nije dovoljno; autor mora razviti sistematski pristup razumu u uslovima neizvjesnosti i direktno ukazati na mogućnost greške. Ovo ni na koji način nije lažna skromnost. Iskreno priznajem da u mojoj knjizi može biti ozbiljnih zabluda i netačnih zaključaka, ali sam istovremeno uvjeren da su alternativna gledišta iznesena u literaturi još gora. Štoviše, to se odnosi i na općeprihvaćenu „nultu hipotezu“, prema kojoj danas s apsolutnim razlogom možemo zanemariti problem nastanka superinteligencije i osjećati se potpuno sigurno.
Prvo poglavlje
Prošla dostignuća i današnje prilike
Počnimo sa pozivanjem na daleku prošlost. Uopšteno govoreći, istorija je niz različitih obrazaca rasta, a proces se progresivno ubrzava. Ovaj obrazac nam daje za pravo da pretpostavimo da je sljedeći - još brži - period rasta moguć. Međutim, teško da je vrijedno pridavati preveliki značaj takvom razmatranju, jer tema naše knjige nije „tehnološko ubrzanje“, niti „eksponencijalni rast“, pa čak ni oni fenomeni koji se obično predstavljaju pod pojmom „singularnosti“. Zatim ćemo razgovarati o pozadini: kako su se razvila istraživanja umjetne inteligencije. Zatim ćemo preći na trenutnu situaciju: šta se danas dešava na ovim prostorima. Na kraju, pogledajmo neke od najnovijih procjena stručnjaka i pričamo o našoj nesposobnosti da predvidimo vrijeme daljeg razvoja događaja.
Obrasci rasta i ljudska istorija
Prije samo nekoliko miliona godina, ljudski preci su još uvijek živjeli u krošnjama afričkih stabala, skačući s grane na granu. Izgled Homo sapiens, ili Homo sapiens, odvojen od naših zajedničkih predaka sa čovjekolikim majmunima, sa geološke, pa čak i evolucijske tačke gledišta, to se dogodilo vrlo glatko. Drevni ljudi su zauzeli okomiti položaj, a palčevi na njihovim rukama počeli su se primjetno izdvajati od ostalih. Međutim, najvažnije je da je došlo do relativno malih promjena u volumenu mozga i organizaciji nervnog sistema, što je na kraju dovelo do ogromnog skoka u ljudskom mentalnom razvoju. Kao rezultat toga, ljudi imaju sposobnost da razmišljaju apstraktno. Počeli su ne samo koherentno izražavati složene misli, već i stvarati informacijsku kulturu, odnosno akumulirati informacije i znanje i prenositi ih s generacije na generaciju. Mora se reći da je čovjek to naučio mnogo bolje od bilo kojeg drugog živog bića na planeti.
Drevno čovječanstvo, koristeći sposobnosti koje su se pojavile u njemu, razvijalo je sve racionalnije metode proizvodnje, zahvaljujući kojima je moglo migrirati daleko izvan džungle i savana. Neposredno nakon pojave poljoprivrede, veličina stanovništva i njegova gustina počeli su naglo da rastu. Više ljudi - više ideja i velika gustina doprinijeli su ne samo brzom širenju novih trendova, već i pojavi različitih stručnjaka, što je značilo da je među ljudima postojalo stalno usavršavanje profesionalnih vještina. Ovi faktori su se povećali tempo ekonomskog razvoja, omogućio je rast produktivnosti i formiranje tehničkih kapaciteta. Nakon toga, napredak jednakog značaja, koji je doveo do industrijske revolucije, izazvao je drugi istorijski skok u ubrzavanju stope rasta.
Ova dinamična stopa rasta imala je važne implikacije. Na primjer, u zoru čovječanstva, kada su preci modernih ljudi, ili hominida, naselili Zemlju, ekonomski razvoj je bio suviše spor i bilo je potrebno oko milion godina da porast proizvodnih kapaciteta omogući populaciji planete da dozvoli sebi da se poveća za milion ljudi, i da postoji na ivici opstanka. A nakon neolitske revolucije, do 5000. godine prije Krista. pne, kada je čovječanstvo prešlo iz društva lovaca-sakupljača na poljoprivredni ekonomski model, stopa rasta je porasla toliko da je dvije stotine godina bilo dovoljno za isti rast stanovništva. Danas, od industrijske revolucije, globalna ekonomija raste za otprilike isti iznos svakih sat i po.
Trenutna stopa rasta - čak i ako je relativno dugo zadržana - dovest će do impresivnih rezultata. Pretpostavimo da svjetska ekonomija nastavi da raste prosječnim tempom karakterističnim za proteklih pedeset godina, a ipak će stanovništvo planete u budućnosti postati bogatije nego danas: do 2050. godine - 4,8 puta, a do 2100. godine - 34 puta2.
Međutim, izgledi za održivi eksponencijalni rast blijede u poređenju s onim što bi se moglo dogoditi kada svijet doživi sljedeću skokovitu promjenu brzinom koja je uporediva po veličini i utjecaju s neolitskom i industrijskom revolucijom. Na osnovu istorijskih podataka o ekonomskoj aktivnosti i stanovništvu, ekonomista Robin Hanson procijenio je da je pleistocensko lovačko-sakupljačko društvo imalo vrijeme udvostručenja od 224.000 godina, agrarno društvo 909 godina, a industrijsko društvo 6,3 godine. (Prema Hansonovoj paradigmi, moderni ekonomski model, koji ima mješovitu agroindustrijsku strukturu, još se ne razvija brzinom udvostručenja svakih 6,3 godine.) Da se takav skok već dogodio u svjetskom razvoju, uporediv po svom revolucionarnom značaju sa prethodna dva, tada bi privreda dostigla novi nivo i udvostručila bi stopu rasta otprilike svake dvije sedmice.
Sa današnje tačke gledišta, takve stope razvoja izgledaju fantastično. Ali čak i svjedoci prošlih era teško su mogli zamisliti da će se stopa rasta svjetske ekonomije jednog dana udvostručiti nekoliko puta u toku jedne generacije. Ono što je za njih izgledalo potpuno nezamislivo, mi doživljavamo kao normu.
Ideja o približavanju tehnološke singularnosti postala je izuzetno popularna nakon pionirskog rada Vernona Vingea, Raya Kurzweila i drugih4. Međutim, pojam „singularnosti“, koji se koristi u različitim značenjima, već je dobio stabilno značenje u duhu tehnološkog utopizma i čak je dobio auru nečeg zastrašujućeg i istovremeno prilično veličanstvenog5. Od većine definicija te riječi singularnost nisu vezani za temu naše knjige, postići ćemo veću jasnoću ako je se riješimo u korist preciznijih termina.
Ideja koja nas zanima, vezana za pojam singularnosti, je potencijal eksplozivan razvoj inteligencije, posebno u perspektivi stvaranja vještačke superinteligencije. Eventualno prikazano na sl. 1 krivulje rasta uvjerit će neke od vas da smo na rubu novog intenzivnog skoka u tempu razvoja – skoka koji se može usporediti s neolitskom i industrijskom revolucijom. Najvjerovatnije je ljudima koji vjeruju grafikonima čak i teško zamisliti scenario u kojem se vrijeme za udvostručenje svjetske ekonomije svodi na sedmice bez sudjelovanja super-moćnog uma, koji je višestruko brži i efikasniji od našeg uobičajenog. biološki um. Međutim, nije potrebno vježbati u crtanju krivulja rasta i ekstrapoliranju historijskih stopa ekonomskog razvoja da bismo počeli preuzimati odgovornost za revolucionarnu pojavu umjetne inteligencije. Ovaj problem je toliko ozbiljan da mu nije potreban nikakav argument ove vrste. Kao što ćemo vidjeti, postoje daleko uvjerljiviji razlozi za oprez.
Rice. 1. Dinamika svjetskog BDP-a u dugom istorijskom periodu. Na linearnoj skali, historija svjetske ekonomije prikazana je kao linija, koja se u početku gotovo spaja s horizontalnom osom, a zatim oštro juri vertikalno prema gore. A.Čak i kada proširimo vremenske granice na deset hiljada godina u prošlosti, vidimo da linija pravi trzaj naviše od određene tačke skoro devedeset stepeni. B. Linija se primjetno odvaja od horizontalne ose tek na nivou od otprilike zadnjih stotinu godina. (Razlika u krivuljama na dijagramima je zbog različitog skupa podataka, tako da se indikatori donekle razlikuju jedni od drugih6.)
Visoka očekivanja
Od izuma prvih elektronskih kompjutera 1940-ih, ljudi nisu prestali da predviđaju pojavu kompjutera čiji će nivo inteligencije biti uporediv sa ljudskim. Ovo se odnosi na razuman tehnički sistem obdaren zdravim razumom, koji ima sposobnost učenja i razmišljanja, sposoban da planira i obrađuje informacije na sveobuhvatan način, prikupljene iz različitih izvora – stvarnih i teorijskih. U to vrijeme mnogi su očekivali da će takve mašine postati stvarnost za dvadeset sedam godina. Od tada se vremenska linija pomera brzinom od jedne godine godišnje, odnosno danas futurolozi, uvereni u verovatnoću stvaranja veštačke inteligencije, i dalje veruju da će se „pametne mašine“ pojaviti za nekoliko decenija8.
Termin od dvadeset godina vole svi prediktori fundamentalnih promjena. S jedne strane, nije predugačak – i stoga predmet rasprave privlači široku pažnju; s druge strane, nije tako brz, što omogućava sanjati o nizu važnih naučnih otkrića - međutim, ideje o njima u vrijeme prognoziranja su vrlo nejasne, ali njihova implementacija je praktično nesumnjiva. Uporedite ovo sa kraćim periodima prognoze koji su određeni za različite tehnologije koje su predodređene da imaju značajan uticaj na svet: od pet do deset godina – u vreme prognoziranja većina tehničkih rešenja je već delimično primenjena; petnaest godina - u vrijeme prognoziranja ove tehnologije već postoje u obliku laboratorijskih verzija. Osim toga, dvadeset godina je često blizu prosječnom preostalom profesionalnom životu prognostičara, što smanjuje reputacijski rizik povezan s njegovim odvažnim predviđanjem.
Međutim, zbog precijenjenih i neispunjenih očekivanja proteklih godina, ne treba odmah zaključiti da je stvaranje vještačke inteligencije u principu nemoguće i da je niko nikada neće razvijati9. Glavni razlog zašto je napredak bio sporiji nego što se očekivalo je u tehničkim problemima koji su se pojavili u razvoju inteligentnih mašina. Pioniri nisu predvidjeli sve poteškoće sa kojima su se morali suočiti. Štaviše, pitanja: da li je stepen ozbiljnosti ovih prepreka veliki i koliko smo daleko od njihovog prevazilaženja – i dalje ostaju otvorena. Ponekad problemi koji u početku izgledaju beznadežno teški imaju iznenađujuće jednostavno rješenje (iako je češće, možda, suprotno).
Pogledat ćemo puteve koji bi mogli dovesti do vještačke inteligencije koja je konkurentna ljudskoj u sljedećem poglavlju. Ali sada bih želeo da vam skrenem pažnju na jedan važan aspekt. Biće mnogo zaustavljanja između trenutne početne tačke i budućnosti kada se pojavi veštačka inteligencija, ali ovaj trenutak nikako nije konačno odredište. Prilično blizu, sljedeća stanica će biti Overmind stanica, implementacija umjetne inteligencije na nivou koji ne samo da je jednak ljudskom umu, već ga i znatno nadmašuje. Nakon poslednje stanice, naš voz će ubrzati do te mere da na stanici "Čelovek" neće moći ne samo da stane, već ni da uspori. Najvjerovatnije će zviždati. Britanski matematičar Irving John Goode, koji je radio kao kriptograf za tim Alana Turinga tokom Drugog svjetskog rata, najvjerovatnije je bio prvi koji je iznio ključne detalje ovog scenarija. U svom često citiranom radu iz 1965. o prvim superinteligentnim mašinama, napisao je:
Hajde da definišemo superinteligentnu mašinu kao mašinu koja je daleko iznad intelektualnih kapaciteta bilo kog od najpametnijih ljudskih bića. Pošto je stvaranje takvih mašina rezultat ljudske mentalne aktivnosti, mašina obdarena superinteligencijom će moći da razvije još savršenije mašine; kao rezultat, nesumnjivo će doći do takve "intelektualne eksplozije" da će ljudski um biti odbačen daleko unatrag. Tako će prva superinteligentna mašina biti posljednje dostignuće ljudskog uma - međutim, samo ako ne pokaže dovoljnu usklađenost i sama nam ne objasni kako da je držimo pod kontrolom.
Eksplozivni razvoj vještačke inteligencije može sa sobom povući jedan od glavnih egzistencijalnih rizika – ovih dana se ovakvo stanje stvari doživljava kao trivijalno; stoga se izgledi za takav rast moraju shvatiti s najvećom ozbiljnošću, čak i kada bi se znalo (ali ne i tačno) da je vjerovatnoća prijetnje relativno mala. Međutim, pioniri na polju umjetne inteligencije, unatoč vjerovanju u skoru pojavu umjetne inteligencije koja nije inferiorna u odnosu na ljudsku, najvećim dijelom su poricali mogućnost pojave superinteligencije koja nadmašuje ljudski um. Čini se da je njihova mašta - u pokušaju da shvate konačnu mogućnost budućih mašina uporedivih po svojim misaonim sposobnostima s ljudima - jednostavno presušila, i lako su promašili neizbježni zaključak: rođenje superinteligentnih mašina će biti sljedeći korak.
Većina pionira nije podržala nastalu anksioznost u društvu, smatrajući potpunom besmislicom da njihovi projekti nose određeni rizik za čovječanstvo11. Nijedan od njih, riječju ili djelom - niti jedna ozbiljna studija na ovu temu - nije pokušao da shvati bilo sigurnosne strepnje ili etičke sumnje povezane sa stvaranjem vještačke inteligencije i potencijalnom dominacijom kompjutera; ova činjenica je iznenađujuća čak i na pozadini ne baš visokih standarda za evaluaciju novih tehnologija karakterističnih za to doba12. Ostaje nam samo nadati se da ćemo do trenutka kada njihova hrabra vizija konačno dođe do ostvarenja, ne samo moći steći dostojno naučno i tehničko iskustvo kako bismo neutralizirali eksplozivni razvoj umjetne inteligencije, već ćemo se i podići na najviši nivo profesionalizma, koji neće nimalo škoditi ako čovečanstvo želi da preživi pojavu superinteligentnih mašina u svom svetu.
Ali prije nego što se okrenemo budućnosti, bilo bi korisno ukratko se prisjetiti povijesti stvaranja mašinske inteligencije.
Put nade i očaja
