Tijekom proteklih 10 godina, zahvaljujući takozvanoj metodi dubokog učenja, dobili smo najbolje sustave umjetne inteligencije - na primjer, prepoznavače govora na pametnim telefonima ili najnoviji Googleov automatski prevoditelj. Duboko učenje, u stvari, postalo je novi trend u već poznatim neuronskim mrežama koje su u modi i izlazile više od 70 godina. Neuronske mreže prvi su predložili Warren McCullough i Walter Pitts 1994., dva istraživača sa Sveučilišta u Chicagu. Godine 1952. otišli su raditi na Massachusetts Institute of Technology kako bi postavili temelje za prvi odjel spoznaje.
Neuronske mreže bile su jedno od glavnih pravaca istraživanja i neuroznanosti i računalne znanosti sve do 1969. godine, kada su ih, prema legendama, ubili matematičari s MIT-a Marvin Minsky i Seymour Papert, koji su godinu dana kasnije postali suvoditelji novog laboratorija za umjetnu inteligenciju MIT-a.
Ova je metoda doživjela preporod u 1980-ima, pomalo izblijedio u sjeni u prvom desetljeću novog stoljeća, a vratio se s fanfarom u drugom, na vrhu nevjerojatnog razvoja grafičkih čipova i njihove procesijske snage.
"Postoji percepcija da su ideje u znanosti poput epidemije virusa", kaže Tomaso Poggio, profesor spoznaje i znanosti o mozgu na MIT-u. "Vjerojatno postoji pet ili šest glavnih sojeva virusa gripe, a jedan od njih vraća se sa zavidnom 25-godišnjom stopom. Ljudi se zaraze, steknu imunitet i ne razbole se narednih 25 godina. Tada se pojavljuje nova generacija koja je spremna biti zaražena istim sojem virusa. U znanosti se ljudi zaljubljuju u neku ideju, ona svakoga izluđuje, a onda je pretuku do smrti i steknu imunitet na nju - zasitiju se. Ideje bi trebale imati sličnu učestalost."
Teška pitanja
Neuronske mreže su metoda strojnog učenja gdje se računalo uči obavljati određene zadatke analizom primjera treninga. Ti se primjeri obično ručno označavaju. Na primjer, sustav prepoznavanja objekata može upiti tisuće označenih slika automobila, kuća, šalica za kavu itd., A zatim će biti u mogućnosti pronaći vizualne obrasce u onim slikama koje dosljedno koreliraju s određenim oznakama.
Neuronska mreža često se uspoređuje s ljudskim mozgom, koji također ima takve mreže, koji se sastoje od tisuća ili milijuna jednostavnih čvorova za obradu, koji su usko povezani. Većina modernih neuronskih mreža organizirana je u slojeve čvorova, a podaci prolaze kroz njih u samo jednom smjeru. Pojedinačni čvor može se povezati s nekoliko čvorova u sloju ispod njega, iz kojeg prima podatke, i nekoliko čvorova u gornjem sloju, na koje prenosi podatke.
Promotivni video:
Čvor svakoj od tih dolaznih veza dodjeljuje broj - "težina". Kad je mreža aktivna, čvor prima različite skupove podataka - različite brojeve - za svaku od tih veza i množi se odgovarajućom težinom. Zatim zbraja rezultate i tvori jedinstveni broj. Ako je taj broj ispod praga, čvor ne prenosi podatke na sljedeći sloj. Ako broj prelazi prag, čvor se "budi" slanjem broja - zbroja ponderiranih ulaznih podataka - na sve izlazne veze.
Kada se osposobi neuronska mreža, sve se njezine težine i pragovi isprva postavljaju nasumičnim redoslijedom. Podaci o treningu dovode se u donji sloj - ulazni sloj - i prolaze kroz sljedeće slojeve, množeći se i dodajući na složen način, dok napokon ne stignu, već transformirani, u izlazni sloj. Tijekom treninga utezi i pragovi se kontinuirano prilagođavaju dok podaci o treningu s istim oznakama ne donesu slične zaključke.
Um i strojevi
Neuronske mreže koje su 1944. godine opisali McCullough i Pitts imali su i pragove i težine, ali nisu bili organizirani u slojeve, a znanstvenici nisu odredili nikakav specifični mehanizam učenja. Ali McCullough i Pitts pokazali su da neuronska mreža u načelu može izračunati bilo koju funkciju, poput bilo kojeg digitalnog računala. Rezultat je bio više iz područja neuroznanosti nego informatike: trebalo je pretpostaviti da se ljudski mozak može promatrati kao računalni uređaj.
Neuronske mreže i dalje su vrijedan alat za neurobiološka istraživanja. Na primjer, pojedini slojevi mreže ili pravila za prilagođavanje težine i pragova reproducirali su promatrane značajke ljudske neuroanatomije i kognitivne funkcije, te su stoga utjecali na to kako mozak obrađuje informacije.
Prvu trainable neuronsku mrežu, Perceptron (ili Perceptron), demonstrirao je psiholog sa Sveučilišta Cornell Frank Rosenblatt 1957. Perceptronov dizajn bio je sličan modernoj neuronskoj mreži, osim što je imao jedan sloj s podesivim utezima i pragovima zašivenim između ulaznog i izlaznog sloja.
"Perceptroni" su se aktivno istraživali u psihologiji i računarskoj znanosti sve do 1959. godine, kada su Minsky i Papert objavili knjigu pod nazivom "Perceptroni", koja je pokazala da je obavljanje sasvim običnih izračuna na perceptronu s vremena na vrijeme nepraktično.
"Naravno, sva ograničenja nekako nestaju ako naprave napravite malo složenije", na primjer, u dva sloja ", kaže Poggio. Ali u to je vrijeme knjiga imala zastrašujući učinak na istraživanje neuronske mreže.
"Ove stvari vrijedi razmotriti u povijesnom kontekstu", kaže Poggio. „Dokaz je napravljen za programiranje na jezicima poput Lispa. Nedugo zatim ljudi su tiho koristili analogna računala. Tada nije bilo posve jasno do čega će voditi programiranje. Mislim da su malo pretjerali sa tim, ali, kao i uvijek, ne možete sve podijeliti na crno i bijelo. Ako to smatrate konkurencijom između analognog i digitalnog računanja, tada su se borili za ono što je trebalo."
Periodičnost
Međutim, do 1980-ih znanstvenici su razvili algoritme za izmjenu težina i pragova neuronske mreže koji su bili dovoljno učinkoviti za mreže s više slojeva, uklanjajući mnoga ograničenja koja su identificirali Minsky i Papert. Ovo je područje doživjelo renesansu.
Ali s razumnog stajališta, nešto je nedostajalo u neuronskim mrežama. Dovoljno dug trening mogao bi dovesti do revizije mrežnih postavki dok ne počne klasificirati podatke na korisni način, ali što te postavke znače? Koje značajke slike prepoznava objekt i kako ih sastavlja u obliku vizualnih potpisa automobila, kuća i šalica kave? Ispitivanje mase pojedinačnih spojeva neće odgovoriti na ovo pitanje.
Posljednjih godina računalni znanstvenici počeli su stvarati genijalne metode za određivanje analitičkih strategija koje su usvojile neuronske mreže. Ali u 1980-ima strategije tih mreža bile su nerazumljive. Stoga su na prijelazu stoljeća neuronske mreže zamijenili vektorski strojevi, alternativni pristup strojnom učenju utemeljen na čistoj i elegantnoj matematici.
Nedavni porast interesa za neuronske mreže - revolucija dubokog učenja - duguje se industriji igara. Kompleksna grafika i brz tempo modernih videoigara zahtijevaju hardver koji može pratiti trend, što rezultira GPU-om (grafičkom procesorskom jedinicom) s tisućama relativno jednostavnih jezgara za obradu na jednom čipu. Znanstvenici su ubrzo shvatili da je GPU arhitektura savršena za neuronske mreže.
Moderni GPU-ovi omogućili su izgradnju mreža šezdesetih i dvoslojnih i troslojnih mreža 1980-ih u grozdove mreže od 10, 15 i čak 50 slojeva današnjice. To je ono za što je riječ "duboko" odgovorna za "duboko učenje". Do dubine mreže. Duboko učenje trenutno je odgovorno za najučinkovitije sustave u gotovo svim područjima istraživanja umjetne inteligencije.
Ispod haube
Neprozirnost mreže i dalje zabrinjava teoretičare, ali na tom je mjestu napredak. Poggio vodi istraživački program o teorijskim osnovama inteligencije. Nedavno su Poggio i njegovi kolege objavili teoretsku studiju neuronskih mreža u tri dijela.
Prvi dio, koji je prošlog mjeseca objavljen u Međunarodnom časopisu za automatizaciju i računarstvo, bavi se nizom izračuna koji mogu učiniti mreže dubokog učenja i kada duboke mreže koriste prednost plitkim. Drugi i treći dio, koji su objavljeni kao predavanja, bave se izazovima globalne optimizacije, odnosno osiguravanjem da mreža nađe postavke koja najbolje odgovaraju njenim podacima o obuci, kao i slučajeve kada mreža tako dobro razumije specifičnosti svojih podataka o obuci. što ne može generalizirati druge manifestacije istih kategorija.
Pred nama je još puno teoretskih pitanja, na koja ćete odgovore morati dati. Ali postoji nada da će neuronske mreže napokon uspjeti razbiti ciklus generacija koji ih uranja u toplinu, a ponekad i hladnoću.
ILYA KHEL