Odmah kad je dr. Blake Richards čuo za duboko učenje, shvatio je da se suočava s više od samo metode koja će revolucionirati umjetnu inteligenciju. Shvatio je da gleda nešto temeljno iz ljudskog mozga. Bilo je to početkom 2000-ih i Richards je predavao tečaj na Sveučilištu u Torontu s Jeffom Hintonom. Hintonu, koji je stajao iza stvaranja algoritma koji je osvojio svijet, ponuđen je uvodni tečaj o njegovoj metodi poučavanja, nadahnut ljudskim mozgom.
Ključne riječi ovdje su "nadahnuti mozak". Unatoč Richardsovom uvjerenju, oklada se igrala protiv njega. Ljudski mozak, kako se ispostavilo, nema važnu funkciju koja je programirana u algoritmima dubokog učenja. Na površini, ovi su algoritmi kršili osnovne biološke činjenice koje su već dokazali neuroznanstvenici.
Ali što ako su duboko učenje i mozak stvarno kompatibilni?
I tako je u novoj studiji objavljenoj u eLife-u Richards, radeći s DeepMindom, predložio novi algoritam temeljen na biološkoj strukturi neurona u neokorteksu. Korteks, moždani korteks, dom je viših kognitivnih funkcija kao što su rasuđivanje, predviđanje i fleksibilno razmišljanje.
Tim je kombinirao svoje umjetne neurone u slojevitu mrežu i doveo ih u zadatak klasičnog računalnog vida - identificirati rukom pisane brojeve.
Novi algoritam izvrsno je obavio posao. Ali još je jedna bitna stvar: analizirao je primjere za učenje na isti način kao što to čine algoritmi dubokog učenja, ali je u potpunosti izgrađen na temeljnoj biologiji mozga.
"Duboko učenje je moguće u biološkoj strukturi", zaključili su znanstvenici.
Budući da je ovaj model trenutno računalna verzija, Richards se nada da će palicu predati eksperimentalnim neuroznanstvenicima koji bi mogli testirati radi li takav algoritam u stvarnom mozgu.
Promotivni video:
Ako je to slučaj, podaci se mogu predati računalnim znanstvenicima kako bi razvili paralelne i učinkovite algoritme na kojima će se pokretati naši strojevi. Ovo je prvi korak prema spajanju dvaju područja u "virtuozni ples" otkrića i inovacija.
Pronalaženje grešnog kozla
Iako ste vjerojatno čuli da je AI nedavno pobijedio najbolje od najboljih na Go-u, teško znate točno kako algoritmi koji stoje iza ovog AI rade.
Ukratko, duboko učenje temelji se na umjetnoj neurološkoj mreži s virtualnim "neuronima". Poput visokog nebodera, mreža je strukturirana u hijerarhiji: neuroni na niskoj razini procesiraju unos neurona - na primjer, vodoravne ili okomite šipke koje čine broj 4 - i neuroni visoke razine obrađuju apstraktne aspekte broja 4.
Da biste osposobili mrežu, dajete mu primjere onoga što tražite. Signal se širi mrežom (penje se stubama zgrade), a svaki neuron pokušava vidjeti nešto temeljno u radu "četvorke".
Dok djeca uče nove stvari, u početku mreža ne funkcionira dobro. Ona daje sve što, po njenom mišljenju, izgleda kao broj četiri - i dobivate slike u duhu Picassa.
Ali upravo tako nastavlja učenje: algoritam odgovara izlazu idealnom unosu i izračunava razliku između njih (čitaj: pogreške). Pogreške se "šire" natrag kroz mrežu, uvježbavajući svaki neuron, oni kažu, ovo nije ono što tražite, tražite bolje.
Nakon milijuna primjera i ponavljanja, web počinje besprijekorno.
Signal pogreške izuzetno je važan za učenje. Bez učinkovite "povratne propagacije grešaka", mreža neće znati koji od njenih neurona nije u pravu. U potrazi za žrtvenim vrhom, umjetna inteligencija poboljšava se.
I mozak to radi. Ali kako? Nemamo pojma.
Biološka slijepa ulica
Očigledna stvar je da rješenje za duboko učenje ne djeluje.
Backpropagiranje pogreške izuzetno je važna značajka. Za pravilno funkcioniranje potrebna je određena infrastruktura.
Prvo, svaki neuron u mreži mora primiti obavijest o pogrešci. Ali u mozgu su neuroni povezani samo s nekoliko (ako postoje) nizvodnih partnera. Da bi povratak djelovalo u mozgu, neuroni na prvim razinama moraju uočiti informacije iz milijardi veza u nizvodnim kanalima - a to je biološki nemoguće.
I dok neki algoritmi dubokog učenja prilagođavaju lokalni oblik povraćaja pogrešaka - u osnovi između neurona - to zahtijeva da njihove leđa i naprijed veze budu simetrične. U sinapsama mozga to se gotovo nikada ne događa.
Moderniji algoritmi prilagođavaju malo drugačiju strategiju implementirajući zasebni povratni put koji pomaže neuronima da pronađu pogreške na lokalnoj razini. Iako je to biološki izvedivije, mozak nema zasebnu računalnu mrežu koja bi bila posvećena pronalaženju zlikovaca.
Ali ima neurone sa složenom strukturom, za razliku od homogenih "kuglica" koje se trenutno koriste u dubokom učenju.
Mreže grananja
Znanstvenici inspiraciju uzimaju iz piramidalnih stanica koje ispunjavaju korteks čovjeka.
"Većina ovih neurona u obliku je drveća. Njihovi korijeni nalaze se duboko u mozgu i" grane "izlaze na površinu", kaže Richards. "Izuzetno je što korijeni dobivaju jedan skup ulaza, a grane se razlikuju."
Zanimljivo je, ali često se ispostavi da je struktura neurona "točno onako kako je potrebno" za učinkovito rješenje računalnog problema. Uzmimo, na primjer, senzorsku obradu: dna piramidalnih neurona su tamo gdje trebaju biti za primanje senzornih ulaza, a vrhovi su prikladno smješteni za prijenos pogrešaka povratnom informacijom.
Može li ova složena struktura biti evolucijsko rješenje za suočavanje s pogrešnim signalom?
Znanstvenici su stvorili višeslojnu neurološku mrežu na temelju prethodnih algoritama. No umjesto homogenih neurona, davali su joj neurone u srednjim slojevima - sendviči između ulaza i izlaza - slične stvarnim. Učeći iz rukopisnih brojeva, algoritam je postigao puno bolji učinak od jednoslojne mreže, unatoč nepostojanju klasične povratne pogreške širenja. Sama stanična struktura mogla je prepoznati pogrešku. Tada je u pravom trenutku neuron kombinirao oba izvora informacija kako bi pronašao najbolje rješenje.
Za to postoji biološka osnova: neuroznanstvenici su dugo znali da ulazne grane neurona obavljaju lokalne proračune koji se mogu integrirati sa povratnim širenjem signala iz izlaznih grana. Ali ne znamo djeluje li mozak na ovaj način - pa je Richards naredio neuroznanstvenicima da to otkriju.
Štoviše, ova mreža rješava problem na sličan način kao i tradicionalna metoda dubokog učenja: koristi slojevitu strukturu za izvlačenje progresivno apstraktnijih ideja o svakom broju.
"Ovo je značajka dubokog učenja", objašnjavaju autori.
Mozak dubokog učenja
Bez sumnje će u ovoj priči biti više zaokreta jer računalni znanstvenici unose više bioloških detalja u AI algoritme. Richards i njegov tim promatraju funkciju predviđanja odozgo prema dolje, gdje signali s viših razina izravno utječu na to kako niže razine reagiraju na ulaz.
Povratne informacije s viših slojeva ne samo da poboljšavaju signalizaciju pogreške; Također može potaknuti neurone niže obrade da rade "bolje" u stvarnom vremenu, kaže Richards. Do sada, mreža nije nadmašila ostale nebiološke mreže dubokog učenja. Ali nije važno.
"Duboko učenje imalo je ogroman utjecaj na AI, ali do sada je njegov utjecaj na neuroznanost bio ograničen", kažu autori studije. Sada će neuroznanstvenici imati izgovor da provedu eksperimentalni test i otkriju je li struktura neurona u osnovi prirodnog algoritma dubokog učenja. Možda će u narednih deset godina započeti obostrano korisna razmjena podataka između neuroznanstvenika i istraživača umjetne inteligencije.
Ilya Khel