Googleovo odjeljenje za umjetnu inteligenciju najavilo je stvaranje nove metode za trening neuronskih mreža, kombinirajući upotrebu naprednih algoritama i starih videoigara. Stare video igre Atari koriste se kao okruženje za učenje.
Programeri DeepMind-a (podsjećamo da su ti ljudi stvorili neurogorsku mrežu AlphaGo, koja je u više navrata porazila najbolje igrače u logičkoj igri) vjeruju da strojevi mogu učiti na isti način kao i ljudi. Koristeći DMLab-30 sustav treninga, zasnovan na strelicama Quake III i arkadnim igrama Atari (koristi se 57 različitih igara), inženjeri su razvili novi algoritam strojnog učenja strojnog učenja IMPALA (Važnost ponderirane arhitekture za učenike i učenike). Omogućuje pojedinačnim dijelovima da nauče kako obavljati nekoliko zadataka odjednom, a zatim razmjenjuju znanje među sobom.
Na mnogo načina novi se sustav temeljio na ranijem arhitektonskom sustavu asinhronih glumačkih kritičara (A3C), u kojem pojedini agenti istražuju okoliš, a zatim se postupak zaustavlja i oni razmjenjuju znanje sa središnjom komponentom, "studentom". Što se tiče IMPALA-e, ona može imati više agenata, a sam proces učenja odvija se na malo drugačiji način. U njemu agenti šalju informacije odjednom dva "studenta", koji također međusobno razmjenjuju podatke. Osim toga, ako u A3C proračun gradijenta funkcije gubitka (drugim riječima, odstupanje između predviđenih i dobivenih vrijednosti parametara) rade sami agenti, koji informacije šalju u središnju jezgru, tada u sustavu IMPALA taj zadatak obavljaju "studenti".
Primjer osobe koja igra kroz igru:
Evo kako IMPALA sustav rješava isti zadatak:
Jedan od glavnih izazova u razvoju AI je vrijeme i potreba za visokom računalnom snagom. Čak i kada su autonomni, strojevima su potrebna pravila koja mogu slijediti u vlastitim eksperimentima i pronalaženju načina za rješavanje problema. Budući da ne možemo samo graditi robote i pustiti ih da uče, programeri koriste simulacije i tehnike dubokog učenja.
Da bi moderne neuronske mreže nešto naučile, moraju obraditi ogromnu količinu informacija, u ovom slučaju milijarde okvira. A što ih brže obavlja, to je manje vremena potrebno za učenje.
Promotivni video:
S dovoljnim brojem procesora, IMPALA postiže propusnost od 250.000 okvira u sekundi, odnosno 21 milijardu okvira dnevno, navodi DeepMind. Ovo je apsolutni rekord za ovakve zadatke, prenosi The Next Web. Sami programeri komentiraju da se njihov AI sustav bolje nosi s tim zadatkom nego slični strojevi i ljudi.
U budućnosti se slični AI algoritmi mogu koristiti u robotiziranju. Optimizacijom sustava strojnog učenja roboti će se brže prilagoditi svom okruženju i raditi učinkovitije.
Nikolaj Khizhnyak