Najveća lekcija koju smo naučili iz 70 godina AI istraživanja jest da su opće metode koje koriste računanje u konačnici najučinkovitije - i to s velikom razlikom. Krajnji razlog za to je Mooreov zakon. Ili bolje rečeno, njegova generalizacija: kontinuirano, eksponencijalno smanjenje troškova računalnih procesora. Ovu "gorku lekciju" podijelio je Richard Sutton, kanadski informatičar. Nadalje - od prve osobe.
Zašto se umjetna inteligencija zaustavlja već 70 godina?
Većina istraživanja AI provedena je kao da su proračuni dostupni agentu uporni (a u ovom slučaju upotreba ljudskog znanja bio bi jedan od jedinih načina za poboljšanje performansi). Ali s vremenom - mnogo više nego što je potrebno tipičnom istraživačkom projektu - neizbježno postaje mnogo više računanja. U potrazi za poboljšanjima koja bi u kratkom roku mogla pomoći, znanstvenici pokušavaju maksimizirati ljudsko znanje na ovom području, ali jedino što je dugoročno važno jest sve veća uporaba računalstva. Ova dva aspekta ne bi smjela biti u suprotnosti jedno s drugim, ali u praksi se to događa. Vrijeme provedeno na jednom od njih nije jednako vremenu provedenom na drugom. Postoje psihološke obveze da se ulaže u jedan ili drugi pristup. I pristup ljudskom znanju teži kompliciranju metoda na takav način da postaju manje pogodne za korištenje općih metoda koje se koriste računanjem.
Bilo je mnogo primjera koji su istraživači AI sa zakašnjenjem shvatili ovu gorku lekciju. Bilo bi poučno razmotriti neke od najistaknutijih primjera.
U računalnom šahu metode koje su 1997. godine pobijedile svjetskog prvaka Kasparov temeljile su se na masovnoj, dubokoj potrazi. U to ih je vrijeme s negodom gledala većina istraživača računalnog šaha koji su koristili metode utemeljene na ljudskom razumijevanju specifične strukture šaha. Kada se jednostavniji, na temelju pretraživanja pristup sa specijaliziranim hardverom i softverom pokazao mnogo učinkovitijim, istraživači koji grade na ljudskom razumijevanju šaha nisu priznali poraz. Rekli su: „Ovaj put je grubi prispjeh možda pobijedio, ali to neće postati sveobuhvatna strategija i sigurno ljudi na taj način ne igraju šah. Ovi su znanstvenici htjeli pobjedu utemeljenu na ljudima i bili su razočarani kad nisu uspjeli.
Promotivni video:
Slična je slika napretka u istraživanju viđena i u radu na računalu, samo s kašnjenjem od još 20 godina. U početku su uloženi veliki napori da se izbjegne traženje ljudskog znanja ili igranja, ali svi su ti napori bili nepotrebni ili još gori ako su se pretraživanja učinkovito primijenila i to u velikoj mjeri. Bilo je važno i korištenje učenja u procesu samostalne igre kako bi se naučila funkcija vrijednosti (kao što je to slučaj u mnogim drugim igrama, pa čak i u šahu, samo učenje nije igralo veliku ulogu u programu 1997. godine, koji je prvi put pobijedio svjetskog prvaka). Naučiti se igrati sa samim sobom, učenje kao cjelina je poput pretraživanja koje vam omogućuje da primijenite ogromne nizove proračuna. Pretraživanje i učenje dvije su najvažnije klase tehnika koje uključuju ogromne količine računanja u AI istraživanjima. U računaluKao i u računalnom šahu, početni napori istraživača usmjereni su na korištenje ljudskog razumijevanja (tako da je bilo manje pretraživanja), a puno veći uspjeh postignut je tek mnogo kasnije primjenom pretraživanja i učenja.
U području prepoznavanja govora, 1970-ih održano je natjecanje pod pokroviteljstvom DARPA-e. Sudionici su prezentirali razne metode koje su koristile ljudsko znanje - znanje riječi ili foneme, ljudski glasni put i tako dalje. S druge strane barikada postojale su novije metode, statističke naravi i više računanja, temeljene na Hidden Markov Models (HMM). Opet, statističke metode su pobjedile nad metodama temeljenim na znanju. To je dovelo do velikih promjena u čitavoj obradi prirodnog jezika koje su se postupno uvodile tijekom desetljeća, sve dok na kraju statistika i računanje nisu počeli dominirati na terenu. Nedavni uspon dubokog učenja prepoznavanja govora najnoviji je korak u tom dosljednom smjeru. Duboko učenje se još manje oslanja na ljudsko znanje i koristi još više računanja, zajedno sa obukom ogromnih skupova uzoraka, i proizvodi nevjerojatne sustave za prepoznavanje govora.
Richard Sutton, kanadski informatičar.
Kao i u igrama, znanstvenici su uvijek pokušavali stvoriti sustave koji će funkcionirati onako kako su zamislili u glavi - pokušali su to znanje unijeti u svoje sustave - ali sve je ispalo krajnje neproduktivno, znanstvenici su samo trošili vrijeme dok su - zbog Mooreovog zakona - postajali su dostupni sve masivniji proračuni i našli izvrsne primjene.
Slična je slika bila u polju računalnog vida. Prve su metode shvatile kao potragu za određenim konturama, generaliziranim cilindrima ili korištenjem mogućnosti SIFT-a (transformacija značajki na skali od invazije). Ali danas je sve to bačeno u peć. Moderne neuronske mreže dubokog učenja koriste samo koncept savijanja i određenih invarijanata i ostvaruju mnogo bolje rezultate.
Ovo je sjajna lekcija.
Kamo god pogledali, svugdje činimo iste pogreške. Da biste to vidjeli i učinkovito se nosili s tim, morate shvatiti zašto su ove pogreške toliko privlačne. Moramo naučiti gorku lekciju te građenja kako razmišljamo iz onoga kako mislimo da neće dugoročno funkcionirati. Gorka lekcija utemeljena na povijesnom promatranju pokazuje da: 1) istraživači AI često pokušavaju ugraditi znanje u svoje agente; 2) ona je uvijek pomagala u kratkom roku i donijela znanstvenicima zadovoljstvo; 3) ali dugoročno se sve zaustavilo i ometalo daljnji napredak; 4) poremećeni napredak neizbježno je došao i sa suprotnim pristupom, temeljenim na izračunavanju skaliranja putem pretraživanja i učenja. Uspjeh je imao gorak okus i često nije bio potpuno apsorbiran.jer je to uspjeh računanja, a ne uspjeh pristupa usredotočenih na ljude.
Jedna stvar koju treba naučiti iz ove gorke lekcije je ogromna snaga metoda opće namjene, metoda koje se nastavljaju s rastom računanja, čak i kad dostupno računanje postaje vrlo veliko. Dvije metode za koje se čini da proizvoljno razmjeravaju ovaj način su pretraživanje i učenje.
Druga stvar koju treba naučiti iz ove gorke lekcije je da je stvarni sadržaj uma krajnje i nepotrebno složen; trebali bismo prestati pokušavati pronaći jednostavne načine pronalaženja smisla za sadržaj uma, slično jednostavnim načinima pronalaska prostora, predmeta, višestrukih agenata ili simetrije. Svi su oni dio proizvoljno složenog vanjskog svijeta. Ne bismo trebali pokušavati graditi na njima, jer njihova je složenost beskonačna; trebali bismo graditi na meta-metodama koje mogu pronaći i uhvatiti ovu proizvoljnu složenost. Ove metode mogu naći dobre aproksimacije, ali potragu za njima treba provesti naše metode, a ne mi. Trebamo AI agente koji mogu otkriti na isti način kao mi, a ne sadržavati ono što smo otkrili. Nadgradnja naših otkrića samo usložnjava proces otkrivanja i pretraživanja.
Ilya Khel