Kad je moj prvi sin imao samo dvije godine, već je volio automobile, poznavao je sve marke i modele (čak i više nego što sam ih, zahvaljujući mojim prijateljima), mogao prepoznati po malom dijelu slike. Svi su rekli: genijalno. Iako su primijetili potpunu beskorisnost ovog znanja. A sin je u međuvremenu spavao s njima, valjao ih, stavljao ih točno u red ili na trg.
Kad je imao 4 godine, naučio je brojati, a s 5 je već mogao množiti i dodavati u roku od 1000. Čak smo igrali Math Workout (ova igra je na Androidu - volio sam računati u podzemnoj željeznici nakon posla), a u nekom trenutku postao je i ja samo tako. A u slobodno vrijeme brojao je do milijun, što je zamrznulo one oko sebe. Genius! - rekli su, ali sumnjali smo da nije baš.
Usput, na tržištu je prilično dobro pomogao svojoj majci - izračunao je ukupni iznos brže od prodavača na kalkulatoru.
U isto vrijeme, nikad se nije igrao na terenu, nije komunicirao s vršnjacima, nije se baš dobro slagao s djecom i učiteljima u vrtiću. Općenito, bio je malo rezervirano dijete.
Sljedeći korak bila je geografija - pokušali smo negdje usmjeriti ljubav prema brojevima i dali smo sinu stari sovjetski atlas. Upao je u njega mjesec dana, a nakon toga počeo nam je postavljati škakljiva pitanja u stilu:
- Tata, što misliš, koja zemlja ima veliko područje: Pakistan ili Mozambik?
"Vjerojatno Mozambik", odgovorio sam.
- Ali ne! Površina Pakistana je čak 2.350 km2 više - radosno je odgovorio sin.
Promotivni video:
U isto vrijeme, njega apsolutno nisu zanimali ni narodi koji su nastanjivali ove zemlje, ni njihovi jezici, ni odjeća, ni narodna glazba. Samo goli broj: površina, broj stanovnika, količina mineralnih rezervi itd.
Svi se opet divili. "Pametan nakon njegovih godina", rekoše okolo, ali ja sam se opet zabrinuo, jer Shvatila sam da je to potpuno beskorisno znanje, nije vezano za životno iskustvo i koje je teško dalje razvijati. Najbolja primjena od svega što sam pronašao bio je prijedlog za izračunavanje koliko automobila bi se smjestilo na parkiralištu ako bi se određena zemlja valjala asfaltom (ne vodeći računa o planinskom terenu), ali brzo sam stao, jer to prkosi genocidu.
Zanimljivo je da je u ovo vrijeme tema automobila potpuno nestala, sin se nije sjetio imena svojih najdražih automobila iz svoje ogromne kolekcije, koju smo počeli distribuirati gubitkom interesa. A onda je počeo polagano računati u svom umu i ubrzo je zaboravio trgove zemalja. U isto vrijeme, počeo je više komunicirati s vršnjacima, postao je više kontakt. Genij je prošao, prijatelji su se prestali diviti, sin je postao samo dobar učenik sa sklonošću prema matematici i egzaktnim znanostima.
Ponavljanje je majka učenja
Činilo bi se čemu sve ovo služi. To se vidi kod mnoge djece. Njihovi roditelji izjavljuju svima da su im djeca genijalna, bake se dive i hvale djecu zbog njihovog "znanja". I tada izrastaju u običnu, jednostavno pametnu djecu, ne više genijalnu od sina prijatelja moje majke.
Tijekom proučavanja neuronskih mreža naišao sam na sličan fenomen, a čini mi se da se iz ove analogije mogu izvući određeni zaključci. Nisam biolog ili neuroznanstvenica. Sve dalje - moja pretpostavka bez tvrdnje da su posebno znanstveni. Bilo bi mi drago primiti komentare profesionalaca.
Kad sam pokušao shvatiti kako je moj sin naučio brojati brže od mene tako cool (završio je razinu u Math Workoutu za 20,4 sekunde, dok mi je rekord bio 21,9), shvatio sam da uopće ne broji. Zapamtio je da kad se pojavi 55 + 17, trebate kliknuti na 72. Na 45 + 38 morate kliknuti na 83 i tako dalje. U početku je, naravno, računao, ali skok u brzini dogodio se u trenutku kada je uspio zapamtiti sve kombinacije. I vrlo brzo počeo je pamtiti ne specifične natpise, već kombinacije simbola. Upravo to uče u školi, proučavajući tablicu množenja - sjetite se dopisne tablice MxN -> P.
Pokazalo se da on većinu informacija shvaća upravo kao vezu između ulaznih podataka i izlaznih podataka, a da se vrlo općenit algoritam po kojem smo navikli da dobijemo odgovor nije svodio samo na vrlo dobro izoštren visoko specijalizirani algoritam za brojanje dvoznamenkastih brojeva. Obavljao je izvrsne zadatke, ali puno sporije. Oni. ono što su svi smatrali super kulim zapravo je simulirano od strane dobro obučene neuronske mreže za određeni zadatak.
Dodatno znanje
Zašto neka djeca imaju mogućnost pamćenja na ovaj način, dok druga ne?
Zamislite područje interesa djeteta (ovdje pitanju pristupamo kvalitativno, bez ikakvih mjerenja). S lijeve strane je polje interesa običnog djeteta, a s desne je polje interesa „darovitog“djeteta. Kao što se i očekivalo, glavni interes je koncentriran na područja za koja je posebna sklonost. No, za svakodnevne stvari i komunikaciju s vršnjacima, fokus više nije dovoljan. Smatra da je to znanje suvišnim.
Interesi običnog djeteta starog 5 godina.
Interesi "briljantnog" djeteta starog 5 godina.
U takve djece mozak analizira i provodi trening samo na odabranim temama. Kroz trening, neuronska mreža u mozgu mora naučiti kako uspješno klasificirati dolazne podatke. Ali mozak ima na raspolaganju mnogo, mnogo neurona. Puno više nego što je potrebno za normalan rad s tako jednostavnim zadacima. Obično djeca rješavaju različite probleme u životu, ali ovdje se svi isti resursi bacaju na uži skup zadataka. A trening u ovom načinu lako dovodi do onoga što ML profesionalci nazivaju prefinjenim. Mreža se, koristeći obilje koeficijenata (neurona), osposobila na takav način da uvijek daje točno potrebne odgovore (ali na posrednim ulaznim podacima može dati potpunu glupost, ali nitko je ne vidi). Dakle, trening nije vodio do toga da je mozak odabrao glavne karakteristike i pamtio ih, već do činjenice da je prilagodio mnoge koeficijente,da biste dobili točan rezultat na već poznatim podacima (kao na slici desno). Štoviše, mozak je tako naučio i na drugim temama, loše trenirajući (kao na slici lijevo).
Što je underfitting i overfitting?
Za one koji nisu u temi, reći ću vam vrlo kratko. Tijekom treniranja neuronske mreže, zadatak je odabrati određeni broj parametara (težine veze između neurona) tako da mreža reagira na podatke treninga (uzorak treninga) što je moguće bliže i točnije.
Ako je premalo takvih parametara, mreža neće moći uzeti u obzir detalje uzorka, što će dovesti do vrlo grubog i prosječnog odgovora koji ne djeluje dobro čak ni na uzorku treninga. Slično je slici gore gore. To je nedovoljno.
Uz adekvatan broj parametara, mreža će dati dobar rezultat, "gutajući" snažna odstupanja u podacima o treningu. Takva mreža će dobro reagirati ne samo na uzorak treninga, već i na druge srednje vrijednosti. Poput srednje slike iznad.
Ali ako mreži date previše konfigurabilnih parametara, tada će se uvježbati da reproducira čak i jaka odstupanja i fluktuacije (uključujući i one uzrokovane pogreškama), što može dovesti do potpune gluposti kada pokušava dobiti odgovor na ulazne podatke, a ne iz uzorka treninga. Nešto poput slike desno iznad. To je prefinjeno.
Jednostavan ilustrativni primjer.
Recimo da imate više točaka (plavi krugovi). Morate nacrtati glatku krivulju da biste predvidjeli položaj ostalih točaka. Uzmimo li, na primjer, polinom, tada ćemo u malim stupnjevima (do 3 ili 4) naša glatka krivulja biti prilično točna (plava krivulja). U ovom slučaju, plava krivulja možda neće proći kroz izvorne točke (plave točke).
Međutim, ako se poveća broj koeficijenata (a samim tim i stupanj polinoma), tada će se povećati točnost prolaska plavih točaka (ili će čak doći do 100% pogotka), ali ponašanje između tih točaka postat će nepredvidivo (pogledajte kako fluktuira crvena krivulja).
Čini mi se da djetetova tendencija prema određenoj temi (opsesija) i potpuno nepoznavanje ostalih tema dovodi do toga da kad predajemo previše "koeficijenata" daje se baš tim temama.
S obzirom da je mreža konfigurirana za određene ulazne podatke i nije istaknula "značajke", već je glupo "zapamtila" ulazne podatke, ne može se koristiti s nešto drugačijim ulaznim podacima. Primjenjivost takve mreže je vrlo uska. S godinama se horizonti proširuju, fokus postaje zamagljen, pa više nema mogućnosti dodijeliti istom broju neurona istom zadatku - počinju se koristiti u novim zadacima potrebnim djetetu. "Postavke" te prepune mreže se urušavaju, dijete postaje "normalno", genij nestaje.
Naravno, ako dijete ima vještinu koja je sama po sebi korisna i može se razvijati (na primjer, glazba ili sport), tada se njegov „genij“može dugo održavati i čak te vještine doveo do profesionalne razine. Ali u većini slučajeva to ne uspije, a od starih vještina do 8-10 godina neće biti ni traga.
zaključci
- imaš li genijalno dijete? proći će;)
- izgled i "genij" su povezane stvari, a povezane su upravo kroz mehanizam učenja
- ovaj prividni "genij" najvjerojatnije uopće nije genij, ali učinak prejakog treniranja mozga na određenom zadatku bez da ga razumije - upravo su svi resursi bili posvećeni ovom zadatku
- pri ispravljanju uskih interesa djeteta nestaje njegov genij
- ako je vaše dijete "genijalno" i malo suzdržanije od vršnjaka, onda trebate dalje pažljivo razvijati te iste vještine, paralelno aktivno razvijajući svoje horizonte, a ne fokusirati se na ove "cool", ali obično beskorisne vještine
Autor: Sergej Poltorak