Prije nekoliko dana portal za pretpristup bioRxiv.org objavio je rad ruskih istraživača s moskovskog Instituta za fiziku i tehnologiju i kompanija Neurobotics i Neuroassistive Technologies, koji razvijaju neurokompjuterska sučelja. U radu se tvrdi da su znanstvenici i programeri uspjeli naučiti algoritam u stvarnom vremenu rekonstruirati videozapis koji je pregledala osoba koristeći EEG signale. Zvuči stvarno cool i zanimljivo - gotovo poput čitanja uma. Zapravo, sve, naravno, nije tako jednostavno: računala nisu naučila čitati misli. Ukratko, računalo je pomoću EEG snimanja utvrdilo koju sliku iz pet različitih prethodno poznatih klasa predmet je vidio. O tome kako je eksperiment izgrađen, koje su zadaće postavili znanstvenici i zašto se čitanje uma vjerojatno neće ostvariti u skoroj budućnosti, kažemo u našem blogu.
Općenito govoreći, ideja čitanja električnog signala mozga i dešifriranje istog tako da možete vidjeti što osoba razmišlja ili radi u određenom trenutku, s obzirom na tempo trenutnog tehnološkog napretka, ne čini se tako teškom. Evo signala, a evo što ovaj signal znači: dodajte dva i dva, uvježbajte klasifikator i dobit ćete rezultat koji nam je potreban.
Rezultat je ono što bi futuristi i neuki ljudi nazvali "čitanje uma". I čini se da bi se takva tehnologija mogla naći u raznim primjenama: od savršenih neuroračunarskih sučelja koja vam omogućuju kontrolu pametnih proteza, do stvaranja sustava koji će vam napokon reći što vaša mačka tamo misli.
U stvarnosti, naravno, sve nije nimalo jednostavno, a ideja o stvaranju takvog algoritma gotovo se odmah raspada na glavnu prepreku: moramo se pozabaviti mozgom. Mozak je vrlo složena stvar: ima više od 80 milijardi neurona, a veze među njima su nekoliko tisuća puta više.
Čak i laicima je jasno: to je previše za nas da bismo razumjeli za što je odgovorna svaka stanica i njihov agregat. Znanstvenici još nisu dešifrirali ljudsku povezanost - čak i ako to pokušavaju s relativnim uspjehom.
Postavlja se logično pitanje: je li uopće potrebno razumjeti funkcije svakog neurona kako bismo točno predstavili što se događa u mozgu? Na primjer, stvarno nema dovoljno funkcionalnih karata?
Odgovor na to pitanje, zapravo, trebao bi biti "da", ali ni ovdje nije tako jednostavno. Da se čovječanstvo oslanjalo na dekodiranje konekoma kao jedinog ključa za otključavanje misterije mozga, tada bismo bili vrlo blizu. Međutim, znamo nešto o tome kako naš mozak funkcionira i, naravno, to možemo uspješno koristiti.
Promotivni video:
Jedan od najsvjetlijih i najočitijih primjera upotrebe znanja prikupljenog od strane znanstvenika o radu mozga su, naravno, neurointerface. Općenito govoreći, danas zaista postoje tehnologije koje omogućuju čitanje moždanih aktivnosti i njihovo korištenje za upravljanje, na primjer, pokazivačem računalnog miša ili čak pokretima proteze.
Postoje dva načina za postizanje učinkovitog rada neuronskog sučelja. Prva metoda evocira potencijale: gledamo krivulju električne aktivnosti određenih dijelova mozga i odabiremo na njoj one promjene u signalu koje se, kao što sigurno znamo, pojavljuju u određenom trenutku nakon predstavljanja podražaja.
Drugi način se uopće ne oslanjati na stimulaciju, već koristiti maštu osobe za generiranje električnog signala koji se može iščitati. Na primjer, od neke osobe može se tražiti da zamisli kako pomiče nogu ili ruku.
Obje metode imaju značajne nedostatke. Prvi je ometen činjenicom da nam broj pouzdano evociranih potencijala nije toliko velik: njihov broj ne može tačno pokriti sve moguće radnje koje je osoba izvršila. Nedostatak drugog je taj što je potreban dug trening kako bi se postigao barem neki učinak.
Autori preprinta odlučili su kombinirati oba pristupa za stvaranje neuroračunarskih sučelja, s pravom vjerujući da će to spasiti obje metode od značajnih ograničenja i omogućiti razvoj nove i trenutno najučinkovitije metode rada s neurointerfaceima.
Također se pretpostavljalo da će ova metoda biti zatvorena (zatvorena petlja), odnosno da će rezultat dobiven uz njegovu pomoć utjecati na rad algoritma. Ali o tome kasnije.
Na samom početku algoritam rastavlja sve slike na zasebne znakove komponenti, distribuirane u vektorskom prostoru, uz pomoć kojih se mogu povezati s određenim signalima mozga snimljenim pomoću EEG-a.
U ovoj se početnoj fazi koristi binarni klasifikator - grubo rečeno, sama "dva i dva": s dovoljno čistim signalom (EEG-zapis je očišćen od motornih artefakata) možete odabrati jedan ili drugi s točnošću većom od slučajnog pogotka.
Znanstvenici su u svojim eksperimentima koristili video zapise iz pet klasa predmeta: slike ljudi, slapovi, apstraktni geometrijski oblici, ekstremni sportovi i automobili Goldberg. S jedne strane, takav se skup čini čudnim, ali s druge se čini da se svi ti predmeti međusobno jako razlikuju. Zaista, ima li što zajedničkog između ljudskih lica i apstraktnih geometrijskih oblika?
U međuvremenu, prema binarnom klasifikatoru, apstraktne figure i ljudska lica međusobno se ne razlikuju: rezultati devet od 17 sudionika studije pokazuju da neuronsko sučelje, očito, nije uspjelo razlikovati između njih. Ali Goldbergovi strojevi i ista lica, s gledišta mozga, naprotiv, međusobno se dobro razlikuju.
Rezultati klasifikacije. A - apstraktni oblici, W - slapovi, HF - ljudska lica, GM - Automobili Goldberg, E - ekstremni sportovi.
Na prvi pogled nije baš jasno zašto se to događa: radije, isti strojevi i geometrijski oblici ne mogu se razlikovati jedan od drugog. Sve postaje malo jasnije ako pogledate primjer okvira iz korištenih videozapisa.
Uzorke slika iz pet razreda.
Najvjerojatnije (možemo ovdje samo pretpostaviti), uspjeh klasifikatora ovisi o tome koliko se slike korištene u dvije klase međusobno razlikuju u nekim površnim, osnovnim značajkama - prije svega u boji. To je također dobro povezano s činjenicom da je dimenzija latentnog prostora u autoenkoderu 10.
Općenito, za razvrstavanje slika iz pet razreda dovoljna je dimenzija pet, ali u ovom slučaju to će se učiniti s maksimalnim histogramom u boji - što znači da se dimenzija 10 neće previše poboljšati i pojasnit će rezultat.
Nije vrlo jasno zašto autori nisu upotrijebili linearni klasifikator za pet klasa odjednom umjesto deset binarnih klasifikatora: najvjerojatnije bi bilo bolje.
Zatim dolazi faza rekonstrukcije rezultirajuće slike. Činjenica da izlazi razmaženo je razumljivo - poanta je u istoj dimenziji latentnog prostora. Ali ovdje se dvije stvari zbunjuju.
Prvi je da su originalne i rekonstruirane slike vrlo slične jedna drugoj. Ovdje, naravno, ne želim nikoga uznemiriti (uključujući sebe - još uvijek napredujemo), ali to nije zbog činjenice da je signal tako dobro snimljen i dekodiran (pa čak i u stvarnom vremenu!), Ali zbog činjenice da algoritam obnavlja točno slike koje je već imao.
Štoviše, to ne funkcionira uvijek onako kako bismo željeli: ako, primjerice, pogledate video rada sustava, primijetit ćete da u videu s plačućim muškarcem neuronsko sučelje iz nekog razloga vidi ženu. To je zato što algoritam ne rekonstruira slike, već predmete određene klase: čak i ako to čini dovoljno učinkovito, ništa ne sprečava algoritam da vidi čamac na slici motocikla - jednostavno zato što pripadaju istoj klasi.
Stoga, ono što se pojavljuje na zaslonu tijekom obnove često je samo prosječna slika svih korištenih predmeta klase.
Što se tiče smislenosti korištenja zatvorenog sustava, tada s njim sve nije baš jasno: kad izvršava zadatak, osoba vidi kako snimanje EEG signala, tako i sliku koja postupno izlazi iz glave. Da li to zapravo pomaže teško je reći - autori nisu uspoređivali performanse sučelja sa i bez pojačanja. Ali na prvi pogled čini se da nije baš. Ako to pomaže, zaista želim znati kako.
Općenito, sa sigurnošću možemo zaključiti da računala nisu naučila čitati misli. Oni čak nisu ni naučili kako ponovo stvoriti videozapis. Sve što su naučili raditi na temelju rada znanstvenika jest razvrstavanje predmeta koje su vidjeli u pet razreda na temelju nekih osnovnih kriterija. Jesu li računala to mogla prije? Naravno da bi mogli. Ima li mozga ovdje? Naravno da postoji: ali mozak vidi, a ne mozak koji razumije što je točno vidio.
Elizaveta Ivtušak