Koristeći tehnologiju za skeniranje moždanih aktivnosti, umjetnu inteligenciju i sintetizator govora, znanstvenici sa Sveučilišta Columbia (SAD) stvorili su uređaj sposoban za prevođenje ljudskih misli u artikulirani govor. Nalazi istraživanja, objavljeni u časopisu Scientific Reports, predstavljaju važan korak u poboljšanju sučelja između mozga i računala. Ubuduće takve uređaje mogu koristiti ljudi koji su izgubili sposobnost govora kao posljedicu ozljede ili bolesti.
Da bi razvili uređaj koji kombinira sposobnosti sintetizatora govora i umjetne inteligencije, autor studije, neuroznanstvenik Nima Mesgarani i njegovi kolege okrenuli su se najnovijim dostignućima u tehnologiji dubokog strojnog učenja i sinteze govora. Rezultat njihovog rada je vokoder utemeljen na umjetnoj inteligenciji, koji je u stanju točno precizno protumačiti moždane aktivnosti izravno iz slušnog korteksa i zatim ga prevesti u razumljiv govor. Autori rada napominju da se govor u ovom slučaju pokazuje vrlo kompjutoriziranim, ali ljudi u većini slučajeva mogu prepoznati riječi.
Prema tvorcima, novi uređaj koji se koristi za reprodukciju rezultirajućeg govora temelji se na istoj tehnologiji koja se koristi kod digitalnih pomoćnika kao što su Alexa, Siri i Google Assistant.
Prvo su stručnjaci obučili vokoder za pravilno tumačenje aktivnosti ljudskog mozga. Zbog toga su znanstvenici pozvali pet volontera koji su bili na liječenju epilepsije da sudjeluju u eksperimentu. Svih pet osoba imali su elektrode implantirane u slušni korteks da bi pročitali elektroencefalogram.
„Zamolili smo pacijente s epileptikom koji su već podvrgnuti operaciji na mozgu da slušaju rečenice koje izgovaraju različite osobe. Istodobno, analizirali smo obrasce u moždanoj aktivnosti pacijenata. Vokoder je osposobljen na dobivenim neuronskim modelima , objašnjava Mesgarani.
Pacijenti su zamoljeni da slušaju snimke u kojima su glumci čitali nizove brojeva od 0 do 9. Istovremeno su znanstvenici snimali signale iz mozga, a zatim ih prosljeđivali kroz vokoder, signale za koje su ispravljali neuronsku mrežu kako bi poboljšali jasnoću, a analizirali su zvukove samog vokodera, koji su proizveli zvukove kao odgovor na te signale. Kao rezultat toga, mogao se čuti robotizirani glas koji je ponavljao niz izgovorenih brojeva. Kako bi procijenili rezultate, znanstvenici su pozvali 11 osoba izvrsnog sluha.
„Pokazalo se da ljudi mogu prepoznati riječi otprilike 75% vremena, što je znatno nadmašeno u odnosu na sve prethodne pokušaje. Osjetljivi vokoder i moćne neuronske mreže stvarali su zvukove koje su pacijenti slušali sa zadivljujućom preciznošću “, komentira Mesgarani.
Promotivni video:
Mesgaranijin tim ubuduće će naučiti neuronu mrežu izgovarati složenije riječi, izraze, pa čak i cijele rečenice. Nakon toga, žele razviti implantat koji može prevesti čovjekove misli u cjelovit govor.
"Na primjer, ako vlasnik implantata misli:" Treba mi čaša vode ", naš sustav čita signale mozga i prevodi ih u govor. To će svakom ko je izgubio sposobnost da govori zbog ozljede ili bolesti, pružiti novu priliku za komunikaciju sa svijetom oko sebe “, dodaje Mesgarani.
Nikolaj Khizhnyak