Nedavno su neuronske mreže iznenadile svojim vještinama - možete li vjerovati prije deset godina da računalo može "animirati" portrete Dostojevskog i Marilyn Monroe? Pripremite se zaprepastiti, jer su istraživači na MIT-u stvorili neurološku mrežu Speech2Face koja je sposobna crtati portrete ljudi jednostavno slušajući njihove glasove. Tehnologija je daleko od idealne, ali njezina sposobnost da odredi spol, nacionalnost i dob osobe je impresivna.
Za treniranje neuronske mreže, AVSpeech kit korišten je s milijun kratkih videozapisa s tisućama ljudi koji govore. Zapisi s videozapisom i zvukom su odvojeni, tako da je sustav mogao proučiti svaku vrstu materijala u što je moguće većoj pojedinosti. U prvoj fazi rada algoritam VGG-Face proučavao je video fragmente i stvarao portrete ljudi na njima s izrazima lica i neutralnih lica. Drugi dio algoritma proučavao je spektrogram glasa i primijenio dodatne promjene na rezultirajuće portrete - kao rezultat, dobiven je približan portret svake osobe koja govori.
Neuronska mreža za izradu portreta temeljenih na glasu već je stvarnost
Ako usporedite lice osobe s videozapisom i opcijom koju predlaže algoritam, možete pronaći mnoge razlike. Međutim, istraživači uvjeravaju da u početku nisu željeli stvoriti najsličniji portret osobe - mnogi čimbenici utječu na ton i intonaciju ljudskog glasa, pa ionako ne bi imali idealan rezultat. No neuronska mreža izvrsno čini ono što je važno za istraživače, a to je precizno određivanje spola, nacionalnosti i dobi.
Autori rada primijetili su da je u ovom trenutku algoritam slab u određivanju dobi, ali mogu poboljšati točnost. Utvrđeno je i da algoritam bolje rekreira europska i azijska lica, ali to je samo zbog činjenice da su videozapisi s treninga imali nejednak broj lica različitih nacionalnosti.
Promotivni video:
Zašto vam treba neuronska mreža?
Kako ova tehnologija može biti korisna u budućnosti? Alternativno, uz pomoć njega, jednog dana može se stvoriti usluga u kojoj se automatski kreira virtualni avatar korisnika, na temelju njegovog glasa. Nova studija ima i velike znanstvene koristi - proučavanjem podataka znanstvenici mogu pronaći odnos između izgleda osobe i njegova glasa. Možete slušati glasove i gledati portrete rekreirane na njihovoj osnovi na web stranici projekta.
Ramis Ganiev
