Ruski stručnjaci iz Samsung AI Centra-Moskva, u suradnji s inženjerima Instituta za znanost i tehnologiju Skolkovo, razvili su sustav sposoban za stvaranje realističnih animiranih slika ljudskih lica na temelju samo nekoliko statičkih ljudskih okvira. Obično je u ovom slučaju potrebna uporaba velikih baza podataka slika, međutim, na primjeru koji su predstavili programeri, sustav je osposobljen za stvaranje animirane slike ljudskog lica iz samo osam statičkih okvira, a u nekim je slučajevima jedna bila dovoljna. Više pojedinosti o razvoju potražite u članku objavljenom u mrežnom spremištu ArXiv.org.
U pravilu je prilično teško reproducirati fotorealistični personalizirani modul ljudskog lica zbog visoke fotometrijske, geometrijske i kinematske složenosti reprodukcije ljudske glave. To se objašnjava ne samo složenošću modeliranja lica u cjelini (za to postoji veliki broj pristupa modeliranju), već i složenošću modeliranja određenih značajki: usne šupljine, kose i tako dalje. Drugi čimbenik kompliciranja naša je tendencija da u gotovom modelu ljudskih glava uočimo i manje nedostatke. Ova niska tolerancija za pogreške u modeliranju objašnjava trenutnu rasprostranjenost ne-fotorealističnih avatara koji se koriste u telekonferencijama.
Prema autorima, sustav nazvan Fewshot učenjem može stvoriti visoko realistične modele ljudi koji govore u glavi, pa čak i portretne slike. Algoritmi sintetiziraju sliku glave iste osobe s linijama referenci na licu uzetim iz drugog fragmenta videozapisa ili koristeći referentne točke lica druge osobe. Kao izvor materijala za obuku sustava, programeri su koristili veliku bazu podataka video slavnih. Da bi postigao najprecizniju moguću glavu za razgovor, sustav treba koristiti više od 32 slike.
Da bi stvorili realističnije animirane slike lica, programeri su koristili prethodna dostignuća u generativnom adversarijalnom modeliranju (GAN, gdje neuronska mreža osmišljava detalje slike, ustvari postaje umjetnik), kao i mašinski meta-učenje, gdje je svaki element sustava osposobljen i osmišljen da riješi neke određeni zadatak.
Shema meta učenja.
Promotivni video:
Tri neuronske mreže korištene su za obradu statičkih slika glave ljudi i njihovo pretvaranje u animirane: Embedder (implementacijska mreža), Generator (generacija mreža) i Discriminator (mreža diskriminatora). Prva particija prikazuje slike glave (s približnim orijentacijama na licu) u ugrađenim vektorima, koji sadrže informacije neovisne o pozi, druga mreža koristi orijentire lica dobivene ugradbenom mrežom i na njima generira nove podatke pomoću skupa slojevitih slojeva koji pružaju otpor promjenama razmjera, pomacima, zavoji, promjena kuta i druga izobličenja izvorne slike lica. Mrežni diskriminator koristi se za procjenu kvalitete i istinitosti druge dvije mreže. Kao rezultat toga, sustav pretvara orijentire lica osobe u fotografije personalizirane u realističnom obliku.
Programeri naglašavaju da je njihov sustav sposoban inicijalizirati parametre i generacijske mreže i mreže diskriminirača pojedinačno za svaku osobu na slici, tako da se proces učenja može temeljiti na samo nekoliko slika, što povećava njegovu brzinu, usprkos potrebi odabira desetaka milijuna parametara.
Nikolaj Khizhnyak
