S razvojem neuronskih mreža i tehnologija strojnog učenja, širi se i područje njihove primjene. Ako su se ranije neuronske mreže koristile isključivo za obavljanje složenih matematičkih, medicinskih, fizikalnih, bioloških izračunavanja i predviđanja, sada ove tehnologije dobijaju široku popularnost u "svjetovnijem" okruženju - na polju zabave. Poduzimajući samo prve korake u tom smjeru, već su sposobni pokazati nevjerojatne, a ponekad i izvanredne rezultate. Danas ćemo analizirati nekoliko ilustrativnih primjera.
Proces remaster videa toliko je kompliciran i dugotrajan da možda nikada nismo vidjeli mnoštvo remek djela svjetske klasike s novom, modernom, jasnom i sočnom slikom. Međutim, svijet je prepun pametnih obožavatelja i entuzijasta koji su dobro upućeni u nove tehnologije, posebno neuronske mreže i tehnologije strojnog učenja, s kojima možete postići nevjerojatne rezultate čak i kod kuće. Primjerice, korisnik YouTubea Stefan Rumen s pseudonimom CaptRobau odlučio je demonstrirati neke mogućnosti neuronskih mreža u obradi videa stare serije znanstvene fantastike.
Njegovo ranije djelo je Remako Mod, "HD remake" klasičnog i vrlo popularnog japanskog RPG Final Fantasy VII. Da bi to učinio, upotrijebio je AI algoritam AI Gigapixel s kojim je uspio 4 puta skalirati sliku izvorne slike, pretvarajući je u HD rezoluciju bez ikakvih značajnih promjena originalnog umjetničkog dizajna. Dakle, dok čekate još jedno desetljeće do trenutka kada japanski programer i izdavač računalnih igara Square Enix službeno objavljuje remaster možda jednog od najboljih dijelova ove serije igara, sami možete isprobati mod Stefana Rumena tako što ćete ga preuzeti s ove stranice.
Usput, nedavno su tehnologije neuronske mreže za preuređivanje starih igara i njihovo donošenje relevantnijeg i modernijeg izgleda bez promjene općeg izvornog koncepta postale pravi trend među različitim moderima. Na primjer, ne tako davno razgovarali smo o ESRGAN (Enhanced Super Resolution Generative Adversarial Networks) tehnologiji, koja implementira tehnologije skaliranja slike s 2-8x povećanjem kvalitete. Algoritam „hrani“izvornu sliku niskom razlučivošću, nakon čega ne samo da povećava originalnu rezoluciju potonje, već i poboljšava kvalitetu slike, slikajući na realističnim detaljima i čineći teksture “prirodnijima”.
Usporedba kvalitete teksture: s lijeve strane je izvorna tekstura iz igre Morrowind, s desne strane - obrađena je neuronska mreža.
Lik iz Doom-a (lijevo - bilo, desno - postao).
Pozadina obrade u Resident Evil 3.
Promotivni video:
Bez obzira na to, u intervalima između remasteriranja „Sedmog finala“Stefan Rumen odlučio je pokrenuti još jedan projekt - upotrijebiti istu tehnologiju strojnog učenja, ali ovaj put za obradu okvira klasične serije znanstvene fantastike 90-ih. Rumen je za svoj eksperiment odabrao Star Trek: Deep Space Nine.
Skaliranje žive slike TV serije vrlo se razlikuje po složenosti od skaliranja unaprijed pripremljene slike Final Fantasy VII, napominje autor, tako da je konačni rezultat, iako izgleda primjetno bolje od originalnih materijala u niskoj rezoluciji, ali ova je slika još uvijek daleko od idealnog o kojem mogli ste sanjati otkad su prvi Blu-ray playeri napali tržište. Povremeno se na ekranu pojavljuju mali "artefakti". Ali, opet, općenito, sve izgleda više nego vrijedno. Ali, općenito, uvjerite se sami.
Rumen je za ovaj projekt koristio i algoritam AI Gigapixel, koji je osposobljen za uređivanje slika na temelju stvarnih fotografija. Autor napominje da je nova slika snimljena u 1080p i 4k, ali budući da Rumen nema televizor ili monitor s nativnom 4K rezolucijom, ne može adekvatno procijeniti 4K verziju.
Nažalost, ne možete gledati cijelu seriju u Full HD kvaliteti. Postupak obrade svih izvornih materijala trajao bi jako dugo, tako da je Rumen za demonstraciju koristio samo odvojene kadrove iz različitih serija. Prema njegovim riječima, ovaj se projekt zauzeo samo iz jednog razloga - kako bi pokazao da je to stvarno moguće. Prema njegovom mišljenju, čitav tim profesionalaca koji rade u velikoj televizijskoj kompaniji i imaju na raspolaganju prikladniju i moćniju računalnu opremu za takav rad moći će se mnogo bolje suočiti s tim zadatkom.
Korištenje neuronskih mreža za pojednostavljenje rada na obradi starih slika iz videoigara i filmova nisu jedina područja na kojima takve tehnologije mogu pokazati svoj talent. U modernom svijetu, gdje panoramske kamere sposobne proizvesti 360 stupnjeva, kao i slušalice virtualne stvarnosti, dobivaju na popularnosti, programeri su počeli aktivno istraživati potencijal panoramske fotografije.
Jedno od najnovijih dostignuća u ovom smjeru je neuronska mreža sposobna zvučati panoramske statičke slike. Autor je stručnjaka za strojno učenje sa sveučilišta Massachusetts, Columbia University i Sveučilišta George Mason.
Stvoreni algoritam određuje vrstu okruženja i objekata na fotografiji, a zatim odabire i uređuje zvukove iz korištene baze podataka u skladu s prostornim proračunom udaljenosti do njihovih izvora na ovoj slici. Zahvaljujući tome, panoramska slika dobiva realističan i prostran zvuk koji vam omogućuje da ocijenite predstavljenu sliku na potpuno novi način.
Prema programerima ove neuronske mreže, tehnologija bi mogla pronaći interes među programerima VR sadržaja (filmova i igara). Potonji, u ovom slučaju, neće morati ručno prekrivati sve zvukove na panoramskoj slici, neuronska mreža moći će sve raditi sama.
Nikolaj Khizhnyak