Polje umjetne inteligencije često se uspoređuje s naftnom industrijom: jednom ekstrahiranjem i rafiniranjem podaci, poput nafte, mogu postati vrlo profitabilna roba. Međutim, sada postaje očito da se ta metafora širi. Kao i fosilna goriva, duboko učenje ima ogroman utjecaj na okoliš. U novoj studiji, znanstvenici sa Sveučilišta u Massachusettsu Amherst procijenili su životni ciklus učenja nekoliko uobičajenih velikih AI modela.
Otkrio je da ovaj postupak može stvoriti više od 626.000 funti (oko 300.000 kg) ekvivalenta ugljičnog dioksida, što je gotovo pet puta veću emisiju od tipičnog automobila u pet godina (uključujući i samu proizvodnju automobila).
Kako se treniraju AI modeli
Ovo je zapanjujuća kvantifikacija onoga u što su istraživači AI dugo sumnjali.
Ugljen otisak prirodnog jezika
Promotivni video:
U radu se posebno obrađuje proces obuke modela za obradu prirodnog jezika (NLP), potpolje AI-ja koji se bavi strojevima za obuku za rad s ljudskim jezikom. U protekle dvije godine NLP zajednica napravila je nekoliko važnih prekretnica u području strojnog prijevoda, dovršavanja rečenica i ostalih zadataka ocjenjivanja. Zloglasni OpenAI GPT-2 model, kao primjer, uspio je napisati uvjerljive lažne vijesti.
Ali takav napredak zahtijeva obuku sve većih modela na rastegnutim nizovima podataka iz rečenica izvučenih s Interneta. Ovaj je pristup računski skup i veoma energetski intenzivan.
Istraživači su pogledali četiri modela u području odgovornim za najveće skokove u performansama: Transformer, ELMo, BERT i GPT-2. Osposobljavali su svakog od njih na jednom GPU-u na dan za mjerenje potrošnje energije.
Zatim su uzeli broj sati treninga navedenih u izvornim dokumentima modela kako bi izračunali ukupnu potrošenu energiju tijekom cijelog procesa obuke. Taj je iznos pretvoren u protuvrijednost kilograma ugljičnog dioksida, što je u skladu s mješavinom energije AWS iz Amazona, najvećeg svjetskog pružatelja usluga oblaka.
Utvrđeno je da su se računski i okolišni troškovi obuke povećavali proporcionalno veličini modela, a zatim eksponencijalno povećavali kad je konačna točnost modela bila podešena. Pretraživanje neuronske arhitekture koja pokušava optimizirati model postupnim mijenjanjem strukture neuronske mreže putem pokušaja i pogreške uzrokuje izuzetno visoke troškove s malim dobitkom performansi. Bez njega, najskuplji BERT model ostavio je ugljični otisak od 1.400 funti (635 kg), blizu transameričkog obilaska.
Nadalje, ove brojke trebale bi se smatrati samo osnovnim vrijednostima.
Znanstvenici, prema svemu sudeći, procjenjuju da je za izradu i testiranje konačnog modela vrijednog objavljivanja potrebno obučiti 4.789 modela u šest mjeseci. Što se tiče ekvivalenta CO2, to je oko 35.000 kg.
Značaj ovih brojeva je ogroman, posebno imajući u vidu trenutne trendove u AI istraživanju. Općenito, AI istraživanje zanemaruje učinkovitost, jer su velike neuronske mreže prepoznate kao korisne za razne zadatke, a tvrtke s neograničenim računalnim resursima koristit će ih za postizanje konkurentske prednosti.
Ilya Khel
