Na američkoj zapadnoj obali, najvrjednije svjetske tvrtke pokušavaju umjetnu inteligenciju učiniti pametnijom. Google i Facebook hvale se eksperimentima koristeći milijarde fotografija i tisuće procesora visokih performansi. No, krajem prošle godine, projekt u istočnom Tennesseeju tiho je nadmašio razmjere bilo kojeg korporativnog AI laboratorija. I njime je upravljala američka vlada.
Američko vladino superračunalo ruši rekorde
Rekordni projekt uključivao je najmoćniji svjetski superračunalo, Summit, u Nacionalnoj laboratoriji Oak Ridge. Ovaj je automobil osvojio krunu prošlog lipnja, vraćajući titulu u SAD pet godina kasnije kada je Kina na vrhu liste. U sklopu projekta istraživanja klime, divovsko računalo pokrenulo je eksperiment strojnog učenja brži nego ikad prije.
Summit, koji pokriva područje ekvivalentno dvama teniskim terenima, u ovom je projektu koristio više od 27 000 GPU-a. Iskoristio je njihovu moć za obuku algoritama dubokog učenja, same tehnologije koja podupire naprednu umjetnu inteligenciju. U dubokom učenju algoritmi izvode vježbe pri milijardi milijardi operacija u sekundi, poznatim u krugovima superračunanja kao egzaflop.
"Duboko učenje nikad prije nije postiglo takvu razinu performansi", kaže Prabhat, vođa istraživačkog tima Nacionalnog centra za istraživanje energije u Nacionalnoj laboratoriji Lawrence Berkeley. Njegov tim surađivao je s istraživačima iz Summitovog sjedišta, Nacionalnog laboratorija Oak Ridge.
Kao što možda nagađate, AI obuka najmoćnijeg računala na svijetu usredotočena je na jedan od najvećih svjetskih izazova - klimatske promjene. Tehničke tvrtke treniraju algoritme za prepoznavanje lica ili putokaza; Vladini znanstvenici obučili su ih da prepoznaju vremenske obrasce poput ciklona iz klimatskih modela koji komprimiraju stogodišnje prognoze Zemljine atmosfere u tri sata. (Ipak, nejasno je koliko energije je projekt zahtijevao i koliko ugljika se u tom procesu ispuštalo u zrak).
Promotivni video:
Vrhunski eksperiment ima posljedice za budućnost umjetne inteligencije i klimatologije. Projekt pokazuje znanstveni potencijal prilagođavanja dubokog učenja superračunalima koji tradicionalno simuliraju fizičke i kemijske procese poput nuklearnih eksplozija, crnih rupa ili novih materijala. To također pokazuje da strojno učenje može imati koristi od veće računalne snage - ako ga možete pronaći - te osigurati napredak u budućnosti.
"Nismo znali da se to može učiniti na ovoj skali dok to nismo učinili", kaže Rajat Monga, CTO iz Googlea. On i ostali Googlersi pomogli su projektu prilagodbom tvrtke open source TensorFlow softverskog strojnog učenja za Summitove gigantske razmjere.
Veliki dio posla na dubinskom skaliranju učenja obavljen je u podatkovnim centrima internetskih tvrtki, gdje poslužitelji rade zajedno na problemima, razdvajajući ih jer su relativno razdvojeni, a ne povezani u jedno ogromno računalo. Superračunala poput Summita imaju drugačiju arhitekturu, s specijaliziranim brzinama koje povezuju njihove tisuće procesora u jedinstveni sustav koji može raditi kao cjelina. Donedavno je bilo relativno malo posla na prilagođavanju strojnog učenja za rad s ovom vrstom hardvera.
Monga kaže da će rad na prilagođavanju TensorFlow ljestvici na summitu također podržati Googleove napore na proširenju svojih unutarnjih sustava umjetne inteligencije. Nvidia inženjeri također su sudjelovali u ovom projektu, osiguravajući da deseci tisuća Nvidia GPU-a na ovom stroju rade bez problema.
Pronalaženje načina za korištenje veće računalne snage u algoritmima dubokog učenja bilo je od velike važnosti za trenutni razvoj tehnologije. Ista tehnologija koju Siri koristi za prepoznavanje glasa i Waymo automobili za čitanje prometnih znakova postala je korisna 2012. godine nakon što su je znanstvenici prilagodili da rade na Nvidia GPU-ovima.
U analizi objavljenoj prošlog svibnja, znanstvenici OpenAI-a, istraživačkog instituta u San Franciscu koji je osnovao Elon Musk, procijenili su da se količina računalne snage u najvećim javnim eksperimentima strojnog učenja udvostručila otprilike svakih 3,43 mjeseca od 2012. godine; ovo bi predstavljalo 11-puta povećanje u godini. Ovaj napredak pomogao je botu Alphabet-a da pobijedi prvake u zahtjevnim daskama i video igrama, a također je značajno poboljšao točnost Googleovog prevoditelja.
Google i druge tvrtke trenutno stvaraju nove vrste čipova omogućenih AI kako bi nastavili ovaj trend. Google kaže da podsjetnici s tisućama AI čipova usko raspoređenih - duplicirani tenzorski procesori ili TPU - mogu osigurati 100 petaflopa procesne snage, što je desetinu brzine koju je postigao Summit.
Prilozi Summita o klimatskim znanostima pokazuju kako gigantski AI može poboljšati naše razumijevanje budućih vremenskih uvjeta. Kada istraživači generiraju stoljetne vremenske prognoze, čitanje rezultirajuće prognoze postaje izazovno. „Zamislite da imate YouTube film koji se prikazuje već 100 godina. Nema načina da ručno pronađete sve mačke i pse u ovom filmu , kaže Prabhat. Obično se softver koristi za automatizaciju ovog postupka, ali nije savršen. Rezultati summita pokazali su da strojno učenje može ovo učiniti puno bolje, što bi trebalo pomoći predviđanju oluja poput poplava.
Prema Michaelu Pritchardu, profesoru na kalifornijskom sveučilištu u Irvineu, pokretanje dubokog učenja na superračunalima relativno je nova ideja koja je došla u pogodno vrijeme za klimatske istraživače. Usporavanje razvoja tradicionalnih procesora dovelo je inženjere do opremanja superračunala sve većim brojem grafičkih čipova kako bi dosljedno poboljšali performanse. "Došlo je vrijeme kada više ne možete povećati moć obrade na uobičajeni način", kaže Pritchard.
Taj je pomak zaustavio tradicionalno modeliranje i morao se prilagoditi. Također otvara vrata za iskorištavanje moći dubinskog učenja, koje se, naravno, prepušta grafičkim čipovima. Možda ćemo steći jasniju sliku budućnosti naše klime.
Ilya Khel