Cerebras Systems, mlada tvrtka za umjetnu inteligenciju, spremna je pokazati svijetu Cerebras WSE (Cerebras Wafer Scale Engine) - najveći, najmoćniji i najpametniji poluvodički čip u povijesti.
Cerebras WSE ima 1,2 bilijuna tranzistora, osnovne elektroničke sklopke, koji su sastavni dijelovi silicijskih čipova. Za usporedbu, prvi Intelov procesor 4004, objavljen 1971., imao je 2.300 tranzistora, dok najnoviji Advanced Micro Devices procesor ima 32 milijarde tranzistora. Međutim, ovdje se uopće ne radi o broju tranzistora.
Većina čipova na svijetu zapravo je skup čipova koji su stvoreni na bazi 12-inčnih silikonskih rezina - proizvode se u posebnim tvornicama u ogromnim serijama. Ali čip Cerebras Systems je 400.000 jezgara spojenih na jednoj ploči. Priključci su dizajnirani da rade velikim brzinama, zbog čega trilijun tranzistora djeluje zajedno. Ali to nije sve.
Do danas je najveći svjetski čip stvorio Samsung - njegova struktura izgrađena je na 2 bilijuna tranzistora. Međutim, Samsung čip samo je ogromna memorijska kartica, a Cerebras čip najsloženija neuronska mreža posebno stvorena za obuku umjetne inteligencije. Cerebrasov čip ima 400.000 jezgara na 42.225 kvadratnih milimetara. To je 56,7x veće od Nvidijinog najvećeg GPU-a sa samo 21,1 milijardi tranzistora.
Još jedna značajka Cerebras WSE je da je čip dizajniran tako da se usmjeri oko neispravnih područja.
Tijekom izrade čipova nije moguće usavršiti cijelu silicijsku siliciju, pa se proizvodnim procesom stvaraju neupotrebljiva područja. Nvidia, Intel i ostali proizvođači čipova problem jednostavno rješavaju: izrezuju „prave“čipove u proizvodnoj rezini, a ostatak izbacuju. Ali to se ne može učiniti ako je svaki čip silikonske rezine dio zajedničkog kruga. Stoga su Cerebre morale graditi suvišne krugove, da bi u slučaju kvara ili izgaranja jednog od njih ostatak preuzeo njegove funkcije. To je, u stvari, Cerebras čip minijaturni Internet s vlastitim poslužiteljima i radnim stanicama. A sve su te stanice dizajnirane da služe jednoj umjetnoj inteligenciji.
Tvrtke koje razvijaju vlastiti AI danas su glavni potrošači čip tehnologije, kupuju dijelove u ogromnim količinama. A veličina korištenih žetona od presudne je važnosti u procesu AI treninga.
Promotivni video:
Google, Facebook, OpenAI, Tencent, Baidu i mnogi drugi tvrde da je temeljno ograničenje suvremenog AI to što traje predugo za treniranje modela. Primjerice, superračunalo Nvidia, koje se sastoji od desetaka vrhunskih GPU-a, provodi nekoliko tjedana izvršavajući kôd - to jest, učeći neutronsku mrežu.
Rješenje problema bilo bi povećati broj čipova u računalu, međutim, kada je sastavljeno više od osam čipova, performanse računala više se ne povećavaju, već opadaju, jer se tijekom razmjene informacija nakupljaju pogreške.
Programeri sami opisuju svoj projekt na sljedeći način: „Najteži dio AI je kretanje podataka. Obuka neuronske mreže zahtijeva da se u bilo kojem trenutku paralelno izvode tisuće operacija, a čipovi moraju stalno komunicirati dok izvode ove paralelne operacije. No računala s više IC-ova raspadaju se pokušavajući prenijeti podatke između IC-a preko sporih žica koje ih spajaju na PCB-u. Trebalo vam je nešto što može kretati podatke brzinom samog čipa. Rješenje je bilo uzeti najveći tanjur koji možete pronaći i izrezati najveći čip iz njega."
Memorija je ključna komponenta svake arhitekture računala. Memorija bliža računarskim jedinicama omogućuje brže računanje, niže kašnjenje i bolju energetsku učinkovitost pri premještanju podataka. Međutim, veličina matrice je ograničena i većina memorije u računalu nalazi se izvan matrice. Cerebras Systems zaobišao je ovaj problem, dajući svakoj jezgri pristup do 18 gigabajta interne memorije. Kao rezultat toga, Cerebras Wafer Scale Engine ima 3.000 puta više ugrađene memorije od najnaprednijeg grafičkog procesora, istovremeno pružajući 10.000 puta veću propusnost.
Prvi uzorci novog čipa naći će se u prodaji u rujnu, dok je Cerebras Systems, kršeći sva postojeća pravila računalne industrije, također prekršio načelo razdvajanja proizvodnje računalnih jedinica i čipova. Cerebras Wafer Scale Engine plasirat će se kao jedinstven, kompanijski razvijen uređaj integriran u složenu mrežu za hlađenje vodom, jer čip stvara ekstremnu toplinu, trošeći 15 kilovata na tako malom području.
Osnivač i izvršni direktor tvrtke Cerebras Systems kaže: „Osmišljen od temelja za suradnju s AI-om, Cerebras WSE sadrži temeljne inovacije koje napokon razbijaju višedecenijsku stagnaciju trenutnog stanja tehnike. Kao rezultat toga, Cerebras WSE pruža stotine ili tisuće puta veći učinak u odnosu na moderna modularna rješenja. I sve to uz smiješnu potrošnju energije i malo prostora."
Komentar uredništva
Prvi AI testovi temeljeni na Cerebras WSE pokazuju da zadatke koje vrhunski AI iz Nvidije rješava tjednima i mjesecima, Cerebras WSE rješava u roku od jedne minute, što bi, po svoj prilici, bilo zadovoljstvo. Međutim, teoretičari zavjere imaju malo radosti u tom pogledu.
Svi se sjećamo (u svakom slučaju starije generacije naših čitatelja) računalni bum modela „vrtoglavih 90-ih“, kada je u nekoliko godina snaga računala skočila za naredne veličine. Nešto prije, osoba, blistava od ponosa, kupila je računalo sa 16 megabajta memorije, kad se nakon kraćeg vremena ta memorija premjestila u L2 predmemoriju.
Međutim, od početka 2000-ih, čini se da je računalna industrija prestala: ako računala tipa 1990. i 2000. nisu bila usporediva, tada nije postojala posebna razlika između računala modela 2000 i 2010 - snaga se značajno povećala, ali ne i po naredbama veličine. I sada smo svjedoci rođenja drugog Intel 8086, a sada će mogućnosti Cerebras WSE linije skakati istim tempom: svi problemi s nečistoćama i jezgrovim vezama sada su riješeni.
Ne znamo sve mogućnosti suvremenog AI vodećih proizvođača, ali, prema općem mišljenju, ti proizvodi još nisu AI i još su daleko od punopravnog uređaja za razmišljanje. Ipak, Cerebras WSE nije napravio samo korak u pravom smjeru, već je skočio deset godina, ako ne i više naprijed, a sada je SkyNet već prilično predvidiva perspektiva koja se ove godine može ostvariti 2025. godine.
Štoviše, u SkyNetu, za razliku od dosadnog homosapiensa, nije potrebno puno vremena za daljnji razvoj: dovoljno je da neuronska mreža počne barem malo razmišljati sama - i ona se modificira u trenu, nakon čega započinje nuklearni rat ili nešto slično. I još uvijek će biti vrlo dobra opcija.
Kad Samsung ili Nvidia izrađuju flash pogon s trilijun tranzistora, sve se to još uvijek može nekako objasniti, jer su memorijski logički sklopovi relativno jednostavni i iste vrste gotovo na cijelom području. Ali razvoj 400.000 jezgri, koje se u isto vrijeme oraju, a postoje i duplikati, a neke stanice poslužitelja i pakao zna što. A za to također trebate napisati kontrolne programe koji su pisani godinama. Tada je programe potrebno testirati. Ali na čemu su se testirali ako je uređaj napravljen tek sada?
Drugim riječima, izgleda da su "Marsovci" ponovo otvorili svoje kante za domaće domoroce. A velike su sumnje da je to učinjeno kako bi se ugodilo igračima - najvjerojatnije se ovdje radi o nekom drugom zadatku. I čini nam se kako slijedi.
Posljednjih desetljeća pametni ljudi sve se više postavljaju pitanje podrijetla elektroničke tehnologije, pitanje univerzalne čipizacije, kojoj nije jasno zašto je potrebna, i tako dalje. Kako bi im nekako zavarali mozak, smislili su bajku o "kvantnom računalu", čija načela ne razumiju ni ljudi koji su imenovani službenim "programerima". A sada zamislite užas prosječne meksičke domaćice, čiji novi mobilni telefon neće samo misliti bolje nego ona, već će i na brodu imati nekakvo "kvantno računalo". Odnosno, takva je budala neprihvatljiva za domaće domoroce - oni će početi poludjeti u gužvi.
Stoga su neki pametni "Marsovci" odlučili pokazati dvonožnim aboridžima planete Zemlje jednostavnijim čudom - načelima kojih starješine iz NASA-e mogu barem nekako objasniti. A ako domoroci prihvate priču, tada će "Marsovci" pokazati ljudima druga čarobna čuda. Na primjer, gurnut će ovaj Cerebras WSE u mobilni telefon i prodati ga za stotinjak dolara. Za kupce modnih naprava to će, naravno, biti vrlo cool i dobro, ali ljudi će odmah razmisliti malo pametnije: što je onda u serverskim sobama raznih ozbiljnih organizacija, na primjer, kao što su NSA, FBI i CIA? Koje su mogućnosti za kontrolu mišljenja i ponašanja stanovništva?