Jasno je kada postoji problem dobiti znanstvene podatke. No ispada da postoji problem spremiti ih i obraditi.
Čitav niz značajnih otkrića napravljenih pomoću sudara temeljen je na analizi podataka čiji je volumen manji od jednog posto ukupnog volumena generiranih podataka.
Ostatak podataka nepovratno se gubi.
Tunel s sudarom sudara 26,7 kilometara koristi se za ubrzavanje čestica bliskih brzini svjetlosti. Dvije struje čestica koje se kreću u suprotnim smjerovima sudaraju se u točkama u prostoru koje nadziru osjetljivi senzori. Čak i na najnižoj razini gustoće protonskih zraka koje sadrže 120 milijardi protona, broj sudara je 30 milijuna sudara u sekundi.
Prema podacima objavljenim na web mjestu Europske organizacije za nuklearna istraživanja CERN, milijarda sudara u sekundi stvara protok podataka od 1 petabajta u sekundi. A to je najveći problem u današnje vrijeme, jer je protok podataka takve brzine jednostavno nemoguće pohraniti, a kamoli pravilno obraditi. „Za najmanje 30 milijuna sudara treba nam 2.000 petabajta za spremanje rezultata tipične 12-satne faze sudara. Pri 150 lansiranja sudara godišnje, trebalo bi 400 000 petabajta, 400 egzabata podataka za pohranjivanje svih podataka, ogromna količina koju trenutno ne možemo pohraniti “, kaže Andreas Hoecker, znanstvenik iz CERN-a.
Rješenje problema velike količine podataka je, naravno, drastično smanjenje njihovog volumena. A to se ne radi na štetu algoritama kompresije informacija, jer za to nema dovoljno snage svih procesora postojećih superračunala. Mogućnosti računalne tehnologije dostupne u CERN-u omogućuju uštedu rezultata od samo 1200 sudara u svakih 30 milijuna takvih slučajeva. To je 0,004 posto ukupnog volumena, a preostalih 99,996 posto, kao što je gore spomenuto, izgubljeno je zauvijek.
Ovakvo stanje izgleda kao strašno rasipanje, ali nije sve tako tužno. Pojave koje su od stvarnog interesa za znanstvenike ne pojavljuju se tim tempom. Na primjer, Higgsov bozon pojavljuje se brzinom jednom u sekundi, dok se drugi događaji događaju s desecima ili stotinama puta u sekundi. Kako bi se istaknuo najzanimljiviji iz cijelog toka podataka, uključeni su posebni "okidači", uređaji koji izvode preliminarno filtriranje podataka uglavnom na hardverskoj razini. Ovi okidači su razvijeni za svaki određeni slučaj i podešeni su u skladu sa svojstvima traženih čestica, kao što su Higgsov bozon, pravi kvark, W i Z bozoni, itd.
Promotivni video:
Naravno, takvom provedbom preliminarne obrade podataka, neki od zanimljivih podataka gube se zajedno s planinom nepotrebnog i nezanimljivog "smeća". No, preostale informacije sadrže uglavnom značajne podatke, a njegov relativno skroman obujam već omogućava dovoljno duboku obradu čak iu stvarnom vremenu.
I na kraju, treba napomenuti da rješenje gore opisanog problema ni na koji način ne osigurava mogućnost pohrane uglavnom beskorisnih podataka. Rješenje problema je stvaranje novih senzora za sudarač koji će koristiti najnovija dostignuća modernih tehnologija i koji će moći prodrijeti u dubinu trenutno neistraženih područja fizike. Uzgred, neki od tih senzora pojavit će se na sudaraču tijekom njegove sljedeće modernizacije koja se provodi upravo sada. A lansiranje moderniziranog sudarača planirano je za 2025. godinu.