Slučajno sam u toku vijesti i informacija naišao na članak u časopisu Nature Scientific Reports. Predstavlja podatke ankete od 1500 znanstvenika o obnovljivosti rezultata istraživanja. Ako je ranije ovaj problem bio postavljen za biološka i medicinska istraživanja, gdje je s jedne strane to objašnjivo (lažne korelacije, općenita složenost sustava koji se proučavaju, ponekad se optužuje čak i znanstveni softver), s druge strane, on ima fenomenološki karakter (na primjer, miševi su skloni drugačije ponašati sa znanstvenicima različiti spolovi (1 i 2)).
Međutim, nije sve u redu s više prirodnih znanosti, poput fizike i inženjerstva, kemije, ekologije. Čini se da se upravo te discipline temelje na "apsolutno" ponovljivim eksperimentima provedenim u naj kontroliranijim uvjetima, nažalost, zadivljujućem - u svakom smislu riječi - rezultatu istraživanja: čak 70% istraživača susrelo se s nereproduktivnim eksperimentima i rezultatima dobivenim ne samo od strane drugih skupina znanstvenika, Ali isto tako od autora / koautora objavljenih znanstvenih radova!
Da li svaki pješčar hvali svoju močvaru?
Iako 52% ispitanika ukazuje na krizu obnovljivosti u znanosti, manje od 31% smatra da su objavljeni podaci temeljno netočni, a većina je navela da i dalje vjeruje objavljenom radu.
Pitanje: Postoji li kriza obnovljivosti rezultata?
Naravno, ne biste trebali sjebati rame i usmjeriti svu nauku kao takvu samo na temelju ovog istraživanja: polovina ispitanika i dalje su znanstvenici povezani, na ovaj ili onaj način, s biološkim disciplinama. Kao što autori napominju, u fizici i kemiji razina obnovljivosti i povjerenja u dobivene rezultate mnogo je viša (vidi grafikon dolje), ali još uvijek nije 100%. Ali u medicini su stvari vrlo loše u odnosu na ostale.
Promotivni video:
Na pamet pada jedna anegdota:
Marcus Munafo, biološki psiholog sa Sveučilišta u Bristolu u Engleskoj, već dugo zanima zanimanje za obnovljivost znanstvenih podataka. Prisjećajući se svojih studentskih dana, kaže:
Pitanje: Koliko je objavljenih radova u vašoj industriji moguće obnoviti?
Širina i dužina problema širine i širine
Zamislite da ste znanstvenik. Nailazite na zanimljiv članak, ali se rezultati / eksperimenti ne mogu reproducirati u laboratoriju. O tome je logično pisati autorima izvornog članka, pitati za savjet i postavljati pojašnjenja. Prema istraživanju, manje od 20% to je učinilo u bilo kojem trenutku svoje znanstvene karijere!
Autori studije primjećuju da su, možda, takvi kontakti i razgovori previše teški za same znanstvenike, jer otkrivaju njihovu nesposobnost i nedosljednost u određenim pitanjima ili otkrivaju previše detalja trenutnog projekta.
Štoviše, ogromna manjina znanstvenika pokušala je objaviti pobijanje neupadljivih rezultata, suočavajući se s protivljenjem urednika i recenzenata koji su zahtijevali da se usporedbe sruše s izvornom studijom. Je li čudo da je vjerojatnost prijavljivanja neobnovljivosti znanstvenih rezultata oko 50%.
Prvo pitanje: Jeste li pokušali reproducirati rezultate eksperimenta?
Drugo pitanje: Jeste li pokušali objaviti svoj pokušaj reprodukcije rezultata?
Možda onda, unutar laboratorija, barem izvršiti test obnovljivosti? Najžalosnije je što trećina ispitanika NIKADA nije razmišljala ni o stvaranju metoda za provjeru podataka za obnovljivost. Samo 40% reklo je da redovito koristi takve tehnike.
P: Jeste li ikada razvili posebne tehnike / tehničke procese za poboljšanje ponovljivosti rezultata?
Drugi primjer, biokemičar iz Velike Britanije, koji nije želio otkriti njezino ime, kaže da pokušaj ponavljanja, reproduciranja rada za njezin laboratorijski projekt jednostavno udvostručuje vremenske i materijalne troškove, bez davanja ili dodavanja bilo čega novog djela. Dodatne provjere provode se samo za inovativne projekte i neobične rezultate.
I naravno, vječna ruska pitanja koja su počela mučiti strane kolege: tko je kriv i što učiniti?
Tko je kriv?
Autori rada identificirali su tri glavna problema obnovljivosti rezultata:
- Pritisak nadređenih da posao budu objavljeni na vrijeme
- Selektivno izvještavanje (naizgled, znači suzbijanje nekih podataka, što "pokvari" cijelu sliku)
- Nedovoljna analiza podataka (uključujući statističku)
Pitanje: Koji su faktori odgovorni za neupadljive znanstvene rezultate?
Odgovori (od vrha do dna): –Uzorkovanje izvještaja –Točni pritisak –Slaba analiza / statistika –Nezadovoljavajuća ponovljivost pokusa u laboratoriju –Neodličan nadzor –Postanak metodologije ili koda –Nekakav eksperimentalni dizajn –Postanak neobrađenih podataka iz primarne laboratorije –Fraud –Dovoljna provjera od strane stručnjaka / recenzenata –Problemi s pokušajima reprodukcije –Tehnička stručnost potrebna je za reprodukciju –Promjenjivost standardnih reagensa - „Neddachka i Pichalka“
Što uraditi?
Od 1.500 ispitanih, više od 1.000 stručnjaka izjasnilo se za poboljšanje statistike prikupljanja i obrade podataka, poboljšanje kvalitete nadzora šefova i strože planiranje eksperimenata.
P: Koji će faktori pomoći poboljšati obnovljivost?
Odgovori (od vrha do dna): - bolje razumijevanje statistike - stroži nadzor - bolji eksperimentalni dizajn - obuka - unutarnji laboratorijski pregled - poboljšane praktične vještine - poticanje formalnog unakrsnog provjeravanja podataka - međulaboratorijski pregled - izdvajanje više vremena za upravljanje projektima - povećanje standarda znanstvenih časopisa - Dodjeljivanje više vremena za rad s laboratorijskim zapisima
Zaključak i neko osobno iskustvo
Prvo, čak i za mene kao znanstvenika rezultati su zapanjujući, iako sam se već navikao na određeni stupanj neprobojnosti rezultata. To je posebno vidljivo u djelima koje su Kinezi i Indijci izvodili bez "revizije" treće strane u obliku američkih / europskih profesora. Dobro je što je problem prepoznat i razmišljao o njegovom rješenju. Taktički ću šutjeti o ruskoj znanosti u vezi s nedavnim skandalom, iako mnogi iskreno rade svoj posao.
Drugo, u članku se zanemaruje (ili bolje rečeno, ne uzima u obzir) uloga znanstvenih mjernih podataka i recenziranih znanstvenih časopisa u nastanku i razvoju problema neprobojnosti rezultata istraživanja. U potrazi za brzinom i učestalošću publikacija (čitaj, porast indeksa citata), kvaliteta naglo pada i nema vremena za dodatnu provjeru rezultata.
Kako kažu, svi likovi su izmišljeni, ali na temelju stvarnih događaja. Nekako je jedan student imao priliku pregledati članak, jer ne svaki profesor ima vremena i energije da promišljeno pročita članke, pa se prikuplja mišljenje 2-3-4 studenata i liječnika, iz kojih se formira pregled. Napisana je recenzija, ukazala je na neuporedivost rezultata u skladu s metodom opisanom u članku. To je profesoru jasno pokazalo. No kako ne bi pokvarili odnos s "kolegama" - uostalom, uspijevaju u svemu - recenzija je "ispravljena". A objavljena su 2 ili 3 takva članka.
Ispada da je to začarani krug. Znanstvenik članak šalje uredniku časopisa, gdje označava "željene" i, što je najvažnije, "neželjene" recenzente, odnosno zapravo ostavlja samo one koji su pozitivno raspoloženi prema grupi autora. Preispituju djelo, ali ne mogu „usisati u komentarima“i pokušavaju odabrati manje od dva zla - evo popisa pitanja na koja je potrebno odgovoriti, a zatim ćemo objaviti članak.
Drugi primjer, o kojem je urednik Naturea govorio prije samo mjesec dana, jesu Grazelove solarne ploče. Zbog ogromnog interesa za ovu temu u znanstvenoj zajednici (uostalom, i dalje žele članak u Natureu!), Urednici su morali izraditi poseban upitnik u kojem je potrebno navesti puno parametara, pružiti kalibraciju opreme, potvrde itd., Kako bi potvrdili da je metoda za mjerenje učinkovitosti ploče su u skladu s nekim općim načelima i standardima.
I treće, kada još jednom čujete o čudesnom cjepivu koje osvaja sve i svakoga, nova priča o Jobsu u suknji, novim baterijama ili opasnostima / koristima GMO-a ili zračenju pametnih telefona, posebno ako su ga promovirali žuti pisci iz novinarstva, onda budite razumljivi i ne skačite na zaključke. Pričekajte potvrdu rezultata drugih skupina znanstvenika, gomilanje niza i uzoraka podataka.