Trudno argumentować przeciwko potędze nauki. Od badań, które oceniają najnowszy trend żywieniowy, po eksperymenty, które oświetlają czynniki predykcyjne szczęścia, ludzie coraz częściej patrzą na wyniki naukowe jako na konkretne, wiarygodne fakty, które mogą rządzić naszym sposobem myślenia i działania.
powiązana zawartość
- Naukowcy powtórzyli 100 badań psychologicznych, a mniej niż połowa uzyskała te same wyniki
Ale w ciągu ostatnich kilku lat rosnąca liczba naukowców zaczęła kwestionować akceptowalną prawdziwość opublikowanych badań - nawet po tym, jak udało im się pokonać przeszkody w recenzowaniu i ukazało się w powszechnie szanowanych czasopismach. Problemem jest wszechobecna niezdolność do odtworzenia dużej części wyników w wielu dyscyplinach.
Na przykład w 2005 r. John Ioannidis, profesor medycyny na Uniwersytecie Stanforda, zastosował kilka symulacji, aby wykazać, że twierdzenia naukowe są bardziej prawdopodobne niż fałszywe. A latem ubiegłego roku Brian Nosek, profesor psychologii na Uniwersytecie w Wirginii, próbował powtórzyć wyniki 100 badań psychologicznych i stwierdził, że tylko 39 procent wyników poddano rygorystycznym ponownym testom.
„Istnieje wiele dowodów, zarówno teoretycznych, jak i empirycznych, które zaczęły podważać odtwarzalność znacznej części literatury naukowej”, mówi Ioannidis. „Dostajemy miliony dokumentów, które nigdzie nie idą”.
Te wstępne odkrycia doprowadziły do powstania zupełnie nowej dziedziny zwanej meta-badaniami - naukowego badania nauki.
W tym tygodniu dział biologii z Publicznej Biblioteki Naukowej (PLOS), organizacji non-profit i organizacji rzeczniczej, uruchomił nową sekcję poświęconą wyłącznie meta-badaniom. W sekcji zbadane zostaną takie kwestie, jak przejrzystość badań, standardy metodologiczne, źródła stronniczości, dzielenie się danymi, finansowanie i struktury zachęt.
Na początek Ioannidis i jego koledzy ocenili losową próbkę 441 artykułów biomedycznych opublikowanych w latach 2000–2014. Sprawdzili, czy dokumenty te zapewniają publiczny dostęp do surowych danych i protokołów eksperymentalnych, zostały powtórzone w kolejnych badaniach, czy ich wyniki zostały włączone do systematycznych przeglądy przedmiotu i dokumentacja źródeł finansowania i innych potencjalnych konfliktów interesów.
Ich wyniki były co najmniej niepokojące. Na przykład tylko jedno badanie dostarczyło pełne protokoły eksperymentalne, a zero badań dostarczyło bezpośrednio dostępne surowe dane.
„Są to dwa podstawowe filary odtwarzalności”, mówi Ioannidis. „O ile dane i pełny protokół nie są dostępne, tak naprawdę nie można niczego odtworzyć.” W końcu, bez tych kluczowych informacji, w jaki sposób inny zespół może dokładnie wiedzieć, co robić i jak ich wyniki różnią się od wyników z pierwotnego eksperymentu?
Zespół stwierdził również, że twierdzenia dotyczące zaledwie ośmiu z ankietowanych artykułów zostały później potwierdzone w późniejszych badaniach. I chociaż wiele badań twierdziło, że mają nowe odkrycia, wyniki tylko 16 artykułów zostały uwzględnione w późniejszych artykułach przeglądowych, które służą jako test lakmusowy dla prawdziwego wpływu badania na konkretny temat.
„Liczby, które otrzymujemy, są dość przerażające” - mówi Ioannidis. „Ale można to postrzegać jako punkt odniesienia dla tego, gdzie jesteśmy teraz, i jest wiele miejsca na poprawę”.
Jednak nie wszystkie wyniki były zniechęcające. Odsetek artykułów bez oświadczenia o konflikcie interesów spadł z 94, 4 procent w 2000 r. Do 34, 6 procent w 2014 r. - prawdopodobnie w wyniku rosnącej świadomości szkodliwego wpływu stronniczości na wyniki badań.
W drugim badaniu meta-badawczym niemiecki zespół przeanalizował, w jaki sposób utrata zwierząt podczas badań przedklinicznych może przyczynić się do powszechnej niezdolności do przełożenia wyników badań laboratoryjnych na przydatne leki kliniczne.
Zwierzęta badawcze mogą przypadkowo zniknąć z badania - na przykład dlatego, że zwierzę zmarło - lub poprzez subtelnie tendencyjne działania, takie jak usunięcie z badania w celu wyeliminowania danych, które podważają oczekiwane wyniki. Zespół wykazał, że stronnicze usuwanie zwierząt może zniekształcać wyniki i znacznie zwiększać prawdopodobieństwo fałszywie dodatniego wyniku - gdy uważa się, że nowy lek działa, ale w rzeczywistości nie działa.
W osobnej analizie przedklinicznych badań nad udarem i rakiem ci sami badacze stwierdzili, że większość prac nie opisuje odpowiednio utraty zwierząt i że pozytywne skutki wielu badanych leków mogą być znacznie przeszacowane.
Dlaczego więc ten kryzys przejrzystości i odtwarzalności ma miejsce w pierwszej kolejności?
Podczas gdy niektóre problemy mogą leżeć w świadomych lub nieświadomych uprzedzeniach badawczych, prawdopodobne jest, że większość badań, które docierają do publikacji, są jedyne w swoim rodzaju ze względu na obecną strukturę motywacyjną w nauce.
W nowoczesnym świecie akademickim podstawową miarą sukcesu jest liczba badań, jakie naukowiec otrzymuje w prestiżowych czasopismach. W rezultacie naukowcy są pod presją spędzania większości czasu na uzyskiwaniu przełomowych wyników, które najprawdopodobniej zostaną opublikowane.
„Choć cenimy sobie powtarzalność w koncepcji, tak naprawdę nie doceniamy jej w praktyce”, mówi Nosek, który jest także dyrektorem Centrum Otwartej Nauki, organizacji non-profit, która działa na rzecz wspierania przejrzystości i odtwarzalności badań naukowych.
„Prawdziwymi zachętami, które napędzają moje zachowanie jako naukowca, są innowacje, nowe odkrycia i nowe możliwości - a nie powtarzanie tego, co zrobili inni. To nudna część nauki. ”
Naukowcy dostrzegają również kilka bodźców do dostarczania informacji niezbędnych innym do powtórzenia ich pracy, co jest jednym z głównych powodów, dla których twierdzenia tak wielu badań pozostają niezweryfikowane.
„Nie jestem nagradzany za udostępnianie moich danych ani precyzowanie mojej metodologii bardziej niż to, co jest wymagane, aby dostać się do publikacji” - mówi Nosek.
Wiele czasopism prosi naukowców o szczegółowe wyjaśnienie swoich metod i udostępnianie danych, ale te zasady są rzadko egzekwowane i nie ma uniwersalnych standardów publikacji.
„Gdybym wiedział, że na drogach nigdy nie będzie żadnych gliniarzy, czy zawsze trzymałbym się ograniczenia prędkości? Nie, to ludzka natura ”, mówi Ivan Oransky, współzałożyciel Retraction Watch, organizacji promującej odpowiedzialność i przejrzystość poprzez śledzenie wycofań w literaturze naukowej. „Jeśli wiesz, że nikt cię nie usankcjonuje, nie udostępnisz danych.”
Ci naukowcy, którzy chcą prowadzić prace związane z replikacją i są w stanie uzyskać szczegółowe informacje eksperymentalne, raczej nie znajdą finansowania z instytucji publicznych takich jak NIH, które przede wszystkim oceniają wnioski o przyznanie dotacji na podstawie nowości i innowacji.
„Szanse są jednoznaczne z replikacją”, mówi Ioannidis.
Właśnie tam może wkroczyć pojawiająca się dziedzina meta-badań. Organizacje takie jak Centrum Otwartej Nauki i Centrum Innowacji Meta-Badań w Stanford (METRICS) pracują, aby pomóc w dostosowaniu systemu nagród i ustanowić surowe uniwersalne standardy, które będą zachęcać do rozpowszechnienia praktyki w zakresie przejrzystości i odtwarzalności.
„Jeśli poziomy finansowania lub promocja zależą od tego, co się stało z twoimi wcześniejszymi badaniami - jeśli można je powtórzyć, jeśli ludzie mogą to zrozumieć, jeśli ludzie mogą to przełożyć na coś pożytecznego, a nie tylko na ile artykułów opublikowałeś - byłoby to bardzo silną zachętą do zmiany badań, aby stały się bardziej powtarzalne ”, mówi Ioannidis, który jest dyrektorem METRICS.
„Mam nadzieję, że wskaźniki te poprawią się” - dodaje. „A dla niektórych z nich nie ma innej możliwości, jak pójść w górę, ponieważ zaczynamy od zera.”
