Czasopisma naukowe i prasa regularnie służą świeżą pomocą w fascynujących odkryciach badań psychologicznych. Ale ile z tych eksperymentów przyniosłoby te same wyniki za drugim razem?
powiązana zawartość
- Badania biomedyczne są szokująco trudne do odtworzenia
- Studia o krótszych tytułach są cytowane częściej
- Dlaczego tak niewielu naukowców bada przyczyny przemocy z użyciem broni palnej
Według prac zaprezentowanych dzisiaj w Science, z powodzeniem można powielić mniej niż połowę 100 badań opublikowanych w 2008 roku w trzech czołowych czasopismach psychologicznych. Międzynarodowy wysiłek obejmował 270 naukowców, którzy ponownie przeprowadzili badania innych ludzi w ramach projektu Reproducibility Project: Psychology, kierowanego przez Briana Noska z University of Virginia.
Wyniki otwierające oczy niekoniecznie oznaczają, że te oryginalne ustalenia były niepoprawne lub że proces naukowy jest wadliwy. Kiedy jedno badanie wykazuje efekt, którego nie można powtórzyć w drugim badaniu, istnieje kilka możliwych przyczyn, mówi współautor Cody Christopherson z Southern Oregon University. Wynik badania A może być fałszywy lub wyniki badania B mogą być fałszywe - lub mogą występować pewne subtelne różnice w sposobie przeprowadzenia dwóch badań, które wpłynęły na wyniki.
„Ten projekt nie dowodzi, że coś jest zepsute. Raczej jest to przykład nauki, która robi to, co robi nauka ”- mówi Christopherson. „W nauce nie można się mylić w ostatecznym sensie. Musisz się chwilowo mylić, być może wiele razy, zanim będziesz miał rację. ”
We wszystkich naukach uważa się, że badania są odtwarzalne, gdy niezależny zespół może przeprowadzić opublikowany eksperyment, postępując zgodnie z oryginalnymi metodami tak dokładnie, jak to możliwe, i uzyskać te same wyniki. To jedna z kluczowych części procesu budowania dowodów na poparcie teorii. Nawet dzisiaj, 100 lat po tym, jak Albert Einstein przedstawił swoją ogólną teorię względności, naukowcy regularnie powtarzają testy jej prognoz i szukają przypadków, w których jego słynny opis grawitacji nie ma zastosowania.
„Dowody naukowe nie opierają się na zaufaniu do autorytetu osoby, która dokonała odkrycia”, powiedziała członek zespołu Angela Attwood, profesor psychologii na Uniwersytecie w Bristolu, w oświadczeniu „Raczej wiarygodność kumuluje się poprzez niezależną replikację i opracowanie pomysłów i dowody ”.
Projekt Reproducibility Project, oparty na społeczności, crowdsourcing, rozpoczął się w 2011 roku, aby sprawdzić, jak dobrze ta miara wiarygodności odnosi się do najnowszych badań w dziedzinie psychologii. Naukowcy, niektórzy zatrudnieni i niektórzy wolontariusze, przejrzeli zbiór badań i wybrali jedno do replikacji odpowiadające ich zainteresowaniom i wiedzy specjalistycznej. Ich dane i wyniki zostały udostępnione online oraz przejrzane i przeanalizowane przez innych uczestniczących naukowców pod kątem włączenia do dużego badania naukowego .
Aby usprawnić przyszłe badania, w analizie projektu podjęto próbę ustalenia, które rodzaje badań wypadły najlepiej i dlaczego. Odkryli, że zaskakujące wyniki były najtrudniejsze do odtworzenia, a doświadczenie lub wiedza naukowców, którzy przeprowadzili oryginalne eksperymenty, niewiele miały wspólnego z udaną replikacją.
Odkrycia przyniosły również poparcie dla często krytykowanego narzędzia statystycznego znanego jako Wartość P, która mierzy, czy wynik jest znaczący czy przypadkowy. Wyższa wartość oznacza, że wynik jest najprawdopodobniej przypadkiem, a niższa wartość oznacza, że wynik jest statystycznie istotny.
Analiza projektu wykazała, że niska wartość P była dość przewidywalna, które badania psychologiczne można powtórzyć. Na przykład 20 z 32 oryginalnych badań o wartości P mniejszej niż 0, 001 można powtórzyć, natomiast zaledwie 2 z 11 artykułów o wartości większej niż 0, 04 zostały pomyślnie powielone.
Ale Christopherson podejrzewa, że większość jego współautorów nie chciałaby, aby badanie było traktowane jako rażące poparcie dla wartości P, ponieważ uznają ograniczenia tego narzędzia. W badaniach podkreślono przynajmniej jeden problem z wartością P : oryginalne badania miały stosunkowo niewielką zmienność wartości P, ponieważ większość czasopism ustaliła wartość graniczną wynoszącą 0, 05 dla publikacji. Problem polega na tym, że wartość można osiągnąć poprzez selektywne wybieranie zbiorów danych, co oznacza, że naukowcy chcący powtórzyć wynik powinni również dokładnie rozważyć metody i dane wykorzystane w pierwotnym badaniu.
Nie jest też jeszcze jasne, czy psychologia może być szczególnie trudnym obszarem odtwarzalności - podobne badania są obecnie prowadzone na temat badań biologii raka. W międzyczasie Christopherson ma nadzieję, że ogromny wysiłek spowoduje więcej takich podwójnych kontroli i ponownych wizyt w poprzednich badaniach w celu wsparcia procesu naukowego.
„Poprawne działanie oznacza regularne sprawdzanie wcześniejszych założeń i wcześniejszych wyników oraz znajdowanie nowych sposobów ich testowania. Jedynym sposobem, w jaki nauka odnosi sukces i jest wiarygodna, jest samokrytycyzm ”- zauważa.
Niestety, zniechęcają do prowadzenia tego rodzaju badań, mówi: „Aby zostać zatrudnionym i awansować w środowisku akademickim, musisz opublikować oryginalne badania, więc bezpośrednie replikacje są rzadsze. Mam nadzieję, że w przyszłości uniwersytety i agencje finansujące odpowiedzialne za zachęcanie do tych badań - i media, które je zajmują - zdają sobie sprawę, że były one częścią problemu, i że dewaluacja w ten sposób replikacji stworzyła mniej stabilną literaturę niż my „chciałbym”.
