https://frosthead.com

Dlaczego eksperci są prawie zawsze w błędzie

Za każdym razem, gdy dochodzi do katastrofy narodowej, gigantycznego wydarzenia, strzelaniny, przełomu, naprawdę jakichkolwiek wiadomości, możesz polegać na wiadomościach telewizyjnych, by znaleźć eksperta. Niektórzy z nich dużo wiedzą o tym, co się stało, co się wydarzy i dlaczego. Ale jeśli chodzi o wielu ekspertów, tak naprawdę nie mają pojęcia, o czym mówią.

Bloger Eric Barker zwraca uwagę, że predykcje ekspertów politycznych są tylko nieznacznie lepsze niż przypadkowe przypuszczenia i znacznie gorsze niż model statystyczny. W rzeczywistości tak zwani eksperci byli lepsi w przewidywaniu wydarzeń poza własną dziedziną. Barker wskazuje na badanie z lat osiemdziesiątych, kiedy Philip Tetlock miał 284 „ekspertów” politycznych, którzy dokonali około stu prognoz. Badanie zostało podsumowane w książce Wszystko jest oczywiste * Gdy poznasz odpowiedź:

W przypadku każdej z tych prognoz Tetlock nalegał, aby eksperci sprecyzowali, którego z dwóch oczekiwanych wyników, a także przypisali prawdopodobieństwo ich prognozy. Zrobił to w taki sposób, że pewne prognozy zdobyły więcej punktów, gdy były poprawne, ale także stracił więcej punktów, gdy się pomyliły. Mając te prognozy, usiadł i czekał, aż same wydarzenia się rozegrają. Dwadzieścia lat później opublikował swoje wyniki, a to, co stwierdził, było uderzające: chociaż eksperci wypadli nieco lepiej niż przypadkowe zgadywanie, nie wypadli tak dobrze, jak nawet minimalnie wyrafinowany model statystyczny. Co bardziej zaskakujące, eksperci radzili sobie nieco lepiej, gdy działali poza obszarem swojej wiedzy specjalistycznej niż w jej zakresie.

Inne badanie wykazało, że „eksperci”, którzy próbują przewidzieć wynik spraw Sądu Najwyższego, nie byli o wiele lepsi niż komputer. Świat zobaczył to w swojej niedawnej decyzji dotyczącej opieki zdrowotnej, zaskakując niemal każdego „eksperta”.

Ale to jest polityka. Inne pola powinny być lepsze, prawda? Nie. Technologia jest taka sama. Inny naukowiec przeanalizował dokładność prognoz trendów technologicznych. Około osiemdziesięciu procent z nich było w błędzie, niezależnie od tego, czy te prognozy zostały sporządzone przez ekspertów, czy nie.

W 2005 r. Tetlock napisał książkę o prognozach ekspertów zatytułowaną „Ekspertowy sąd polityczny: jak dobry jest? Skąd możemy wiedzieć? ”W tym wyjaśnia, że ​​eksperci nie tylko często mylą się, ale prawie nigdy ich nie wzywają. New Yorker wyjaśnia:

Kiedy się mylą, rzadko są pociągani do odpowiedzialności i rzadko przyznają się do tego. Podkreślają, że byli po prostu na czas, albo byli oślepieni nieprawdopodobnym wydarzeniem, prawie słuszni lub niewłaściwi z właściwych powodów. Mają ten sam repertuar samousprawiedliwienia, jaki ma każdy, i nie są bardziej skłonni niż ktokolwiek inny do zrewidowania swoich przekonań na temat działania świata lub powinny działać tylko dlatego, że popełnili błąd.

Tetlock wskazuje, że chociaż jesteśmy okropni w przewidywaniach, eksperci dzielą się na dwa „style poznawcze”, kiedy robią te prognozy: lisy i jeże. Huffington Post podsumowuje:

Lisy wiedzą wiele rzeczy, a jeże znają jedną wielką rzecz. Bycie głęboko zaznajomionym z jednym tematem zawęża koncentrację i zwiększa pewność siebie, ale także zaciera odmienne poglądy, dopóki nie będą już widoczne, przekształcając w ten sposób gromadzenie danych w potwierdzenie uprzedzeń i przekształcanie samooszukiwania się w pewność siebie. Świat jest chaotycznym, złożonym i zależnym miejscem z niezliczonymi interweniującymi zmiennymi i mylącymi czynnikami, z którymi lisy czują się komfortowo, a jeże nie. Niski wynik w badaniu Tetlocka to „myśliciele, którzy„ wiedzą jedną wielką rzecz ”, agresywnie rozszerzają zasięg wyjaśniania tej jednej wielkiej rzeczy na nowe dziedziny, wykazują szczerą niecierpliwość wobec tych, którzy„ nie rozumieją ”, i wyrażają znaczną pewność, że są już dość biegli prognostycy ”. Natomiast Tetlock twierdzi, że najlepszymi strzelcami byli„ myśliciele, którzy znają wiele drobiazgów (sztuczki w swojej branży), są sceptyczni wobec wielkich planów, widzą wyjaśnienie i przewidywanie nie jako ćwiczenia dedukcyjne, ale raczej jako ćwiczenia elastyczne ” „sklep spożywczy”, które wymagają łączenia różnych źródeł informacji i raczej nie są pewni swoich własnych zdolności prognostycznych. ”

Ale co z techniką 10.000 godzin? Czy naprawdę spędziłeś 10 000 godzin, aby mieć tylko nieco lepszą niż losową szansę na przewidzenie wyniku wybranego pola? Prawdopodobnie. Barker cytuje kolejną książkę, Talent jest przereklamowany: co naprawdę oddziela światowej klasy wykonawców od wszystkich innych:

Szeroko zakrojone badania w szerokim zakresie dziedzin pokazują, że wiele osób nie tylko nie potrafi stać się wybitnie dobrymi w tym, co robi, bez względu na to, ile lat spędzają na tym, ale często nawet nie osiąga lepszych wyników niż na początku.

W polu po polu, jeśli chodzi o najważniejsze umiejętności - maklerzy giełdowi polecający akcje, urzędnicy warunkowi przewidujący recydywę, urzędnicy przyjęci do college'u oceniający kandydatów - ludzie z dużym doświadczeniem nie byli lepsi w swojej pracy niż ci z bardzo małym doświadczeniem.

Morał tutaj? Naprawdę nie mamy pojęcia, co się wydarzy.

Więcej z Smithsonian.com

Jak wygrać pieniądze Przewidując Olimpiadę

Włoscy naukowcy mogą zmierzyć się z próbą nie przewidywania trzęsienia ziemi w 2009 roku
Dlaczego eksperci są prawie zawsze w błędzie