Jeden zbiór danych, 73 zespoły badawcze i… chaos. Co to mówi o prawdzie w nauce?

Codziennie bombardują nas nagłówki o najnowszych odkryciach naukowych: „naukowcy udowodnili, że…”, „badania potwierdzają…”. Ufamy nauce jako najbardziej obiektywnemu narzędziu do poznawania świata. Zakładamy, że jeśli dwóch kompetentnych badaczy otrzyma te same dane i to samo pytanie, dojdą do zbliżonych wniosków. A co, jeśli to założenie jest błędne? Co, jeśli pod powierzchnią pojedynczego, opublikowanego wyniku kryje się cały wszechświat innych, równie możliwych odpowiedzi? Zrozumienie tego zjawiska ma kluczowe znaczenie nie tylko dla naukowców, ale dla każdego z nas, kto opiera swoje decyzje, zdrowie i poglądy na dowodach naukowych.

Potrzebujesz wsparcia w swoim projekcie badawczym? Zmagasz się z analizą danych, pisaniem pracy doktorskiej
lub przygotowaniem publikacji? Skorzystaj z profesjonalnego doradztwa naukowego.
Pomożemy Ci przejść przez każdy etap – od hipotezy po finalny raport.
Skontaktuj się i zamień chaos danych w klarowne wnioski.

Wielki eksperyment: 73 zespoły, te same dane, jedno pytanie

Wyobraźmy sobie bezprecedensowe badanie. Koordynatorzy zebrali 161 naukowców tworzących 73 niezależne zespoły badawcze z całego świata. Każdy z nich otrzymał dokładnie ten sam, obszerny zbiór danych ankietowych z wielu krajów (pochodzących z renomowanego projektu International Social Survey Program) oraz te same oficjalne statystyki.

Zadanie było jedno i pozornie proste: przetestować jedną z najbardziej znanych i wpływowych hipotez w naukach społecznych – czy większa imigracja osłabia w społeczeństwie poparcie dla polityki socjalnej (np. finansowania opieki zdrowotnej, świadczeń dla bezrobotnych czy emerytur)?

Wszyscy mieli identyczne warunki startowe. To jak dać 73 kucharzom te same składniki i poprosić o przygotowanie tego samego dania. Intuicja podpowiada, że wyniki powinny być do siebie podobne. Rzeczywistość okazała się jednak szokująca.

Zaskakujący chaos, czyli wszechświat możliwych wyników

Zamiast oczekiwanej zbieżności, wyniki analiz przedstawiały pełne spektrum możliwości. Różnice nie były kosmetyczne – były fundamentalne. Zespoły doszły do diametralnie różnych, często wzajemnie wykluczających się wniosków, zarówno na poziomie liczb, jak i ostatecznej interpretacji.

• Prawie 2/3 zespołów (60,7%) doszło do wniosku, że hipotezę należy odrzucić.

• Ponad 1/4 (28,5%) uznała, że ich wyniki wspierają hipotezę.

• Co ósmy zespół (13,5%) stwierdził, że na podstawie tych danych hipotezy nie da się rzetelnie przetestować.

Jeszcze bardziej obrazowo przedstawia to rozkład samych wyników statystycznych. Poniższa tabela pokazuje, jaki odsetek wszystkich przeprowadzonych modeli analitycznych (a było ich łącznie 1253!) wskazywał na dany kierunek zależności.

Okazało się, że te same dane mogą posłużyć do „udowodnienia”, że imigracja osłabia poparcie dla polityki socjalnej, że je wzmacnia, albo że nie ma na nie żadnego wpływu. To odkrycie ujawnia ukryty wszechświat niepewności, który pozostaje niewidoczny, gdy czytamy o wynikach pojedynczego badania.

W poszukiwaniu winnego: dlaczego wyniki tak bardzo się różniły?

Naturalne pytanie brzmi: skąd wziął się ten chaos? Autorzy eksperymentu postanowili to dogłębnie zbadać, sprawdzając trzy główne podejrzenia.

1. Czy to kwestia kompetencji? Może po prostu lepsi, bardziej doświadczeni badacze uzyskiwali bardziej spójne wyniki? Odpowiedź brzmi: nie. Poziom wiedzy metodologicznej, doświadczenie w analizie danych czy znajomość tematyki imigracji praktycznie nie miały wpływu na uzyskane wyniki. Doświadczeni profesorowie dochodzili do równie rozbieżnych wniosków co młodzi adepci nauki.

2. A może to stronniczość badaczy? Czy naukowcy o negatywnym nastawieniu do imigracji podświadomie dobierali metody tak, by potwierdzić swoje przekonania? Odpowiedź znów brzmi: nie. Wcześniejsze poglądy i przekonania badaczy na badany temat nie wyjaśniały zaobserwowanej różnorodności wyników.

3. Tysiące drobnych decyzji. Skoro winy nie ponoszą ani brak kompetencji, ani stronniczość, to co jest źródłem problemu? Okazuje się, że jest nim sama natura procesu analitycznego. Analiza danych to nie jest mechaniczne wciśnięcie przycisku „start”. To „ogród o rozwidlających się ścieżkach” – proces składający się z setek, a nawet tysięcy drobnych, pozornie nieistotnych decyzji:

   • Jak dokładnie zdefiniować i zmierzyć „poparcie dla polityki socjalnej”? (Użyć jednego pytania z ankiety, a może stworzyć wskaźnik z sześciu?)

   • Jakich zmiennych kontrolnych użyć w modelu? (Wiek, płeć, dochód, wykształcenie, poglądy polityczne?)

   • Jaką metodę statystyczną zastosować?

   • Jak potraktować brakujące dane?

   • Które kraje lub grupy respondentów włączyć do analizy, a które wykluczyć?

W ramach eksperymentu zidentyfikowano aż 166 różnych, unikalnych decyzji analitycznych podejmowanych przez zespoły. Co najważniejsze, żadne dwa zespoły nie podjęły dokładnie tego samego zestawu decyzji.

Najbardziej wstrząsający jest jednak fakt, że nawet po uwzględnieniu tych wszystkich zidentyfikowanych wyborów, udało się wyjaśnić zaledwie 4,8% rozbieżności w wynikach liczbowych. Ponad 95% zmienności pozostało niewyjaśnione, będąc efektem unikalnej, idiosynkratycznej ścieżki, którą podążył każdy zespół.

Co to oznacza dla nauki i dla nas wszystkich?

To badanie nie jest aktem oskarżenia wobec nauki. Wręcz przeciwnie, jest to akt niezwykłej naukowej autorefleksji, który prowadzi do kilku kluczowych wniosków.

• Potrzeba pokory poznawczej: Wynik pojedynczego badania, nawet opublikowanego w najlepszym czasopiśmie, nie jest ostateczną prawdą, a jedynie jednym z wielu możliwych spojrzeń na rzeczywistość. Musimy być znacznie bardziej ostrożni w wyciąganiu kategorycznych wniosków.

• Problem leży w złożoności, nie w oszustwie: Rozbieżności w wynikach rzadziej wynikają ze złej woli czy świadomych manipulacji, a częściej z fundamentalnej złożoności i niejednoznaczności samego procesu badawczego w naukach zajmujących się człowiekiem i społeczeństwem.

• Przyszłość to współpraca: Badania typu „wielu analityków”, takie jak to, są niezwykle cennym narzędziem. Pozwalają one nie na znalezienie jednej „prawdziwej” odpowiedzi, ale na zmapowanie całego krajobrazu niepewności analitycznej.

• Wiarygodność to proces, nie wynik: Zaufanie do nauki powinno opierać się nie na wierze w nieomylność pojedynczych odkryć, ale na docenianiu jej zdolności do samokrytyki, transparentności i poszukiwania lepszych metod dochodzenia do prawdy.

Gdy następnym razem przeczytamy sensacyjny nagłówek o nowym badaniu, pamiętajmy o tym ukrytym wszechświecie. Prawda naukowa jest często bardziej złożona i niejednoznaczna, niż chcielibyśmy wierzyć, a jej rzetelne poznawanie wymaga pokory, współpracy i świadomości ogromu tego, czego jeszcze nie wiemy.