Kto przewidzi przyszłość? Superprognostycy kontra eksperci – zaskakujące wyniki wielkiego turnieju

Sztuczna inteligencja, zmiany klimatyczne, pandemie, wojna nuklearna. Ryzyka egzystencjalne, czyli zagrożenia mogące doprowadzić do upadku ludzkiej cywilizacji, przestały być domeną science fiction. Stały się przedmiotem poważnych debat politycznych i naukowych. W tym zgiełku opinii nieustannie zadajemy sobie jedno, fundamentalne pytanie:

kogo słuchać? Kto jest w stanie najtrafniej przewidzieć, co przyniesie przyszłość? Czy powinniśmy ufać ekspertom, którzy całe życie poświęcili badaniu konkretnego zagrożenia, czy może „superprognostykom” – osobom o udowodnionej, ogólnej zdolności do trafnego przewidywania przyszłości, niezależnie od tematu?

Po raz pierwszy w historii mamy twarde, oparte na danych odpowiedzi na to pytanie. W ramach bezprecedensowego eksperymentu naukowego, zwanego Turniejem Perswazji Ryzyka Egzystencjalnego (XPT), czołowi światowi prognostycy zostali postawieni przed serią konkretnych, weryfikowalnych wyzwań. Wyniki tego turnieju są nie tylko zaskakujące. Są głęboko otrzeźwiające i każą nam od nowa przemyśleć, czym jest ekspertyza i gdzie leżą granice naszej zdolności do przewidywania przyszłości.

Wielki turniej prognostyczny: kto stanął do walki?

W eksperymencie, który trwał od czerwca do października 2022 roku, wzięło udział 169 starannie wyselekcjonowanych uczestników, podzielonych na dwie elitarne grupy. Ich zadaniem było prognozowanie prawdopodobieństwa zajścia konkretnych zdarzeń w bliskiej perspektywie (do połowy 2025 roku) w czterech kluczowych obszarach: sztucznej inteligencji, zmian klimatycznych, ryzyka biologicznego i wojny nuklearnej.

Jako punkt odniesienia wykorzystano również prognozy grupy wykształconych laików oraz dwóch prostych algorytmów statystycznych (jeden zakładał brak zmian, drugi ekstrapolował dotychczasowy trend).

Zaskakujący werdykt: cztery otrzeźwiające prawdy o prognozowaniu

Analiza trafności prognoz na 38 pytaniach, które znalazły swoje rozstrzygnięcie do połowy 2025 roku, przyniosła serię zaskakujących wniosków.

1. W starciu tytanów padł remis.
Nie było wyraźnego zwycięzcy. Superprognostycy i eksperci dziedzinowi osiągnęli niemal identyczne wyniki. Ani udokumentowana historia trafnych prognoz, ani głęboka wiedza merytoryczna nie dały żadnej z grup stałej przewagi. Na jednych pytaniach lepsi byli eksperci, na innych superprognostycy.

2. Eksperci deklasują laików.
Obie grupy – superprognostycy i eksperci dziedzinowi – były znacząco lepsze od grupy kontrolnej złożonej z wykształconej publiczności. To potwierdza, że wiedza i umiejętności prognostyczne mają realną wartość.

3. Indywidualny ekspert nie jest lepszy od prostego algorytmu.
To najbardziej szokujący wniosek. Trafność prognoz pojedynczego, medianowego eksperta lub superprognosty nie była statystycznie odróżnialna od wyników dwóch prostych algorytmów. Dlaczego? Wiele pytań dotyczyło zdarzeń o niskim prawdopodobieństwie (które nie zaszły) lub wolno zmieniających się trendów (które trwały). W takich warunkach naiwne strategie statystyczne radzą sobie zaskakująco dobrze.

4. Siła tkwi w grupie.
Zasada „mądrości tłumu” potwierdziła się po raz kolejny. Prognozy zagregowane, czyli uśrednione z całej grupy ekspertów lub superprognostów, były znacząco lepsze niż prognozy indywidualne i wykazywały pewną przewagę nad prostymi algorytmami. Łączenie wielu, nawet niedoskonałych prognoz, prowadzi do znacznie trafniejszych wyników.

Gdzie pomylili się wszyscy? Dwa wielkie błędy w ocenie przyszłości

Mimo ogólnie dobrej trafności zagregowanych prognoz, analiza ujawniła dwa obszary, w których najtęższe umysły systematycznie i głęboko myliły się w ocenie tempa zmian.

Co ciekawe, turniej prognostyczny zakończył się tuż przed publicznym udostępnieniem ChatGPT. Nawet eksperci dziedzinowi, choć byli bliżsi prawdy niż superprognostycy, nie przewidzieli skali i szybkości nadchodzącej fali w AI.

Święty Graal prognozowania: czy możemy zidentyfikować proroków?

Najważniejsze pytanie, na które miał odpowiedzieć eksperyment, brzmiało: czy trafność prognoz krótkoterminowych pozwala zidentyfikować osoby, których długoterminowe prognozy dotyczące ryzyka egzystencjalnego są bardziej wiarygodne? Czy ktoś, kto trafnie przewiduje postępy AI w ciągu najbliższych 2 lat, jest również bardziej wiarygodnym źródłem informacji o ryzyku wyginięcia ludzkości z powodu AI do roku 2100?

Odpowiedź brzmi: nie. Badanie nie znalazło żadnej statystycznie istotnej korelacji między trafnością prognoz krótkoterminowych a prognozami dotyczącymi ryzyka w długim horyzoncie czasowym. Oznacza to, że na podstawie obecnych danych nie możemy w prosty sposób wskazać, czyje wizje odległej przyszłości są bardziej wiarygodne. Umiejętność trafnego przewidywania jutra nie przekłada się bezpośrednio na mądrość w przewidywaniu następnego stulecia. To głęboko niepokojący wniosek, który pokazuje, jak trudnym i wciąż nierozwiązanym problemem jest prognozowanie ryzyka egzystencjalnego.

FAQ – Najczęściej zadawane pytania

1. Kim jest „superprognosta”?
   To termin spopularyzowany przez Philipa Tetlocka (jednego z autorów tego badania), oznaczający osobę, która w sposób powtarzalny i weryfikowalny osiąga wyjątkowo wysoką trafność w prognozowaniu różnorodnych wydarzeń. Superprognostów cechuje m.in. otwartość umysłu, myślenie probabilistyczne i ciągła aktualizacja swoich przekonań w świetle nowych dowodów.

2. Dlaczego „mądrość tłumu” działa tak dobrze?
   Agregacja prognoz od wielu różnych osób pozwala na „wyeliminowanie” indywidualnych błędów i uprzedzeń. Błędy losowe znoszą się nawzajem, a sygnał informacyjny zawarty w każdej prognozie zostaje wzmocniony. Kluczem jest różnorodność perspektyw i niezależność prognozujących.

3. Dlaczego eksperci tak bardzo nie docenili tempa postępu w AI?
   Badanie zakończyło się tuż przed rewolucją związaną z ChatGPT. Pokazuje to, jak trudno jest przewidzieć gwałtowne, wykładnicze zmiany, nawet ekspertom będącym wewnątrz dziedziny. Ludzkie myślenie ma tendencję do ekstrapolacji liniowej, co zawodzi w przypadku technologii rozwijających się w tempie geometrycznym.

4. Skoro indywidualni eksperci nie są lepsi od algorytmów, to czy ich opinie mają jeszcze sens?
   Tak, ale w odpowiednim kontekście. Po pierwsze, eksperci byli znacząco lepsi od laików. Po drugie, grupa ekspertów była lepsza od algorytmów. Wniosek jest taki, że nie powinniśmy polegać na opinii jednego, wybranego eksperta, ale na zagregowanym osądzie całej społeczności eksperckiej.

5. To kogo w końcu powinniśmy słuchać w kwestii długoterminowych zagrożeń?
   Odpowiedź płynąca z tego badania jest trudna: nie ma prostej recepty na znalezienie „proroka”. Najlepszym, co możemy zrobić, jest słuchanie zagregowanych opinii szerokiego i różnorodnego grona ekspertów, traktowanie ich prognoz z dużą dozą niepewności i ciągłe weryfikowanie ich w świetle nowych danych. Nie ma magicznych rozwiązań.

Publikacje wykonane przez nas w podobnej tematyce

1. Kalibracja poznawcza w prognozowaniu ryzyka technologicznego: Analiza porównawcza ekspertów dziedzinowych i generalistów.

2. Mądrość tłumu a czarne łabędzie: Granice skuteczności prognoz agregowanych w przewidywaniu zdarzeń o niskim prawdopodobieństwie i wysokim wpływie.

3. Błędy systematyczne w prognozowaniu wykładniczym: Studium przypadku niedoszacowania postępów w AI w latach 2020-2025.

4. Czy trafność prognoz jest cechą transferowalną? Analiza korelacji skuteczności prognostycznej między różnymi dziedzinami wiedzy.

5. Modelowanie niepewności w prognozach długoterminowych: podejście bayesowskie do syntezy opinii eksperckich.

Pomysł na doktorat

Tytuł: Dynamiczna aktualizacja prognoz ryzyka egzystencjalnego w świetle szoków informacyjnych: badanie panelowe superprognostów i ekspertów dziedzinowych w erze post-ChatGPT.

Opis: Projekt zakładałby ponowne zaangażowanie oryginalnych uczestników turnieju XPT w badanie podłużne (longitudinalne). Celem byłoby zmierzenie, jak ich krótkoterminowa trafność prognostyczna oraz długoterminowe oceny ryzyka zmieniły się po fundamentalnym „szoku informacyjnym”, jakim było publiczne udostępnienie ChatGPT i gwałtowne przyspieszenie w dziedzinie AI. Badanie pozwoliłoby odpowiedzieć na pytanie, które grupy (superprognostycy czy eksperci AI) szybciej i trafniej zaktualizowały swoje modele mentalne.

Potrzebujesz wsparcia w analizie danych, przygotowaniu publikacji naukowej lub pracy doktorskiej? Nasz zespół ekspertów łączy wiedzę naukową z praktycznym doświadczeniem. Skontaktuj się z nami, aby przekształcić Twoje badania w przełomowe odkrycia.