Superprognosta czy sprytny księgowy? Odkrywamy sekret, jak wygrywać w przewidywaniu przyszłości.

Prognozowanie stało się wielkim biznesem. Od rynków finansowych po wyniki sportowe, od polityki po medycynę – wszędzie próbujemy przewidzieć przyszłość. Kultura „superprognozowania” (ang. superforecasting), spopularyzowana przez Philipa Tetlocka, przekonuje nas, że istnieją ludzie obdarzeni niezwykłą zdolnością do trafnego przewidywania zdarzeń. Ufamy im, podziwiamy ich wyniki i często opieramy na ich prognozach ważne decyzje.

A co, jeśli cała ta otoczka geniuszu i intuicji jest tylko sprytną iluzją? Co, jeśli bycie „superprognostą” nie wymaga wcale przewidywania przyszłości, a jedynie… bycia dobrym księgowym? Co, jeśli można osiągać doskonałe wyniki, po prostu korygując błędy z przeszłości, bez żadnej wiedzy o tym, co ma się wydarzyć? Zrozumienie tego mechanizmu jest kluczowe, ponieważ demaskuje fałszywy autorytet wielu „guru” od prognozowania i zmusza nas do zadania pytań o to, dlaczego w ogóle prognozujemy i komu powinniśmy ufać.

Prognozowanie defensywne: jak wygrać grę, nie znając przyszłości

Nowa, fascynująca praca naukowa rzuca światło na mało znaną, ale niezwykle potężną strategię – prognozowanie defensywne (ang. Defensive Forecasting). Koncepcja ta, choć formalnie opisana w 2005 roku, sięga korzeniami prac Abrahama Walda z czasów II wojny światowej. Wald postrzegał podejmowanie decyzji jako grę pomiędzy decydentem a „Naturą”. Celem decydenta jest wybór takich działań, które przyniosą najlepszy możliwy wynik, niezależnie od tego, co zrobi wroga i nieprzewidywalna Natura.

Prognozowanie to uproszczona wersja tej gry. Nie podejmujemy działań, które wpływają na świat; naszym jedynym celem jest odgadnięcie, jaki ruch wykona Natura. Co kluczowe, celem prognosty nie jest to, by nigdy się nie mylić, ale by mylić się mniej niż wszyscy inni.

Jak wygląda gra w prognozowanie?

Wyobraźmy sobie typową grę prognostyczną. Mamy serię pytań o przyszłość, na które odpowiedź brzmi „tak” lub „nie” (np. „Czy jutro w Pcimiu będzie padać?”, „Czy akcje spółki X spadną poniżej 50 zł w czerwcu?”). Prognosta nie odpowiada jednak „tak” lub „nie”, ale podaje prawdopodobieństwo (liczbę p między 0 a 1).

Wszyscy gracze znają z góry zasady punktacji. Popularną regułą jest skala Briera:

• Jeśli zdarzenie miało miejsce, prognosta otrzymuje (1-p)² punktów karnych.

• Jeśli zdarzenie nie miało miejsca, prognosta otrzymuje p² punktów karnych.

Im niższy wynik (mniej punktów karnych), tym lepiej. Gra toczy się w rundach. W każdej rundzie prognosta, mając dostęp do pewnych informacji o świecie, podaje swoje prawdopodobieństwa. Następnie Natura „odkrywa karty” (pada deszcz lub nie), liczymy punkty i przechodzimy do następnej rundy.

Strategia sprytnego księgowego

Jak wygrać w tę grę? Nie trzeba być Nostradamusem. Wystarczy być sprytnym księgowym. Prognozowanie defensywne pokazuje, że w większości popularnych systemów prognostycznych istnieje prosta strategia, która pozwala osiągać optymalne wyniki. Zamiast próbować odgadnąć, co zrobi Natura, prognosta powinien tak dobrać swoją aktualną prognozę, aby zminimalizować błędy popełnione w przeszłości.

Spójrzmy na prosty, konkretny przykład. Naszym zadaniem jest przewidzenie skuteczności rzutów wolnych koszykarza.

• Koszykarz rzuca, a my przed każdym rzutem podajemy prawdopodobieństwo, że trafi.

• Strategia defensywna jest banalnie prosta: twoja następna prognoza powinna być taka sama, jak wynik poprzedniego rzutu.

  • Jeśli ostatnio trafił, prognozuj, że trafi (prawdopodobieństwo 100%).

  • Jeśli ostatnio spudłował, prognozuj, że spudłuje (prawdopodobieństwo 0%).

Dlaczego to działa? Bo w ten sposób, licząc średni błąd na przestrzeni całej gry, twoje prognozy idealnie „kasują” poprzednie wyniki. Jak pokazano na poniższym schemacie, jedyny koszt, jaki ponosisz, to błąd na samym początku i na samym końcu sekwencji. Im dłuższa gra, tym mniejszy twój średni błąd, ponieważ błędy pośrednie się znoszą.

Można by pomyśleć, że to tylko ciekawostka działająca w tym jednym, prostym przypadku. Nic bardziej mylnego. Autorzy pracy pokazują, że uogólnienia tej prostej zasady prowadzą do potężnych i optymalnych algorytmów w wielu złożonych problemach, takich jak:

• uczenie maszynowe online,

• korekta stronniczości (debiasing),

• kalibracja modeli,

• prognozowanie z radą ekspertów.

Jeśli znasz zasady punktacji i masz dostęp do danych o przeszłych zdarzeniach (i ewentualnie prognozach konkurencji), nie musisz wiedzieć, co zrobi Natura, aby być superprognostą. Wystarczy, że wiesz, jak prowadzić księgowość swoich błędów.

Co to oznacza dla nas? Metryki determinują algorytmy

Ten wniosek ma fundamentalne znaczenie. Pokazuje, że sposób, w jaki oceniamy prognozy, bezpośrednio determinuje, jakie strategie i algorytmy są najlepsze. To zjawisko można nazwać metrycznym determinizmem: nasze ewaluacje kształtują nasze algorytmy. Jeśli zmienimy zasady gry (system punktacji), zmieni się również optymalna strategia.

To podważa całą mistyczną otoczkę wokół „superprognozowania”. Jeśli najlepsi prognostycy mogą być zastąpieni przez proste makro w Excelu, które jedynie koryguje przeszłe błędy, to ich autorytet staje pod znakiem zapytania. To zmusza nas do zadania głębszych pytań:

• Dlaczego tak bardzo zależy nam na byciu superprognostami?

• Jakie pytania zadajemy i dlaczego właśnie te?

• Czy celem jest faktyczne zrozumienie przyszłości, czy tylko pokonanie innych w arbitralnie zdefiniowanej grze?

Guru od prognozowania chcą nas omamić swoimi sztuczkami, abyśmy uwierzyli w ich nadprzyrodzone zdolności i autorytet. Nie dajmy się zwieść. Prognozowanie defensywne pokazuje, że często jest to tylko bardzo sprytna, ale w gruncie rzeczy pusta, księgowość.