A czy można ufać prognozie pogody?
Oczywiście, że tak, ale nie do końca. To jest kwestia stopnia prawdopodobieństwa ziszczenia się danej prognozy. Prognozy pogodowe mają dużą sprawdzalność i relatywnie niewielki margines błędu.
Nie mają, dlatego progności w tych dziedzinach częściej się mylą.
Cóż, telewizja ma negatywny wpływ na jakość i trafność przewidywań. Od lat 80. prowadzę „turnieje prognozowania”, czyli zapisuję to, co eksperci sądzą na dane tematy, a potem konfrontuję ich przewidywania z tym, co faktycznie się dzieje. Proszę zgadnąć jak w tych badaniach wypadają sławni „eksperci” telewizyjni?
Słabo. Bardzo słabo. Przykład: ich odpowiedź na pytanie, kto będzie kolejnym prezydentem USA nie różni się w dużej mierze od odpowiedzi losowej.
Jest kilka przyczyn. Z punktu widzenia mediów najważniejsza jest ta, że ekspert, który się waha, waży słowa, unika sądów twardych jest nieużyteczny, bo nieciekawy. Zaś ekspert, który mówi, że wie i jeszcze umie precyzyjnie określić, co wydarzy się w przyszłości – to dopiero skarb! Z moich badań wynika, że choć ten pierwszy rodzaj eksperta ma częściej rację, a ten drugi częściej się myli, to telewizja ma tendencję do niezapraszania ponownie do studia ludzi, którzy mają rację.
Jeśli ekspert używa sformułowań typu „jednakże”, „prawdopodobnie”, „chociaż”, „ale”, „w przypadku”, to można założyć, że wie, o czym mówi. W praktyce sprowadza się to do różnicy pomiędzy dwoma stwierdzeniami: „bardzo możliwe, że w przyszłym roku będzie recesja!”, które wypowiada słaby ekspert i „istnieją szanse na poziomie takim a takim, że w przyszłym roku będzie recesja, ale pod warunkiem, że…”, które wypowiada ekspert rzetelny. Różnica polega na tym, że ktoś, kto mówi „możliwe”, a jego prognoza się nie sprawdza, stosuje potem wybieg na zasadzie: „Mówiłem, że to tylko możliwe, a nie pewne!” To najłatwiejszy i najbardziej banalny wybieg pozwalający zakamuflować to, że czyjeś prognozy są bezużyteczne, bo brak im ostrości sformułowania i określenia prawdopodobieństwa.
Oczywiście pamiętam tę rozmowę. Ja myślę, że jeśli chodzi o przewidywanie kryzysów, to sprawa jest znacznie bardziej skomplikowana. Schiff „przewidział” kryzys z 2008 r., ale trzeba zadać sobie pytanie o liczbę kryzysów, które przewidział, a które się nie wydarzyły. Proszę pamiętać, że zepsuty zegar dwa razy dziennie pokazuje dobrą godzinę. Ci, którzy nieustannie przewidują kryzys, w końcu ten kryzys mają. Swoją drogą, genialny ekonomista Paul Samuelson mawiał, że giełda przewidziała 9 z ostatnich 5 recesji…
Niestety, to był on [śmiech]. Jak widać, IQ nie jest gwarantem trafności prognoz. Samuelson sformułował konkretną prognozę, która się nie sprawdziła. Natomiast słabi progności próbują ubrać swoje stwierdzenia w takie szaty, by można było potem je różnie interpretować. Z przewidywaniem wiąże się ciekawe zjawisko: lubimy tłumaczyć sobie, że coś przewidzieliśmy, mimo że tak wcale nie było.
Jeszcze za czasów zimnej wojny pomiędzy USA a ZSRR pytaliśmy ekspertów, jak to wszystko się skończy. Zadawaliśmy bardzo precyzyjne pytania. Np.: czy Rosja najedzie Polskę, itd. Język ówczesnej debaty był bardzo niedoskonały. Jedni chcieli naciskać ekonomicznie i militarnie na ZSRR, wywierać presję i wierzyli, że w końcu blok sowiecki się rozpadnie. Drudzy uważali, że należy zaakceptować istnienie komunistów i oni sami z czasem wyewoluują w coś akceptowalnego dla świata. Każdy swoje prognozy dopasowywał do swoich przekonań. Czy ktoś przewidział, że do władzy dojdzie ktoś taki, jak Gorbaczow?
Nie. Ale wszyscy jak jeden mąż twierdzili, że przewidzieli. Sakramentalne „A nie mówiłem?” padało z każdej strony. Skąd to się bierze? Tkwi w nas tendencja do samooszukiwania się, uważania się za mądrzejszych niż w rzeczywistości jesteśmy. Gdybyśmy spisywali rzetelnym, precyzyjnym językiem nasze prognozy, a potem poddawali je ocenie, wówczas bylibyśmy intelektualnie uczciwsi i uczylibyśmy się na swoich błędach. To wręcz warunek konieczny dla dobrego prognozowania. Najlepsi eksperci to ci, którzy są wobec siebie uczciwi i analizują swoje poprzednie prognozy. To trudna sztuka, bo przecież trudno szacować prawdopodobieństwo wydarzeń takich, jak wojna w Syrii, recesja gospodarcza w Chinach, czy najazd Putina na Ukrainę.
W dużym skrócie tak właśnie jest. Ciekawe, że najskuteczniejsi w prognozowaniu przyszłości nie są oficjalnie eksperci, np. ci zatrudniani przez rząd, a utalentowani amatorzy wybrani losowo z ogólnej populacji USA. Wykazały to moje badania. Co jest tego przyczyną? Są oni mniej dogmatyczni, nie muszą dbać o swoje „nazwisko”, mogą przyznawać się do błędu i rozumieją pojęcie prawdopodobieństwa. Wbrew pozorom to nietrywialna sprawa zrozumieć, czym różni się zakład 40/60 od zakładu 60/40.
Najlepsi prognostycy, kiedy mają odpowiedzieć na konkretne pytanie, działają tak: biorą wszystkie ich zdaniem istotne zmienne, które mogą wpłynąć na ostateczną odpowiedź, szacują szczegółowe prawdopodobieństwa i dopiero po ich skumulowaniu otrzymują finalny efekt. Ich modus operandi to szukanie długofalowych trendów. „Superprognosta” powie na przykład: od II Wojny Światowej kryzysy ekonomiczne w USA mają miejsce średnio co 7 lat. Od ostatniego upłynęło już 7 lat, więc szansa na kolejny rośnie i ów kryzys wybuchnie z prawdopodobieństwem takim a takim, jeśli zadziałają dodatkowe czynniki, takie jak np. załamanie w Chinach, czy duże spadki w handlu ze strefą euro na skutek trawiącego ją kryzysu.
Jest to głęboko komplementarne z moim podejściem. Zgadzam się, że średnia opinii grupy obserwatorów będzie bliższa prawdzie niż opinie indywidualne. Analiza grupy pozwala uchwycić „sygnał”, który niedostępny jest jednostce. Ja i moi współpracownicy idziemy nawet dalej niż Surowiecki. Zamiast zwykłej średniej wyciągamy z prognoz średnią ważoną, w której więcej znaczą ci progności, którzy historycznie rzecz biorąc częściej mieli rację. To nie koniec. Wyciskamy z tych wyników jeszcze więcej, doprowadzając je do ekstremum. Już tłumaczę.
Pamięta pan czasy, gdy Obama polował na Osamę? Musiał on zapytać swoich ekspertów o ich szacunki dotyczące szansy na to, że Osama ukrywa się w Pakistanie. Załóżmy, że grono ekspertów niezależnie i jednogłośnie oszacowało tę szansę na 70 proc., przy czym każdy z nich brał informację z innych źródeł. Np. z danych wywiadu, analizy informacji z internetu, satelity, itd. Czy więc szansa to faktycznie 70 proc.? Niekoniecznie. Bierzemy wyniki prognostyczne tych ekspertów z przeszłości, sprawdzamy ich średnią trafność i wówczas w zależności od niej nasze szacunki co do miejsca pobytu Osamy korygujemy w górę, albo w dół.
Może w pewnym specyficznym sensie. W „sztuce prognozowania” chodzi przede wszystkim o odsianie szumu informacyjnego i wytworzenie metod, które na taki odsiew pozwalają. Mój ostateczny cel to poprawić jakość debaty publicznej, a to się nie stanie, jeśli wciąż będziemy słuchać hochsztaplerów. Trzeba naciskać na media i ekspertów, żeby byli precyzyjni w tym, co mówią, a świat będzie piękniejszy i lepszy.
Ostrzeżenie: nie należy zadawać zero – jedynkowych pytań, na które odpowiedź miałaby brzmieć „Tak, czy nie”
I to jest ślepa uliczka i jednocześnie istotny niuans. Prognozy powinny być precyzyjne, ale nie proste. Jeśli ktoś mówi, że PKB Polski spadnie w przyszłym roku dokładnie o 3,5 proc. to jest to „fałszywa precyzja”. Powinien mówić: szansa na spadek PKB na poziomie od 2 do 4 proc. wynosi tyle a tyle procent, spadek PKB 0-2 proc. to tyle a tyle procent prawdopodobieństwa, itd.
Prawda jest taka, że aby dobrze formułować przewidywania trzeba mieć jakieś podstawy merytoryczne i dane statystyczne na pewno mogą być tutaj pomocne, zarówno w geopolityce, jak i w ekonomii. Niemniej jednak najbardziej interesująca jest wartość dodana, dodatkowe poza statystyczne umiejętności, które superprognostom pozwalają na robienie dobrego użytku z tych danych. My badamy, na czym ta wartość dodana, biorąca się z kreatywności ludzkiego umysłu, może polegać. To kwestia eksperymentalna. Cała sztuka prognozowania to właściwie eksperyment, daleko jej do dogmatycznych formuł.
Cóż, rzetelność to rzecz, którą niezwykle trudno sprzedać w TV. Jeśli ludzi nie uczymy w liceach, czym jest prawdopodobieństwo w rzeczywistym świecie, to nie oczekujmy, że zrozumieją oni ten koncept wówczas, gdy jako dorośli obywatele będą głosować wyborach. Niemniej warto próbować i to jest to, co ja i moi koledzy z projektu Good Judgment Project obecnie robimy.
