skrivet av Magnus Karlström
Det finns några utvalda som får uttala sig i tv, på konferenser och i tidningar om vad som kommer hända. Det är inte lika många som undersöker om förutsägelserna blev rätt.
Forskaren Philip E. Tetlock kom ut med en bok 2005 [2] där han undersökte hur bra framförallt politiska expertkommentarer var på att förutse framtiden. Han följde 280 experter och deras förutsägelser. Experternas förutsägelser var inte signifikant bättre än icke-experterna [2,3].
Det var också så att det fanns nästan ingen som följde upp experternas förutsägelser. Om något inte hände så var det nästan alltid så att experten ändå fick komma tillbaka och ge sina nästa förutsägelse i tv-soffan [2,3].
Tetlock försökte också fundera vilka människor som är bättre på att göra förutsägelser regelbundet. För att göra det lånade han en metafor som författaren Isaiah Berlin använde i en essä om Tolstoys författarskap . Essän heter "The Hedgehog and the Fox" [4]. Berlin sorterar författare om de antingen är igelkottar eller rävar.
"Igelkottarna" är människor som har en stor idé som de använder för att förutse världen. Exempel på stora idéer är t ex globalisering, oljan eller fri marknad. Igelkottarna anser att deras stora idé är den viktigaste förklarande variabeln.
"Rävarna" är "thinkers who know many small things (tricks of their trade), are skeptical of grand schemes, see explanation and prediction not as deductive exercises but rather as exercises in flexible “ad hocery” that require stitching together diverse sources of information, and are rather diffident about their own forecasting prowess."
Tetlock hävdar att rävtypen är bättre på att göra förutsägelser regelbundet.
Boken från 2005 är ganska pessimistisk om förutsägelser.
Uppföljaren "Superforecasting" [1] har ett positivare budskap om förutsägelser. Tetlock och hans medförfattare Dan Gardner hävdar att det går att lära sig knep för att bli bättre på att förutse framtiden samt de bygger deras slutsatser på att de följt en grupp de kallar "Superforecasters" och deras arbetssätt. Det är en grupp som regelbundet är bäst på att göra förutsägelser.
Bakgrunden till boken "Superforecasting" är ett projekt som Tetlock och kollegor gjorde med Intelligence Advanced Research Projects Activity (IARPA), som är en akademisk enhet kopplat till amerikanska underrättelsetjänsten.
Den amerikanska underrättelsetjänsten var under press efter dåliga förutsägelser om t ex Irak. IARPA tog hjälp av Tetlock för att skapa projektet "The Good Judgment Project".
The Good Judgment Project är att Tetlock med kollegor har ur en grupp på flera tusen frivilliga lyckats välja ut "superforecasters" som de parat ihop i lag. De här lagen vinner förutsägelsetävlingar. Superforecastlagen slår ofta amerikanska underrättelsetjänsten på att göra förutsägelser trots att enbart underrättelsetjänsten har tillgång till hemlig information.
För att göra förutsägelsetävlingar så måste förutsägelserna vara precisa och tidsbestämda för att det ska vara möjligt att bedöma om förutsägelsen har hänt eller inte. Det är också en återkommande kritik Tetlock har på journalister att de inte kräver att experterna är så precisa så att det är möjligt att senare bedöma om de hade fel eller inte.
Det är också så att om experter eller andra vet att de kan bli bedömda längre fram så blir de betydligt mer noggranna med hur de gissar om framtiden.
Superforecasters är den grupp på 2% av de tävlande som slår medlet med mer än 50% under fyra år i förutsägelsetävlingen.
Det finns några utmärkande drag i den här guppen. De älskar information, de ändrar sannolikheten för sin förutsägelser om de får tillgång till data som ändrar grundförutsättningar och de söker information från många olika sorters källor. De tänker i form av sannolikhet och de är duktiga på att förändra sina sannolikhetshypoteser väldigt exakt.
En annat viktigt drag är att de gillar att lära sig från sina misstag. Superforecasters är mer intresserad av varför de hade fel eller rätt än att de faktiskt hade rätt eller fel.
Tetlock hävdar om vi tar till oss samma arbetssätt så ökar vår möjlighet att göra bra förutsägelser.
Om ni vill lyssna på Tetlock kan jag rekommendera hans föreläsning på American Enterprise Institute. Ni kan lyssna på den här (ca 1 timme och 30 min).
Ett alternativ för er som har mer tid är att lyssna på en kurs som finns på The edge. I kursen har Tetlock en diskussion med massa tänkare som t ex nobelpristagaren Daniel Kahneman i flera timmar om resultaten från Superforecasting. Kursen är väl värd att lyssna på.
Egen kommentar
Igelkottar är ofta enklare att lyssna på. Rävars budskap är svårare att kommunicera, men räven verkar ha mer rätt.
Uppdelningen i räv och igelkott är givetvis en förenkling.
Humoristen Robert Benchley formulerade det fint "There are two kinds of people in the world: those who divide the world into two kinds of people, and those who don't ".
Superforecasters har nog en hel del att lära oss andra. I slutet av Tetlocks bok finns tio förslag för att bli en bättre prognosmakare.
Några av de mest givande råden var:
- försök dela upp problem i sådana som går att förutse på något sätt och de som är helt slumpmässiga. Lägg inte tid på att analysera de helt slumpmässiga.
- Försök dela upp stora frågor i mindre frågor som är lättare att följa trenderna i.
- Leta efter analogier till liknande händelser, men ta hänsyn till att allt är unikt.
- Försök alltid hitta motargumenten till din huvudtes.
- Försök att aldrig bortförklara ditt misslyckade med att göra en förutsägelse. Försök förstå varför du hade fel så att du inte gör samma misstag igen.
Om Tetlock har rätt så känner ni igen sådana som är dåliga på att göra förutsägelser på att de börjar meningar med att säga ungefär "jag hade egentligen rätt, men .... " samt att de inte kan svara på frågan vad är huvudargumentet som talar emot din förutsägelse.
Mer precisa förutsägelser med tidsangivelser gör att de som gissar blir mer noggranna med vad säger. Bra att veta!
Slutligen så bygger Tetlocks förutsägelsetävlingar på att frågorna redan är klara. Det är rätt svårt att ställa rätt frågor. Det kanske är svårare än att gissa framtid.
Referenser
[1] Superforecasting: The Art and Science of Prediction. Philip E. Tetlock Dan Gardner (Author). 2015. länk
[2] Expert Political Judgment: How Good Is It? How Can We Know? 2005. länk
[3] Everybody’a an Expert. Putting predictions to the test. New Yorker. 2005. länk
[4] Unclouded vision. Forecasting is a talent. Luckily it can be learned. 26 sep 2015. Economist. länk
[5] The Power of Precise Predictions. New York Times. 2 okt 2015. länk
