Wanneer data soms de verkeerde inzichten geeft | Survivor Bias

Tijdens de Tweede Wereldoorlog stonden Amerikaanse onderzoekers voor een grote uitdaging. Veel van hun vliegtuigen werden neergeschoten door luchtafweergeschut tijdens vluchten boven het Duitse bezette gebied.

Onderzoekers van het Center for Naval Analysis kregen de taak om dit probleem te onderzoeken en gingen opzoek naar plekken om de bepantsering van de vliegtuigen te verbeteren. Ze wisten dat ze data nodig hadden om het probleem op te lossen, en besloten om na iedere missie de kwetsbaarheden in kaart te brengen door de kogelgaten en schade van elke bommenwerper nauwkeurig te beoordelen en vast te leggen.

‍

De gegevens begonnen een duidelijk patroon te vertonen (zie afbeelding). De meeste schade was aan de vleugels en het midden van het vliegtuig. De oplossing leek daarom ook duidelijk; verbeter het pantser op die plekken.

Deze conclusie klopte echter niet… Een Joodse wiskundige, genaamd Abraham Wald, wees de onderzoekers op een kritieke fout in de analyse. De onderzoekers hadden alleen gekeken naar de bommenwerpers die terug waren gekeerd. Hoe zit het met de vliegtuigen die het niet hadden gehaald? Welke schade is hen toegebracht?

Toch was het onderzoek geen verspilde moeite. De teruggekeerde vliegtuigen hadden zelden schade aan kritieke onderdelen, zoals de cockpit en de motoren. Dit was niet vanwege de goede bescherming, maar door het feit dat dit de meest kwetsbare gebieden van het hele vliegtuig waren. Werd je daar geraakt, dan kwam je hoogstwaarschijnlijk niet meer terug.

Met deze nieuwe conclusies, werden de kwetsbare onderdelen extra goed beschermd. Het resultaat: minder doden en meer succes met de bombardementen. Dit fenomeen heet de “Survivor Bias”. Hierbij concentreren we ons op de gegevens van de succesvolle partij, en worden de falende partijen uitgesloten.

Dit vooroordeel zie je vaker terug. Soms lees je verhalen over ondernemers die financieel alles op het spel hebben gezet en nu succesvol zijn. Niemand profileert de honderden andere ondernemers die dezelfde strategie volgden maar wél failliet gingen.

Houd dus rekening met de Survivor Bias bij het maken van jouw beslissingen, zelfs al lijken de conclusies nog zo overduidelijk.