Alle modellen zijn fout
In maart 2011 had ik nog geen blog. Anders had ik hier zeker verslag gedaan van het congres “All models are wrong“ dat toen aan de Rijksuniversiteit Groningen plaatsvond. Het was een organisatie van twee statistici (Ernst Wit en Edwin van den Heuvel) en één wetenschapsfilosoof (Jan-Willem Romeijn). De dia’s van de meeste presentaties staan online, dus je kunt het hele evenement thuis nabeleven als je dat zou willen.
De aanleiding om meer dan een jaar na datum alsnog over dit congres te bloggen is een recente publicatie: deze zomer verscheen er namelijk een speciaal themanummer van het wetenschappelijke tijdschrift Statistica Neerlandica met daarin artikels die op het congres gepresenteerd werden. In dit nummer staat er ook een artikel van mij samen met Danny (helaas niet gratis te raadplegen). Onze lezing en het bijbehorende artikel hebben de titel: “Models and simulations in material science: two cases without error bars“. (De pdf met de dia’s vind je hier en is wel gratis te raadplegen.)

Het themanummer van Statistica Neerlandica met de proceedings van ‘All models are wrong’ viel deze zomer in de bus.
We hadden al langer plannen om een artikel te schrijven met onze twee namen erboven: romantiek voor onderzoekers. :-) We haalden de inspiratie voor onze gezamenlijke bijdrage uit de tijd dat we een koppel werden en we elk aan ons eerste doctoraatsstudie werkten. Ik knutselde toen in het laboratorium aan biosensoren op diamant, terwijl Danny computationeel onderzoek deed naar nanodraden. Dit zijn weliswaar erg verschillende onderwerpen, maar toch vonden we een gemeenschappelijke deler die interessant genoeg was voor een nabespreking: we werkten beiden in de materiaalfysica en stelden ons daarbij allebei vragen over hoe betrouwbaar onze resultaten nu eigenlijk waren. Meestal wordt deze betrouwbaarheid uitgedrukt met behulp van foutenvlaggen. Echter, zowel voor mijn ellipsometriestudie van DNA op diamant als voor de door Danny berekende structuur van nanodraden bleek het onmogelijk om de foutenanalyse kwantitatief door te voeren met finaal één fouteninterval als resultaat.
In de wetenschapsfilosofie ging de grootste aandacht lange tijd uit naar theorieën. Recent is men echter meer belangstelling beginnen krijgen voor modellen en simulaties. We beginnen ons artikel dan ook met een bespreking van de filosofische literatuur hierover en maken een onderscheid tussen modellen in de materiaalfysica enerzijds en die in de statistiek anderzijds. Vervolgens analyseren we het gebruik van modellen en idealisaties in de context van ons eigen voorgaande onderzoek. We bespreken welke bijkomende informatie er nodig zou zijn om in deze twee gevallen wel tot een fouteninterval te komen. Anderzijds herinneren we de lezer er ook aan dat gerapporteerde foutenintervallen bijna nooit alle mogelijke bronnen van fouten omvatten. Foutenintervallen worden meestal berekend op basis van de statistische variatie binnen een model; het is doorgaans echter ondoorgrondelijk om precies te kwantificeren hoeveel het model zelf van de werkelijkheid afwijkt.
De titel van het congres verwijst naar volgend citaat van statisticus George E. P. Box:
“Alle modellen zijn fout, maar sommige modellen zijn nuttig.”
Dit is in feite ook de conclusie van ons artikel. Alle modellen zijn fout – ja -, maar modellen doelen er ook helemaal niet op om ‘juist’ te zijn. Een belangrijke (maar niet de enige) functie van modellen is om ons een middel geven waarover we kunnen redeneren, want de wereld zelf is vaak niet te begrijpen. Het komt er daarbij op aan om een model te vinden dat niet te fout is, zodat het toch iets gemeen heeft met het onderdeel van de werkelijkheid dat we willen bestuderen. Zoals gezegd informeren foutenvlaggen ons niet over hoe goed het gebruikte model op de werkelijkheid lijkt, maar veeleer over wat de variatie is als we dit model even voor waar aannemen – een cruciaal verschil.
Als je deze onderwerpen interessant vindt, moet je eigenlijk de inleiding bij het themanummer eens lezen. Helaas is ook dit geen open access, maar je kunt het altijd eens proberen aanklikken vanuit de dichtstbijzijnde universiteitsbibliotheek…
Tot slot nog een leuk weetje: voor de affiche van het congres werd als afbeelding het Lego-kunstwerk “Relativity” van Andrew Lipson gebruikt, een hommage aan Escher (ook het plaatje bovenaan deze post).