Denken als een wetenschapper is verrekte lastig. Ook voor wetenschappers zelf. Als je het écht goed wil doen, moet je bestaande opvattingen opzij schuiven, wanneer je de gegevens van je onderzoek verzamelt en analyseert. Je moet zo objectief mogelijk kijken naar de gegevens en mogelijke bewijzen die dat lijkt op te leveren. Ten slotte moet je er ook nog voor zorgen dat je objectief kijkt naar hoe de nieuwe gegevens zich verhouden tot kennis uit eerdere onderzoeken. Maar je eigen wereldbeeld en agenda parkeren en volledig objectief zijn, is eigenlijk gewoon onmenselijk.
Hoe kunnen wetenschappers gelovig zijn?
Zelf ben ik altijd verbaasd dat er heel veel wetenschappers zijn die gelovig zijn. Het woord geloof zegt al dat er geen hard bewijs is. Het bestaan van een god is weinig meer dan een slecht gefundeerde hypothese die je tot nader order zou moeten verwerpen. Tot het bestaan van die god alsnog is aangetoond. Geloven in een god is daarmee eigenlijk niet te rijmen met wetenschappelijk denken.
* Lees ook: Waarom minder werken wel degelijk een goede zaak is *
Vijf economen met vijf verklaringen voor hetzelfde fenomeen?
Of ken je het cliché dat als je vijf economen om een verklaring vraagt van een bepaald fenomeen of de uitkomst van beleid laat voorspellen, ze allemaal tot verschillende conclusies komen? Bij dat voorspellen is dat nog voor te stellen. We kunnen immers niet in de toekomst kijken en hooguit geïnformeerd gissen. Economie is een sociale wetenschap en afhankelijk van menselijk handelen. Mensen doen best veel dingen die niet rationeel zijn.
De ‘homo economicus’ bestaat domweg niet
De homo economicus, die alleen maar rationeel handelt en met zo weinig mogelijk middelen een zo groot mogelijk resultaat nastreeft, bestaat in real life dan ook helemaal niet. Dat werkt niet. We weten namelijk al lang dat de mens maar beperkt rationeel is en niet alle alternatieven kan overzien. De mens is satisficing, die kiest uit een beperkt aantal alternatieven die goed genoeg zijn in plaats van optimaal. Terugkomend op die vijf economen waar ik mee begon, zou je het volgende kunnen beweren:
“Als wetenschappers perfect objectief waren, zouden ze allemaal met dezelfde verklaring voor een fenomeen moeten komen.”
Dat is duidelijk niet het geval. Wetenschappers en hun onderzoek staan niet los van het wereldbeeld, de ethiek en de politieke voorkeur van de wetenschappers. En dat is niet zo gek. Ook wetenschappers horen tot de feilbare menselijke soort.
Bias op basis van het eigen wereldbeeld in onderzoek en de resultaten
Die economen zijn niet perfect objectief en eerlijk gezegd is dat ook wel begrijpelijk. Je neemt je ervaringen mee. Zodra je je buiten de behoorlijk objectieve (en theoretische!) natuurkundige wetenschappen komt, zijn veel dingen eigenlijk niet objectief vast te stellen. Vaststellen dat water kookt bij 100 graden Celsius en bevriest onder nul graden Celsius, is relatief eenvoudig.
* Lees ook: Is van je roeping je werk maken wel goed voor je loopbaan? *
Wereldbeeld van onderzoekers beïnvloedt het onderzoek en de conclusies
Het zou eigenlijk vooral heel wetenschappelijk zijn als die economen en andere wetenschappers bij de discussie van een wetenschappelijk stuk ook zouden zeggen dat er sprake is van een bias (zeg maar ‘vooroordeel’) in de vorm van hun wereldbeeld. En dat die bias ook invloed is op hun conclusies. Een kok hoeft niet met dezelfde ingrediënten hetzelfde recept te maken en in de praktijk is dat in de wetenschap ook zo. Ze komen heel vaak op basis van dezelfde gegevens tot andere conclusies. Ik spit graag door wetenschappelijke stukken, maar ik heb nog nooit gezien dat wetenschappers hun eigen bias nadrukkelijk bespreken, wel bias meer in het algemeen bij vragenlijsten of interviews, maar niet het eigen wereldbeeld van de onderzoeker zelf. Eigenlijk is dat op de keper beschouwd heel onwetenschappelijk. Men pretendeert een objectiviteit te betrachten, waarvan het onwaarschijnlijk is dat die bestaat.
Onderzoek dat een stelling niet bewijst is minder sexy
Wetenschappers worden beoordeeld op publicaties in wetenschappelijke tijdschriften en hoe vaak hun onderzoek vervolgens aangehaald wordt door andere onderzoekers. Dat is een perverse prikkel. Uit onderzoek kan ook komen dat er eigenlijk geen significant bewijs is. Dus dat je zeker weet dat het verband wat je ziet niet op toeval berust. Maar door je data op een bepaalde manier af te bakenen of te kneden, of bepaalde statistische bewerkingen wel of niet te doen, kan je toch dingen significant doen lijken. Die wetenschappelijke tijdschriften zijn namelijk vooral geïnteresseerd in onderzoek dat een stelling bewijst en niet in onderzoek dat een stelling verwerpt.
* Lees ook: Waarom ik twijfels heb bij de Week van het Werkgeluk *
Onderzoek moet repliceerbaar zijn, maar dit gebeurt zelden
Bovendien zou wetenschappelijk onderzoek repliceerbaar moeten zijn, wat betekent dat als het op dezelfde manier herhaald zou worden, men dezelfde uitkomsten zou moeten krijgen. Niet alleen wordt onderzoek zelden herhaald, want dat is niet sexy om te doen. En dat snap ik ook wel. Iets nieuws verzinnen is leuker en creatiever dan iets van een ander overdoen. Maar wanneer onderzoek wel herhaald wordt, willen de resultaten nog weleens verschillen met het eerdere onderzoek.
Diederik Stapel als voorbeeld van hoe het niet moet en hoe het kan gaan
Diederik Stapel was een succesvol wetenschapper tot men erachter kwam dat hij niet alleen zelf gegevens had verzonnen, maar ook probleemloos gegevens die hem niet bevielen uitgumde. Deze man gaf nota bene les in wetenschapsethiek! Goes to show: ook wetenschappers zijn feilbaar. Meneer Stapel was op zijn beurt blijkbaar nog net iets feilbaarder dan de rest.
* Lees ook: Pensionering: goed of slecht voor je gezondheid? *
De vijf belangrijkste inzichten waarom wetenschappelijk denken moeilijk is
Onderzoeker Priti Shah van de Universiteit van Michigan heeft dit uitvoerig bestudeerd en zet in het boek ‘Psyhology of Learning and Motivation’ uit 2017 uiteen waarom het zo verdomde lastig is om echt echt wetenschappelijk te denken en te handelen:
1. We laten ons beïnvloeden door anekdotes
Wanneer we in het dagelijks leven over dingen moeten beslissen, worden we sterker beïnvloed door een persoonlijk verhaal van iemand dan door statistische gegevens. Stel dat je moet besluiten om je wel of niet te laten behandelen voor een bepaalde aandoening. Onze kritische vermogens doen het niet zo goed wanneer we iemand over zijn eigen ervaringen horen vertellen. Dus als die behandeling maar beperkt succesvol is op basis van de statistiek, maar iemand vertelt je hoe succesvol de behandeling bij hem of haar verliep, neig je vaker om dan toch voor die behandeling te kiezen. We zijn dus veel minder kritisch wanneer we anekdotes horen.
Beroerd onderzoek dat begint met een anekdote wordt minder kritisch bekeken
Fernando Rodriguez, ook van de Universiteit van Michigan deed hier onderzoek naar en publiceerde er in 2016 over in het blad ‘Thinking and Reasoning’. Rodriguez en zijn collega’s vroegen tientallen studenten om een wetenschappelijk rapport te beoordelen. In dat rapport werden onterechte conclusies getrokken op basis van mager bewijs. Een aantal van de rapporten opende met een anekdote die de onterechte conclusie ondersteunde. In de andere rapporten ontbrak die anekdote. Ongeacht het niveau van hun academische opleiding, of kennis van wetenschappelijke concepten, bleek dat de studenten slechter in staat waren om de rapporten die met de anekdote openden kritisch te beoordelen. Verhalen zijn volgens de onderzoekers dus in staat om ons wetenschappelijk beoordelingsvermogen te ondermijnen wanneer het ‘bewijs’ in de context van de echte wereld wordt geplaatst.
Anekdotisch bewijs wordt vaak aangehaald en als zoete koek geslikt
Veel gezondheids- en wetenschappelijk nieuws in kranten, tijdschriften, op internet en op televisie wordt vaak in de vorm van een anekdote, een persoonlijk verhaal van iemand die het heeft meegemaakt, verteld. De kans dat de lezers of kijkers de gemaakte beweringen geloven, neemt daardoor substantieel toe.
Angelsaksische management bestsellers lopen over van anekdotisch bewijs
Veel management bestsellers van vooral Angelsaksische komaf, maken hier dankbaar gebruik van. Ze lopen vaak over van zorgvuldig uitgekozen anekdotisch bewijs en dan ook nog achteraf. Dus die marketing- of managementmethode (etc.) is succesvol, want succesvol zakenman (ja vrijwel altijd mannen!) is hiermee miljonair geworden. Dat anderen met een zelfde benadering geflopt zijn, vertellen ze er niet bij. Die anderen kennen we in het algemeen ook niet.
Dat Steve Jobs succesvol was met zijn benadering bewijst niks
Ieder boek dat zegt dat je eigenwijs moet zijn en je eigen zin moet doordrijven als recept voor succes omdat wijlen Apple eindbaas Steve Jobs dat deed en er me weg kwam, is eigenlijk op voorhand verdacht. Het aandeel net zo eigenwijze en drammerige ondernemers dat failliet is gegaan door diezelfde houding aan te nemen wordt nooit in zulke boeken vermeld. Vermoedelijk niet voor niks. Het zou zo maar kunnen dat die ouwe Jobs vooral de uitzondering was die de regel bevestigde.
2. We schatten onszelf te hoog in
Wanneer we in aanraking komen met wetenschappelijke claims vinden de meeste mensen het lastig om er kritisch over na te denken omdat we ons begrip van de wetenschap overschatten. In een onderzoek uit 2003 werd honderden universitaire studenten gevraagd om meerdere wetenschappelijke nieuwsverhalen te lezen, ze te interpreteren en te beoordelen hoe goed ze het hadden begrepen. Er werden veel fouten gemaakt door de studenten. Zo werden correlaties (het gezamenlijk optreden van verschillende fenomenen) vaak verward met oorzaak- en gevolg-verbanden. Maar de studenten zelf dachten dat ze alles wél goed hadden begrepen.
Als we het taalgebruik snappen, denken we het onderzoek ook te snappen
Een deel van het probleem lijkt te zijn dat we ons begrip van een wetenschappelijke tekst baseren op hoe goed we de gebruikte taal hebben begrepen. Op deze manier kunnen populair wetenschappelijke teksten bijdragen aan onterecht vertrouwen wanneer die geschreven zijn in de taal van de leek. Deze ‘fluency bias’ geldt ook voor wetenschappelijke presentaties. Dit betekent dat populaire wetenschappelijke verhalen geschreven in de taal van de leek kunnen bijdragen aan valse vertrouwen. Deze ‘fluency bias’ kan ook van toepassing zijn op wetenschappelijke lezingen. Een onderzoek van een paar jaar geleden liet zien dat studenten de kennis die ze hadden opgedaan te hoog inschatten wanneer de presentatie gegeven was door een boeiende spreker.
* Lees ook: Elf dingen die je helpen de slaap te vatten *
3. We zijn bevooroordeeld door onze al bestaande opvattingen
In de jaren zeventig deed men onderzoek dat inmiddels een soort klassieker is. Men vroeg aan de deelnemers om wetenschappelijk onderzoek te evalueren en te beoordelen. De uitkomsten van het onderzoek paste of conflicteerde juist met hun eigen overtuigingen. Eén van de onderzoeken deed alsof er was aangetoond dat de moordcijfers in Amerikaanse staten met de doodstraf meestal lager waren. Deelnemers waren duidelijk bevooroordeeld bij de evaluaties. Als ze vóór de doodstraf waren, beoordeelden ze de studie die hun werd voorgelegd positiever. Wanneer ze tegen de doodstraf waren, zagen ze juist meer tekortkomingen in het onderzoek.
We kijken minder streng naar onderzoek dat in ons straatje past
Wetenschappelijke vaardigheden helpen dus niet tegen dit soort vooroordelen. Sterker nog: ze kunnen de vooroordelen juist bestendigen. Een studie uit 2013 vroeg deelnemers om een onderzoek naar wapenwetten in de Verenigde Staten te evalueren. Deelnemers die erg goed in rekenen en cijfers waren, waren erg gul wanneer de uitkomsten van het onderzoek paste in hun wereldbeeld. Maar wanneer de bevindingen hun mening tegensprak, gebruikten ze hun rekenkundige vaardigheden om het onderzoek te fileren. Dit kennen we als ‘identiteitsbeschermende cognitie/kennis’.
4. We staren ons blind op grafieken en formules
Het is makkelijk om indruk te maken met oppervlakkige wetenschappelijk aandoende dingen zoals, formules, grafieken of het gebruiken van jargon. In het zojuist genoemde boek halen onderzoeker Shah en haar collega’s een onderzoek aan waarin onderzoekers deelnemers vroegen om onderzoeken naar genetisch gemodificeerd voedsel te beoordelen. Er waren twee smaakjes. Het ene onderzoek liet zien dat genetisch gemodificeerd voedsel veilig was. Dat kwam overeen met het het gros van de eerdere onderzoeken op dit gebied. Het andere onderzoek sprak eerder onderzoek juist tegen en gaf aan dat genetisch gemodificeerd voedsel juist schadelijk was. Verder stond in sommige rapporten van het nieuwe onderzoek dat aan deelnemers werd getoond een spreidingsdiagram en in andere niet. Een spreidingsdiagram is een grafiek met puntjes die de metingen en samenhang op verschillende variabelen vertegenwoordigen.
* Lees ook: Dit zijn de 10 basisvoorwaarden voor een waardig en bloeiend leven *
Liegen met statistiek, loze grafiekjes, formules en jargon
Wanneer de onderzoeksresultaten visueel werden weergegeven in een spreidingsdiagram met daarin het ‘bewijs’ voor de schadelijkheid van genetisch gemodificeerd voedsel, wat dus in tegenspraak was met de conclusies uit eerder onderzoek, waren mensen sneller overtuigd door de uitkomsten van het nieuwe onderzoek, dan wanneer er niet zo’n grafiek in het onderzoeksrapport stond. Je kan dus liegen met statistieken en grafieken. Je ziet soms grafieken met een as die niet op 0 begint of op een andere manier uit verhouding is. Ook uit dit onderzoek blijkt dit te werken en dat is best zorgelijk om te constateren. Als je een beetje handig bent met grafieken, kan je mensen snel overtuigen. Ook de feitelijke resultaten uit onderzoek daar geen aanleiding toe geven. Vergelijkbare effecten zijn gevonden wanneer nikszeggend neurowetenschappelijk jargon en/of onzinnige formules in de onderzoeksresultaten waren verwerkt.
5. Intelligent zijn is ontoereikend
Ook deskundige onderzoekers lijden aan menselijke tekortkomingen die het wetenschappelijke denken ondermijnen. Hun eigen agenda en hun persoonlijke motieven beïnvloeden de manier waarop ze hun onderzoek opzetten en uitvoeren. In wetenschappelijke kringen begint men dit ook te zien en gaat men transparanter met onderzoek om. Dit is ook handig om nieuwe Diederik Stapeltjes in de toekomst te voorkomen. Men geeft inzicht in de methoden en hypotheses en pre-registreert het onderzoek dat ze gaan doen. Dit maakt de kans kleiner dat wetenschappers gedurende het onderzoek het onderzoeksonderwerp bijstellen. Zo is de kans kleiner dat de objectiviteit van de uitkomsten negatief wordt beïnvloed door de de overtuigingen die de wetenschapper in zijn uitkomsten van onderzoek graag terug wil zien. Dit heet ‘confirmation bias’. Door pre-registratie is minder ruimte om het onderzoek, de gegevens en de conclusies naar eigen inzicht te manipuleren.
Veel psychotherapeutisch onderzoekers bevestigen eigen vooroordelen
In een recente overzichtsstudie (2016) op het gebied van psychotherapie, kwamen Klaus Lieb van het Universitair Medisch Centrum Mainz en zijn collega’s erachter dat de conclusies van veel onderzoek bewust of onbewust zo waren gekneed dat ze de al bestaande vooroordelen van de onderzoekers ondersteunden. Ook in bredere zin ontbreken bij wetenschappelijke publicaties (en ook bij wetenschappelijk journalisten!) regelmatig de kritische basishouding die je verwacht van deze beroepsgroep. Domweg omdat ze het eens zijn met de boodschap die uit het onderzoek voortkomt.
* Lees ook: Zwarte humor vooral gewaardeerd door slimme mensen *
Diep willen en kunnen nadenken is belangrijker dan intelligentie
Intelligentie of iq (sowieso een dubieuze meetlat) is dan ook geen goede voorspeller van de mate waarin iemand in staat is te denken zoals je zou mogen verwachten van een wetenschapper. Namelijk objectief en onbevooroordeeld. Wat relevanter voor de uitkomst is de mentale houding van de persoon in kwestie. Dus of iemand een diepe intrinsieke behoefte aan kennis heeft. De mate waarin iemand in staat is zijn eigen motivatie en instinct te onderdrukken en diep kan reflecteren en nadenken draagt bij aan de objectieve houding die nodig is voor onderzoek. In de wetenschap zijn de echte nieuwsgierige Aagjes dus in het voordeel. Zij zouden nog weleens onbevooroordeeld en kritisch hun onderzoek kunnen opzetten, uitvoeren en beschrijven. Dit komt mijzelf natuurlijk wel mooi uit als immer nieuwsgierig Aagje naar wetenschappelijk onderzoek. En nee heus, daarmee probeer ik helemáál niet mijn eigen snoodheid te bevestigen! Geloof jij het?!
** PS: op deze foto zie je Mme Marie Curie, de Pools-Franse wetenschapper die als eerste vrouw promoveerde op een natuurkundig proefschrift. Zij was pionier op het gebied van radioactiviteit, de ontdekker van het element Radium. Ze ontving twee (!!) keer een Nobelprijs voor natuurkunde en scheikunde en was de eerste vrouwelijke hoogleraar aan de Sorbonne in Parijs. Curie overleed in 1934 op haar 66e aan leukemie, vrijwel zeker ten gevolge van de straling waaraan zij tijdens haar werk had bloot gestaan. Stoere chick, die Curie!
