Argos
Betrouwbaarheid beleidsonderbouwend onderzoek
Een reportage van Argos over de betrouwbaarheid van beleidsonderbouwend onderzoek.
11.32 Aansluitend Gerard Legebeke in debat met:
-Peter van Hoessel, directeur van het onderzoeksbureau EIM (Economisch Instituut voor het Midden- en Kleinbedrijf) en voorzitter van de VBO, de Vereniging Beleidsonderzoek;
-Professor Albert Pols, hoogleraar Planning aan de Technische Universiteit in Delft;
-Ferd Crone, Tweede Kamerlid PvdA.
Het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) baseert zich bij het aanleveren van cijfers te veel op rekenmodellen en te weinig op daadwerkelijke metingen. Met deze kritiek trad RIVM-statisticus De Kwaadsteniet vorige week in de publiciteit. Hij trok de wetenschappelijke integriteit en de onafhankelijkheid van het RIVM in twijfel. Het RIVM ontkende. Toch sloeg de kritiek in als een bom. Of De Kwaadsteniet nu gelijk heeft of niet, hij snijdt een probleem aan dat steeds urgenter wordt: hoe betrouwbaar is onderzoek dat gebruikt wordt om overheidsbeleid te onderbouwen? Argos zet een aantal recente gevallen van gesjoemel met onderzoeksresultaten op een rij en vroeg onder meer de hoogleraren Bomhof en Pols om een reactie.
---
Samenvatting:
Argos over de betrouwbaarheid van wetenschappelijke onderzoeksresultaten voor overheidsprojecten. Aanleiding is de kritiek van statisticus J. de Kwaadsteniet van het Rijksinstituut voor Volksgezondheid en Milieu (RIVM), die de wetenschappelijke integriteit van het RIVM in twijfel trok.
Het instituut zou zich bij het aanleveren van cijfers te veel op rekenmodellen baseren in plaats van daadwerkelijke metingen.
In het programma passeren enkele voorbeelden van onbetrouwbaar onderzoek uit eerdere uitzendingen van 'Argos' de revue. Het betreft voornamelijk projecten die betrekking hebben op infrastructuur.
Aan de orde komen: een rapport over de CO2-uitstoot tijdens het eerste paarse kabinet; een rapport door het Nederlands Economisch Instituut (NEI) over de aanleg van de Beneluxtunnel in Rotterdam; een rapport in opdracht van minister Melkert van Sociale Zaken over zorgverlof; een rapport van het onderzoeksbureau voor transport NEA over de Betuwelijn in opdracht van minister Netelenbos van Verkeer en Waterstaat, en twee rapporten van onderzoeksbureau NYFER over de Betuwelijn en over de Tweede Maasvlakte.
Het programma bevat verder een fragment uit een persconferentie van algemeen directeur R. van Noort van het RIVM, waarin hij reageert op de beschuldigen aan het adres van het RIVM.
Daarnaast bevat de reportage vraaggesprekken met de volgende
personen:
- E. Bomhoff, econoom aan Universiteit Nijenrode en directeur van onderzoeksbureau NYFER;
- een anonieme onderzoeker van het RIVM;
- een anonieme deskundige (voorgelezen door presentator);
- wethouder Van den Muijsenberg van Rotterdam, verantwoordelijk voor de bouw van de Beneluxtunnel, over een negatief rapport van het Nederlands Economisch Instituut (NEI);
- onderzoekster Margo Brouns die in opdracht van de toenmalige minister Melkert van Sociale Zaken onderzoek deed naar zorgverlof, maar daarbij een zeer beperkte onderzoeksopdracht kreeg.
Aansluitend een discussie tussen Peter van Hoesel, directeur van onderzoeksinstituut EIM (Economisch Instituut voor het Midden- en kleinbedrijf), A.A.J. Pols, hoogleraar planning aan de TU Delft (telefonisch) en Tweede Kamerlid Ferd Crone van de PvdA (telefonisch). Gespreksonderwerpen zijn: de omvang van het probleem van beïnvloeding bij onderzoeksbureaus, het belang van geloofwaardigheid voor onderzoeksbureaus, de oorsprong van het probleem, de tendens dat in rapporten voor de overheid de baten overschat worden en de kosten onderschat en het belang van kwaliteitsbewaking en openbaarheid van onderzoeksrapporten. Het programma is geïllustreerd met een TV-fragment uit het programma 'Buitenhof' en met enkele archieffragmenten.
----------
Inleidende teksten, niet volledig:
Tekst 1
De statisticus De Kwaadsteniet van het RIVM, het Rijksinstituut voor Volksgezondheid en Milieu, afgelopen zondag in het tv-programma Buitenhof. Wetenschapper De Kwaadsteniet had eerder die week in het dagblad Trouw het wetenschappelijke karakter van het werk van zijn instituut aangevallen. Het RIVM is de vaste leverancier voor de wetenschappelijke onderbouwing van het regeringsbeleid op gebied van milieu en ruimtelijke ordening.
Tekst 1-B
De stellingen van De Kwaadsteniet zorgden voor grote opschudding. In de Tweede Kamer, maar op de éérste plaats natuurlijk bij zijn eigen instituut, het RIVM. Algemeen directeur Van Noort van het RIVM belegde afgelopen dinsdag een persconferentie.
Tekst 1-C
Of De Kwaadsteniet nu gelijk heeft of niet, hij snijdt met zijn aanklacht wel een probleem aan, dat steeds urgenter wordt: hoe betrouwbaar is onderzoek, dat gebruikt wordt om overheidsbeleid en overheidsbeslissingen te onderbouwen? Onderzoek, dat wel als onafhankelijk en wetenschappelijk wordt gepresenteerd.
Al eerder kwamen er andere voorbeelden aan licht waarbij bleek dat er soms erg creatief wordt omgegaan met de uitkomsten van wetenschappelijk onderzoek. Cijfers bleken zich te kunnen voegen naar de wensen van de opdrachtgever. In Argos zijn we verschillende keren op dat soort gevallen gestuit. Vandaag zetten we een aantal recente gevallen op een rij.
Maar eerst praten we met professor Bomhoff, econoom aan de particuliere universiteit van Nijenrode. Bomhoff is ook directeur van Nyfer, een eigen klein wetenschappelijk onderzoeksbureau, dat ook onderzoeken verricht op de terreinen waarop het RIVM zich beweegt.
Tekst 2
De econoom Bomhoff pleit voor meer concurrentie tussen onafhankelijke onderzoeksbureaus zoals dat van hemzelf natuurlijk. Vorig jaar publiceerde Nyfer een rapport waarin het RIVM, het instituut dat deze week zo onder vuur ligt, al eerder werd bekritiseerd.
Tekst 3
De spanning tussen model en werkelijkheid. En hoe groot zijn de onzekerheidsmarges. Dat is precies het probleem waarop de nu geschorste RIVM-wetenschapper De Kwaadsteniet heeft gewezen. Helemaal gek wordt het, volgens Bomhoff, als ambtelijke onderzoeksbureaus zich met de uitkomsten van elkáárs onderzoeken gaan bemoeien. Hij geeft daarvan een recent voorbeeld.
Tekst 4
In april 1997 besteedden we in Argos aandacht aan het CO-2 beleid van het eerste paarse kabinet. De uitstoot van kooldioxide moest naar beneden maar dat lukte niet erg. Want economische groei, waar paars-I erg blij mee was, bleek moeilijk te combineren met het terugdringen van de CO-2-uitstoot. Medewerkers van verschillende onderzoeksinstituten vertelden toen – anoniem – tegenover ons dat er al jarenlang wordt gegoocheld met cijfers over die CO-2 uitstoot. Cijfers zijn makkelijker te beïnvloeden dan de werkelijkheid. Een onderzoeker van het RIVM vertelde:
Tekst 5
Hoe meer geld de overheid uitgeeft, hoe zorgvuldiger dat gebeurt. Tenminste, dat zou je verwachten. In een Argos-uitzending van september vorig jaar onderzochten we de controle op infrastructurele projecten. In die uitzending keken we eens een keer niet naar peperdure projecten zoals Schiphol en de Betuwelijn. Nee, hoe vond de besluitvorming plaats over bijvoorbeeld de Benelux-metrotunnel die op dit moment wordt aangelegd in Rotterdam. Een investering waaraan het Rijk 1,3 miljard gulden meebetaalt. Voordat het Rijk zo’n bedrag geld uitgeeft, worden de gemeentelijke voorstellen door een onafhankelijk instituut tegen het licht gehouden. In dit geval was dat het Nederlands Economisch Instituut, het NEI, uit Rotterdam. Het instituut schreef een rapport, een zogenaamde audit, met daarin de volgende slotconclusie:
Tekst 6
De tunnel wordt veel duurder dan geraamd en hij gaat minder opbrengen. Bovendien staat op pag. 7 van het onderzoek:
Tekst 8
En alsof dat nog niet genoeg is, beweren de onderzoekers van het NEI op pag. 19 van hun rapport:
Tekst 9
Misschien is die metrotunnel toch niet zo’n goed idee, zou je zeggen, na het lezen van het onderzoek van het NEI. Maar om de een of andere reden wilde de minister het geld toch aan Rotterdam geven. Dat betekende dat de ambtenaar die uit dit rapport een positief advies aan de minister moest toveren een probleem had, zo vertelde ons een deskundige die anoniem wenste te blijven.
Tekst 10
Op 18 februari vorig jaar, nu dus bijna één jaar geleden, werd duidelijk waartoe de ministeriële worsteling leidde. Op die datum bereikte het bestuur van de Stadsregio Rotterdam het goede nieuws dat het 1,3 miljard gulden subsidie kreeg voor de bouw van de tunnel. Regiobestuurder Van de Muijsenberg is wel de laatste die je zult horen klagen over de wonderlijke wijze van besluitvorming op het ministerie van Verkeer en Waterstaat.
Tekst 11
Vier maanden geleden, in oktober vorig jaar, stuitten we op een heel ander geval van beïnvloeding van wetenschappelijk onderzoek. In die uitzending besteedden we aandacht aan de problemen van werknemers die tijdelijk minder willen werken om een ziek kind of een zieke partner te verzorgen. Voor dat zogenaamde zorgverlof bleek nauwelijks iets geregeld in Nederland. In 1995 besloot de toenmalige minister van Sociale Zaken, Melkert, een onderzoek te laten doen naar de stand van zaken. Hij benaderde daarvoor de onderzoekers Margo Brauns en Marianne Grünell van de Vrije Universiteit in Amsterdam. Melkert vroeg om onderzoek te doen naar die gevallen, waarin werknemers en werkgevers zorgverlof samen goed hadden geregeld. Achter die vraag zat een heel speciaal politiek doel, ontdekte onderzoekster Margo Brauns.
Tekst 12
Onderzoekster Brauns kwam óók een groot aantal gevallen op het spoor, waarin werknemers en werkgevers het zorgverlof helemaal niet goed hadden geregeld. Maar die waren niet welkom en mochten van het ministerie van Sociale Zaken niet het rapport. Na protesten van de onderzoekster werden ze uiteindelijk weggemoffeld in een bijlage.
Tekst 13
Minister Netelenbos van Verkeer en Waterstaat stuurde in november vorig jaar de ‘notitie Betuweroute’ naar de Tweede Kamer. Ze reageerde daarmee op de discussie over de toekomst van de Betuwelijn, die toen weer was opgerakeld door een aantal hoogleraren. Zij zetten namelijk grote vraagtekens bij de haalbaarheid van de omstreden goederenspoorlijn. En wat bleek nou uit de notitie van de minister: de prognoses over het goederenvervoer vielen nog veel gunstiger uit dan haar ministerie altijd al had gezegd. Dat alles was gebaseerd op nieuwe prognoses die waren uitgezocht door het NEA, een wetenschappelijk onderzoeksinstituut, gespecialiseerd in vervoer. Maar kort daarna kreeg de VPRO uit betrouwbare bron informatie, waaruit bleek dat datzelfde NEA ook nog een andere prognose had gemaakt. En die viel 20 procent lager uit.
In onze uitzending van 4 december vroegen we aan Tweede Kamerlid Leers van het CDA, vicevoorzitter van de Kamercommissie voor Verkeer en Waterstaat, of hij het NEA-rapport dat ten grondslag lag aan de gunstige visie van de minister, ooit had gezien?
Tekst 14
De Betuweroute vormt een haast onuitputtelijke bron van voorbeelden van dubieus wetenschappelijk onderzoek. Maar het gaat hier dan ook om een investering van meer dan 10 miljard gulden. Onderzoeker Roscam Abbing onderzocht voor de technische Universiteit Delft alle onderzoeken die gedaan zijn voor het besluit om de Betuwelijn aan te leggen. In onze uitzending van 16 oktober zette hij de hele geschiedenis op een rij. Uit zijn onderzoek rijst het beeld op van een ministerie en een lobby die vanaf het begin hun zinnen hebben gezet op de aanleg van die lijn. Die lobby laat zich daarbij door niets van de wijs brengen en al helemaal niet door cijfers van wetenschappelijk onderzoek. Bovendien zijn er altijd wel weer onderzoekers te vinden die bereid zijn zo nodig het tegendeel te beweren. Een extreem voorbeeld van zo’n onderzoek was volgens onderzoeker Roscam Abbing het rapport ‘Met de spade op de schouder’. En dat is nu juist gemaakt door Nyfer, het onderzoeksinstituut van professor Bomhoff die u in deze uitzending al hoorde, maar dan als criticus van andere onderzoeksinstituten.
Tekst 15
Onderzoeker Roscam Abbing. Hij voegde daar in onze uitzending nog aan toe dat het rapport politiek een belangrijke rol speelde. De publicatie van het rapport in maart 1995 hielp de weifelende VVD-fractie in de Tweede Kamer over de streep te trekken. Natuurlijk legden we deze kritiek voor aan de heer Bomhoff.
Tekst 16
Een paar weken later, in november vorig jaar, spraken we professor Pols, hoogleraar planning aan de Technische Universiteit Delft. Pols bleek ook nogal wat kritiek te hebben op de wetenschappelijkheid van Nyfer en van diens directeur Bomhoff.
Tekst 17
Bomhof houdt niet van schelden en staat achter zijn rapport.
Hoe tevreden het Gemeentelijk Havenbedrijf over Bomhoff was, bleek vorig jaar. Toen mocht Nyfer opnieuw een onderzoek doen voor Rotterdam. Deze keer ging het over de aanleg van de Tweede Maasvlakte. De overheid investeert daar meer dan 8 miljard gulden in maar de noodzaak van die Maasvlakte is omstreden. Bomhoff had goed nieuws voor iedereen. In september vorig jaar verscheen het Nyfer-rapport ‘De gouden randen van Rotterdam’. En wat bleek? De Maasvlakte kan worden aangelegd zonder dat het de overheid een cent kost. De Delftse hoogleraar Pols las het rapport en was stomverbaasd.
Tekst 18
Professor Bomhoff:
Tekst
En dan hebben we het nog niet eens gehad over de talloze organisatieadviesbureaus, die zich ook maar al te graag een wetenschappelijke pretentie aanmeten. Ook zij worden veelvuldig ingeschakeld om aan overheidsbeleid een sausje van onafhankelijkheid te geven.
In onze uitzending van 30 januari 1998 fulmineerde de Rotterdamse hoogleraar politicologie Van Schendelen tegen de steeds grotere rol die dit soort onderzoeksbureaus spelen.