Me Judice Economenpanel: wetenschappers als verdelers van onderzoeksgeld?

Zelfsturing in de wetenschap

In de wetenschap, of dit nu in Europa of in de VS plaats vindt, zijn onderzoekers naarstig op zoek naar geld voor onderzoek.‘Funding or famine’ zo luidt het adagium. Niet alleen is de slagingskans bij wetenschappelijke fondsen - zoals NWO - erg laag, het kost enorm veel tijd en geld van onderzoekers om voorstellen te schrijven en op hun beurt kost het referenten veel tijd om die voorstellen (onbezoldigd) te beoordelen. De Nederlanders Johan Bollen (Indiana University) en Marten Scheffer (Wageningen) hebben zich geworpen op een alternatief dat veel van de bureaucratische rompslomp vermijdt en de kennis en inzichten van de wetenschappelijke ‘crowd’ inschakelt (zie artikel in Science , 13 april 2017). Zij zijn er al langer mee bezig, hebben er over gepubliceerd (zie Bollen et al. 2014, 2016) en vorig jaar is er zelfs een keer over gedebatteerd in de kamer. Staatssecretaris Dekker meldde vorig jaar dat hij interesse heeft in alternatieve financieringsmethodes maar dat hij voor het plan van Bollen en Scheffer vindt hij dat dit toch in de eerste plaats een zaak is van NWO en de wetenschap zelf (de Volkskrant, 22 juni 2016).

Een alternatief verdelingsmechanisme

Wat stellen Bollen en Scheffer voor? Zij stellen voor om het onderzoeksbudget gelijk te verdelen onder wetenschappers verbonden aan universiteiten. In het geval van Nederland komt dit neer op 30.000 euro per onderzoeker, en 100.000 in de VS. Men hoeft dus niet meer voorstellen in te dienen en één of twee jaar te wachten voor men aan de slag kan, maar de enige spelregel is dat men ieder jaar een vast percentage moet doneren aan de wetenschappers die zij respecteren en geld uit ‘hun’ onderzoekspotje waard vinden. Om keuzes mogelijk te maken staan onderzoekers op een website waar hun werk op staat, evenals hun visie en toekomstplannen. Uiteraard moet in de praktijk vriendjespolitiek vermeden worden en kan bijvoorbeeld niet aan naaste collega’s of co-auteurs geld worden gedoneerd. Op basis van simulaties – waarbij de stelregel is gehanteerd dat onderzoekers 50 procent van hun fonds moeten doneren - blijkt dat de allocatie van geld niet wezenlijk anders is dan hoe het nu via NWO geschiedt, maar uiteraard dan zonder de bureaucratische kosten (zie Bollen et al. 2016). Omdat hier marktwerking in onverdunde vorm in de wetenschap wordt voorgesteld is in samenwerking met Bollen en Scheffer dit idee getoetst aan de hand van een drietal stellingen onder het MJ economenpanel.

In de week van 15 mei is de de peiling gehouden waarbij het responspercentage 55 procent was. Een mogelijke reden waarom deze peiling ditmaal een iets lagere response had vergeleken met andere MJ peilingen zou te maken kunnen hebben met het feit dat het ditmaal om een onderwerp ging waarover niet ieder panellid evenveel ervaring of kennis had.

Is er sprake van overmatige bureaucratie?

Allereerst is het natuurlijk belangrijk om te zien of het panel het eens is met de constatering of er sprake is van hoge kosten voor indieners en commissieleden en referenten die door NWO-rondes worden ingeschakeld. Het ligt voor de hand dat het indieners van voorstellen veel tijd kost. Niet alleen het schrijven maar ook het inschakelen van coaches, collega’s die meelezen kost tijd en dat zijn vaak kosten die niet op een begroting verschijnen maar wel relevant zijn om mee te nemen. Om jonge onderzoekers te stimuleren om aanvragen in te dienen nemen sommige universiteiten zelfs het initiatief om het schrijven van aanvragen te subsidiëren of als een onderzoek wel subsidiabel wordt geacht door NWO maar niet wordt toegekend nemen sommige universiteiten het besluit om het zelf te financieren. Het is immers in het belang van een universiteit dat er veel promoties plaatsvinden. Maar de kosten van de bureaucratie schuilen uiteraard ook in de verschillende commissies die NWO inschakelt om (gratis) een oordeel te vellen over de vele aanvragen. Niet alleen het commissiewerk vergt tijd, er worden ook binnen- en buitenlandse experts ingeschakeld om in een tweede ronde de aanvragen te beoordelen op hun wetenschappelijke en maatschappelijke merites. Daarnaast is het bureau van de NWO die de zaken in goede banen moet leiden. Kortom, de bureaucratie van een dergelijk systeem is niet gering. Men kan uiteraard stellen dat tegenover deze kosten baten staan omdat onderzoekers (gratis) feedback krijgen van 'peers', net als in het geval van wetenschappelijke tijdschriften die in veel gevallen op de welwillendheid van deskundigen kunnen rekenen. Maar ook daar is inmiddels bij veel tijdschriften een opeenhoping van manuscripten die naarstig op zoek zijn naar een deskundige referent. Om een en ander te peilen hebben de volgende stelling voorgelegd:

De allocatie van geld voor wetenschappelijk onderzoek in Nederland gaat gepaard met hoge (bureaucratische) kosten voor zowel indieners als referenten.

Zoals men kan zien in figuur 1 tekent zich hier een duidelijke meerderheid af die vindt dat de kosten de gemoeid zijn met het proces van indieners en beoordelen hoog zijn. Ongewogen cijfers (dus iedere stem van de MJ peilers krijgt hetzelfde gewicht) laten zien dat 94 % van de panelleden de kosten hoog vinden. En zoals men uit de gewogen cijfers ziet zijn de panelleden met veel kennis van deze materie nog meer uitgesproken over deze stelling dan zij die er zijdelings mee te maken hebben.

Figuur 1: De bureaucratische kosten van het verdelen van onderzoeksgeld zijn hoog

Zijn beide systemen even goed of slecht?

De kernvraag is uiteraard of beide systemen even goed werken of niet. De CPB-onderzoekers Van Dalen et al. (2015) hebben redelijk recent de dominante financieringssystemen naast elkaar gezet. Zij onderscheiden wat zij noemen institutionele financiering en projectfinanciering. De eerste groep ontvang direct geld van de overheid om onderzoek te financieren en dit type financiering valt nader uiteen in vaste financiering en prestatiefinanciering. Om het onderscheid te duiden, prestatiefinanciering is afhankelijk van voorwaarden of prestatie-indicatoren, vaste financiering niet.

De tweede groep – projectfinanciering - is het type onderzoek dat NWO onder zijn hoede heeft en het gaat hier om onderzoeksprojecten met een vooraf vastgestelde onderzoeksvraag, budget en looptijd. Het aardige van het CPB-onderzoek is dat zij tot de conclusie komen dat de zaken niet zwart-wit zijn in de praktijk. Er is geen ‘best practice’: iedere vorm van financiering heeft zijn voor- en nadelen. Hetzelfde zou evenwel ook kunnen gelden voor het gedurfde plan van Bollen en Scheffer. We hebben daarom de volgende stelling voorgelegd aan het panel:

De collectieve rationaliteit van individuele wetenschappers om onderzoeksgeld te investeren werkt net zo goed als de rationaliteit van wetenschappers verzameld in commissies van nationale wetenschappelijke onderzoeksorganisaties.

Zoals men uit figuur 2 kan opmaken is hier meer verdeeldheid dan over de stelling of de bureaucratische kosten hoog zijn. Een aantal panelleden onthoudt zich van een mening (6,3%), maar er tekent zich wel een beeld af waarin de meeste economen (53%) het eens zijn met deze stelling. In de toelichting van de individuele leden kan men echter wel aflezen dat men die instemming kwalificeert met vervolgvragen. Neem bijvoorbeeld de mening van Robert Inklaar (RUG) zijn instemming aanvult met “Mijn enige kanttekening is dat (ook) een individueel systeem alleen goed kan werken als er serieus aandacht wordt besteed aan (a) het presenteren van visie en toekomstplannen door onderzoekers en ( b) het beoordelen daarvan alvorens individuen een keuze maken.” En Reyer Gerlagh (Tilburg University) vind dat het plan van Bollen en Scheffer “een interessante alternatieve dynamiek” kan generern. “Het wordt belangrijker om bekendheid te krijgen bij binnenlandse collega's. Kernvragen: wat zijn de eisen om mee te mogen beslissen, hoe maken we relevante informatie makkelijk beschikbaar?” Maar er zijn ook twijfelaars of tegenstanders met valide argumenten, zoals dat van Andries de Grip (Maastricht University). Hij stelt “In de praktijk zal dit te snel leiden tot onderlinge afspraken c.q. kartelvorming. Ook lijkt het me in het nadeel van getalenteerde, maar nog onvoldoende bekende jonge onderzoekers.” Vooral dat laatste onderdeel zou er voor pleiten dat er alleen voor de starters (Veni-beurzen) de NWO-financiering in stand wordt gehouden en zodat zij zich met dat geld een aantal jaren kunnen inwerken en bekendheid genereren om voor vervolgfinanciering in aanmerking te komen.

Figuur 2: Het individuele systeem van Bollen en Scheffer werkt net zo goed als het NWO-systeem

Experiment

Hoe het ook zij, de wisdom van de MJ-‘crowd’ is gematigd positief, maar men heeft wel bedenkingen die in experiment en praktijk moeten worden opgelost. En daar gaat de derde stelling over:

Een organisatie als NWO doet er goed aan om een experiment uit te voeren waarbij het onderzoeksgeld via individuele beslissingen van wetenschappers wordt verdeeld (à la het Bollen/Scheffer voorstel).

Zoals gezegd heeft menigeen wel een positief gevoel bij het idee van een vorm van crowdfunding maar er klinkt twijfel door en er is daarom meer kennis gewenst over hoe dit in de praktijk uitwerkt. De meeste economen zijn het wel eens dat er meer empirische kennis moet komen over hoe alternatieve systemen werken en het mooie van het Bollen/Scheffer-voorstel dat het voor economen tegelijkertijd kennis genereert over hoe het staat met de ‘wisdom of the crowd’. Wellicht dat een dergelijk systeem nog gevoeliger is voor modes dan het huidige systeem of dat het winner-take-all effect waar de wetenschap toch altijd mee besmet is nog sterker wordt uitvergroot. Het zijn allemaal vragen die om een antwoord roepen. En het uiteraard het hoeft niet alles of niets te zijn, zoals velen denken. Zoals Robert Inklaar (RUG) het ook benoemt: “Een experiment kan ook betekenen dat beide systemen parallel worden ingezet op bescheiden schaal binnen een specifiek beurzenprogramma.” of zoals Gerlagh (TiU) stelt: "Het kan vast beter dan hoe het nu gaat. Proberen en analyseren."

Figuur 3: NWO doet er goed aan om een experiment op te zetten van het Bollen-Scheffer voorstel

Conclusies

De onvrede over het bestaande verdelingssysteem van onderzoeksgeld is groot en het denken over alternatieve mechanismen is meer dan wenselijk. Zoals Bas ter Weel (2015) al eens eerder over het NWO-systeem de retorische vraag stelde: “In welke mate is het maatschappelijk optimaal dat onze beste krachten in toenemende mate onderzoeksvoorstellen schrijven die niet worden gefinancierd in plaats van wetenschappelijk onderzoek doen?” Onderzoekfinanciers dreigen te vergeten dat er al een peer review systeem is waarmee het kaf van het koren wordt gescheiden, namelijk wetenschappelijk tijdschriften; een systeem dat zelf ook onder het gewicht van vele inzendingen wordt belast.

Het mooie van de wetenschap is dat kennis wordt geproduceerd op basis van niet-markt mechanismes, zoals eer en eerzucht om de eerste te zijn. Maar door onderzoekers te prikkelen met up-or-out contracten en universiteiten te prikkelen met een vorm van stukloon (publicaties en promoties) is er een kennisproductie op gang gekomen die wellicht alleen ook met economische tegenprikkels in de tang kan worden gehouden. Laat de werkgevers van de aanvragers een entreeprijs betalen om mee te doen aan de competitie van onderzoeksgelden en ga ook commissieleden en referenten marktconform betalen voor hun inzet. Maar wellicht is het beprijzen van wetenschappelijke handelingen nog erger dan de kwaal? In dat opzicht is het experiment van Bollen en Scheffer een aantrekkelijk alternatief omdat het inspeelt op mechanismen waar wetenschappers vertrouwd mee zijn – zet je zelf op de kaart en zorg dat je plannen gedurfd of relevant zijn – en verwerf kennis over hoe deze vorm van crowdfunding werkt in de praktijk. Meer kan men toch niet van een redelijk mens of minister vragen?

Referenties:

Bollen, J., Crandall, D., Junk, D., Ding, Y., & Börner, K. (2014). From funding agencies to scientific agency. EMBO reports, 15(2), 131-133.

Bollen, J., Crandall, D., Junk, D., Ding, Y., & Börner, K. (2016). An efficient system to fund science: from proposal review to peer-to-peer distributions , Scientometrics, Published first online.

Dalen, R. van, R. van Elk en D. van Vuuren, 2015, Publieke onderzoeksfinanciering: de voor- en nadelen van verschillende financieringsmethoden , CPB Policy Brief, 2015/07, Den Haag.

Weel, B. ter, 2015, Heeft het zin om een onderzoeksvoorstel in te dienen bij NWO?, ESB blog, 1 juni 2015.