Onderzoek naar onderzoek: staat kwaliteit nog boven kwantiteit?
Rankings and Reputation | Lunch discussion with among others philosopher Willem Halffman | Radboud Reflects Month of Ethics @ Faculty of Science | Mon 20 November 2017 | 12.45 – 13.30 hrs | Central Hall Huygens building Radboud University
Podcast | VOX - Betafaculteit kies nieuw systeem om onderzoekers te wegen
De beoordeling van universiteiten is belangrijk in het aantrekken van nieuwe studenten en buitenlandse promovendi. Het lijkt daarom voor zich te spreken dat universiteiten aan deze rankings steeds meer waarde gaan hechten en meer nadruk leggen op het behalen van goede scores. Toch gaat er veel mis in deze beoordelingen. De ranglijsten lijken vaak niet objectief genoeg en wetenschappers worden aangezet om zoveel mogelijk artikelen te publiceren, met als gevolg dat de kwaliteit van het onderzoek eronder lijdt. Zijn het aantal gepubliceerde artikelen wel een goede maatstaf om de kwaliteit van een universiteit te meten? En kunnen we verschillende wetenschapsgebieden wel met elkaar vergelijken? In het teken van de Maand van de Ethiek op de Faculteit der Natuurwetenschappen, Wiskunde en Informatica gingen sociaal wetenschapper Willem Halffman en computerwetenschapper Frits Vaandrager met elkaar in gesprek om de invloeden die reputaties en ranglijsten in het wetenschappelijk onderzoek hebben te analyseren.
Onderzoeksbeleid
“Wetenschap is divers en complex”, zo opent Halffman zijn betoog. “Het werk van een wiskundige verschilt veel van het werk van een geschiedkundige of een bioloog. Dat uit zich niet alleen in de inhoud van het onderzoek, maar ook bijvoorbeeld in de hoeveelheid artikelen die gepubliceerd worden.” Dat de diversiteit in de wetenschap echter enorm hoog is, betekent niet dat we hier niets meer mee kunnen. Alhoewel het de situatie erg gecompliceerd maakt, is het wel degelijk mogelijk om bepaalde indicatoren vast te stellen en hiermee onderzoek te beoordelen. Vaak zien we dat het beleid dat gemaakt wordt veel invloed heeft op de inhoud van het onderzoek: “Wetenschappers hebben vaak snel door waar ze op beoordeeld worden en passen zich hierop aan. Wanneer men erachter komt dat het publiceren van veel artikelen voordelig is, zal men meer artikelen gaan publiceren.” Dit zorgt voor een kat en muis spel, waarin het bestuur van een faculteit probeert het niveau van het onderzoek zo hoog mogelijk te houden terwijl de onderzoekers zelf juist een zo hoog mogelijk score proberen te halen.
Internationale ranglijsten
“Wanneer we kijken naar de beoordeling van universiteiten in het algemeen, zien we dat er ook veel dingen niet zo soepel verlopen als we zouden willen.” Het voornaamste probleem is dat de beoordelingswijze die wereldwijd wordt toegepast inhoudelijk niet sterk genoeg is. Zo speelt het aantal keren dat een artikel geciteerd wordt een belangrijke rol in de beoordeling van het onderzoeksgebied en daarmee van de universiteit. Dit kan per vakgebied enorm verschillen. Ook telt onderzoek in de exacte wetenschappen meer mee. Volgens Halffman is een goed alternatief hiervoor de CWTS Leiden ranking, waarin sterk rekening wordt gehouden met de relativiteit van onderzoek en de onwetendheidsfactoren. Halffman betoogt: “We hoeven niet definitief van de onderzoeksindicatoren af te stappen. Wat echter wel belangrijk is, is dat we goed leren omgaan met de beschikbare informatie die voor ons beschikbaar is. Hiervoor zullen universiteiten echter moeten samenwerken: wanneer iedereen zijn eigen beoordeling aanhoudt, zal deze uiteindelijk zonder betekenis blijven.”
Het heft in eigen handen
Volgens Vaandrager zit de beoordeling van universiteiten vaak inderdaad slecht en chaotisch in elkaar. Maar toch spelen kwantitatieve indicatoren een belangrijke rol om tot een juiste beoordeling te kunnen komen. “Op het moment dat we ervoor kiezen om niet meer mee toe doen aan deze beoordelingen, glijdt onze universiteit omlaag op de globale rankinglijst. Hierdoor wordt zij minder aantrekkelijk voor internationale studenten die overwegen aan de Radboud Universiteit te gaan studeren.” In Duitsland hebben de universiteiten een duidelijk voorbeeld gegeven van hoe het ook kan: door collectief te weigeren mee te werken aan slecht onderbouwde rankingsystemen en zelf een lijst op te stellen waarin de kwaliteit voorop staat, wordt voorkomen dat onbetrouwbare internationale ranglijsten bepalend worden voor het onderzoeksbeleid op universiteiten. Dit type onafhankelijkheid zouden we in Nederland ook moeten toepassen: “We moeten het kwaliteitsstreven combineren met een duidelijk verwachtingspatroon voor de onderzoekers. Op deze manier beschermen we de inhoud van onderzoek terwijl we de voordelen van beoordelingsindicatoren behouden.”
Maatschappelijke impact
Een andere factor die zwaarder zou moeten wegen is de invloed die onderzoek heeft op de samenleving. “Wanneer we kijken naar recent onderzoek over bijvoorbeeld insectensterfte of de zwaartekrachttheorie, dan zien we dat dit veel media-aandacht genereert. Dit is echter een heel belangrijk aspect van wetenschap. Het is belangrijk dat we de invloed van een onderzoek op de maatschappij ook meerekenen bij het opstellen van indicatoren”, stelt Vaandrager. “We zouden moeten streven naar een pragmatische aanpak, om te voorkomen dat nietszeggende ranglijsten bepalend worden. We moeten zorgen dat kwalitatief onderzoek weer de hoogste prioriteit krijgt op de faculteit.”
Door: David Leeftink
Wil je op de hoogte blijven van onze activiteiten? Schrijf je dan in voor de tweewekelijkse nieuwsbrief.
Do you want to stay up to date about our activities? Please sign in for the English newsletter.