De juiste vraag

Datum: 13-09-2010

De juiste vraag

Ik kreeg een verzoek van het Centraal Bureau voor de Statistiek (CBS) om mee te werken aan het onderzoek ‘Loopbanen van Gepromoveerden’. Ik behoor tot de doelgroep omdat ik in 2007 aan de Erasmus Universiteit gepromoveerd ben op Governance in de Gezondheidszorg. Het betreft een internationaal onderzoek gesteund door UNESCO, OECD en Eurostat.
Doel is om meer inzicht te krijgen in de onderwijsgeschiedenis, de arbeidspositie en de internationale mobiliteit van gepromoveerden gericht op het maken van passend beleid op het gebied van hoger onderwijs, onderzoek en kennis. (Het staat echt zo in de brief van het CBS.)

Dat is een indrukwekkend doel, dus daar wil ik wel aan meewerken. Ik heb keurig ingelogd en de vragen beantwoord. En me na afloop afgevraagd welke vraag de onderzoekers nu eigenlijk gesteld hebben en welke informatie ik heb verstrekt. In ieder geval geen informatie die antwoord kan geven op de hiervoor genoemde vraag. Ik ben geen pur sang onderzoeker, maar ik weet wel het nodige van onderzoeksmethodologie en het stellen van de juiste vragen. Mijn ‘onderzoeksbloed’ gaat dan koken als ik zie wat een slecht onderzoek dit is. Hier wordt internationaal weer heel veel geld uitgegeven en worden veel mensen elektronisch bevraagd, zonder dat het onderzoek iets zinnigs kan opleveren.

De vragen gaan namelijk helemaal niet over onderwijsgeschiedenis, arbeidspositie en internationale mobiliteit van ‘gepromoveerden’.  Ze zijn gebaseerd op een heel beperkte groep gepromoveerden, namelijk de universitair afgestudeerde, die direct daarna aio (assistent onderzoeker in opleiding) wordt, een voorgeschreven promotietraject afwerkt en daarna zijn carrière als onderzoeker aan de universiteit voortzet. Iedere andere gepromoveerde (en dat zijn er nogal wat) past niet in dit plaatje en kan dus ook de vragen dus niet goed invullen.
Ik ben zelf aan het begin van mijn carrière zes jaar onderzoeker geweest, toen twintig jaar niet en daarna ben ik zeven jaar naast mijn consultancypraktijk met een promotieonderzoek bezig geweest, waarna ik de afgelopen drie jaar weer niet als onderzoeker bezig was. Dat kan ik in de vragen niet kwijt. Ik denk dat dit voor iedere ‘buitenpromovendus’ (degene die geen aanstelling bij de universiteit heeft- wat een idioot woord eigenlijk) met dit probleem zit.

Ik denk dat dit onderzoek geen juiste resultaten geeft, die iets zeggen over de werkelijkheid. Toch wordt er veel geld aan uitgegeven en zijn er ongetwijfeld internationaal knappe koppen bezig geweest met het formuleren van de vragen.

Het stellen van de juiste vraag is ook het moeilijkste wat er is. Je moet als onderzoeker eerst los komen van je eigen vooringenomenheid en veronderstellingen (in dit voorbeeld de aio loopbaan) en dan bedenken welke vragen je moet stellen om de juiste antwoorden te krijgen. Dat geldt voor wetenschappelijk onderzoek, maar net zo goed voor onderzoek in de adviespraktijk.
Naast de gebruikelijke technieken, zoals gestructureerde interviews gebruiken wij bij C3 een on line tool om onderzoek te doen en grote groepen mensen vragen te stellen, de zogenaamde B3 Beslisser. Bij het gebruik van die B3 beslisser merk je steeds weer hoe belangrijk het is de juiste vragen te stellen. Gesloten vragen zijn statistisch makkelijk te verwerken, maar sturen de geïnterviewde wel in een bepaalde richting. Open vragen daarentegen leiden tot zo’n baaierd aan antwoorden, dat je er geen koek van kunt bakken. Scorevragen (waardering 0 tot 10, range van eens tot oneens) worden vaak verkeerd gelezen of begrepen. Ook de schaal speelt een rol; omdat onze rapportcijfers van 0 tot 10 liepen, is scoren op die schaal veel gemakkelijker dan op een schaal van 1 tot 5 (dan moet je interpreten dat 3 een ruime voldoende is), terwijl die voor onderzoekers weer eenvoudiger te hanteren zijn.

Bij iedere vorm van (wetenschappelijk-, organisatie- of ander) onderzoek dus om het formuleren van een goede onderzoeksvraag, die ook echt te beantwoorden is. En om het stellen van eenduidige en begrijpelijke vragen, die leiden tot een bewijsbaar en traceerbaar antwoord op de onderzoeksvraag. Dit CBS onderzoek voldoet mijns inziens aan geen van beide criteria en deugt dus niet. Toch zal het resultaat straks een rol spelen in het internationale beleid op het gebied van onderwijs en onderzoek. Het CBS kan en moet zijn onderzoek beter vormgeven. Ik zal resultaten van CBS onderzoek nu nog meer wantrouwen dan ik al deed.