Validiteit en betrouwbaarheid van je scriptieonderzoek onderbouwen

Wat betekenen validiteit en betrouwbaarheid?

Validiteit en betrouwbaarheid zeggen iets over de kwaliteit van je onderzoek. Ze helpen je om te beoordelen of je onderzoek goed is opgezet en of je resultaten geloofwaardig zijn.

Validiteit gaat over de vraag of je echt onderzoekt wat je wilt onderzoeken. Stel dat je werkdruk wilt meten. Dan moeten je vragen ook daadwerkelijk over werkdruk gaan, en niet vooral over iets anders, zoals vermoeidheid of algemene tevredenheid.

Betrouwbaarheid gaat over de vraag of je onderzoek op een consistente manier is uitgevoerd. Zou je het onderzoek onder vergelijkbare omstandigheden opnieuw uitvoeren, dan zouden de resultaten ongeveer hetzelfde moeten zijn. Denk bijvoorbeeld aan een enquête die bij herhaling vergelijkbare uitkomsten geeft.

Een onderzoek kan betrouwbaar zijn, maar toch niet valide. Stel dat je stress wilt meten, maar je enquêtevragen gaan vooral over vermoeidheid. Respondenten kunnen dan steeds vergelijkbare antwoorden geven. De meting is dan misschien wel consistent, maar je meet niet goed wat je wilde meten. De validiteit is daardoor laag.

Andersom kan een onderzoek inhoudelijk goed aansluiten op je onderzoeksvraag, maar minder betrouwbaar zijn als je de methode rommelig uitvoert. Bijvoorbeeld als je bij de ene respondent veel doorvraagt en bij de andere nauwelijks. Dan verzamel je niet bij iedereen op dezelfde manier informatie, waardoor je resultaten minder goed vergelijkbaar zijn.

Wat is validiteit?

Validiteit betekent dat je onderzoek daadwerkelijk meet of onderzoekt wat je wilt weten. Je kijkt dus kritisch naar je onderzoeksopzet, meetinstrument, respondenten, dataverzameling en analyse.

Voorbeeld:

Je onderzoeksvraag is:

Hoe ervaren startende leerkrachten de begeleiding tijdens hun eerste werkjaar?

Dan is je onderzoek valide als je methode echt inzicht geeft in die ervaring. Interviews met startende leerkrachten kunnen dan passend zijn. Een enquête onder schoolleiders over begeleidingsbeleid is misschien interessant, maar geeft minder direct antwoord op de ervaring van startende leerkrachten.

Validiteit draait dus om de vraag: sluit mijn aanpak logisch aan op mijn onderzoeksvraag?

Soorten validiteit

Je hoeft niet altijd alle soorten validiteit uitgebreid te bespreken. Welke vormen relevant zijn, hangt af van je opleiding, methode en onderzoeksopzet. Toch is het handig om de belangrijkste vormen te kennen.

Interne validiteit

Interne validiteit gaat over de vraag of je conclusies logisch voortkomen uit je onderzoek. Bij kwantitatief of toetsend onderzoek gaat het vaak om de vraag of een gevonden effect echt wordt veroorzaakt door de onderzochte variabele, en niet door iets anders. 

Voorbeeld: Je onderzoekt of een training leidt tot minder stress. Als deelnemers na de training minder stress rapporteren, wil je zeker weten dat dit door de training komt en niet door bijvoorbeeld vakantie, minder werkdruk of een andere verandering.

Je versterkt interne validiteit door:

• je onderzoek goed af te bakenen;
• storende factoren zoveel mogelijk te beperken;
• duidelijke selectiecriteria te gebruiken;
• passende meetinstrumenten te kiezen;
• vragen te koppelen aan je deelvragen;
• je analyse logisch op te bouwen.

Externe validiteit

Externe validiteit gaat over de vraag of je resultaten ook gelden buiten jouw onderzoekssituatie. Met andere woorden: kun je jouw bevindingen generaliseren naar een bredere doelgroep, andere organisaties of andere situaties? 

Voorbeeld: Je interviewt zes medewerkers van één afdeling. Dan kun je waarschijnlijk iets zeggen over die afdeling, maar niet zomaar over alle medewerkers binnen de hele organisatie.

Je versterkt externe validiteit door:

• een passende steekproef te gebruiken;
• je doelgroep duidelijk te beschrijven;
• voldoende respondenten of cases te verzamelen;
• te onderbouwen waarom je respondenten representatief of relevant zijn;
• voorzichtig te zijn met generaliseren;
• beperkingen eerlijk te benoemen.

Inhoudsvaliditeit

Inhoudsvaliditeit gaat over de vraag of je meetinstrument alle belangrijke onderdelen van je onderwerp dekt.

Voorbeeld: Je wilt werktevredenheid meten. Dan is het niet genoeg om alleen te vragen naar salaris. Werktevredenheid kan ook gaan over leidinggevende, werkdruk, autonomie, samenwerking, ontwikkelmogelijkheden en waardering.

Je versterkt inhoudsvaliditeit door:

• je vragenlijst of topiclijst te baseren op literatuur;
• je deelvragen te vertalen naar concrete onderwerpen;
• experts, begeleiders of medestudenten mee te laten kijken;
• een pilot of proefinterview te doen;
• te controleren of alle belangrijke thema’s aan bod komen.

Begripsvaliditeit of constructvaliditeit

Begripsvaliditeit, ook wel constructvaliditeit genoemd, gaat over de vraag of je een abstract begrip goed hebt vertaald naar meetbare onderdelen.

Voorbeelden van abstracte begrippen zijn:

• motivatie;
• werkdruk;
• klanttevredenheid;
• zelfvertrouwen;
• betrokkenheid;
• kwaliteit van begeleiding.

Je kunt “motivatie” niet direct zien. Je moet dus bepalen hoe je dit begrip gaat meten of onderzoeken.

Je versterkt begripsvaliditeit door:

• begrippen duidelijk te definiëren;
• theorie of literatuur te gebruiken;
• bestaande meetinstrumenten te gebruiken als dat kan;
• je vragen te koppelen aan indicatoren;
• uit te leggen waarom jouw operationalisatie past bij het begrip.

Representativiteit

Representativiteit is sterk verbonden met externe validiteit. Een steekproef is representatief als de onderzochte groep voldoende lijkt op de grotere populatie waarover je iets wilt zeggen. 

Validiteit en betrouwbaarheid bij kwalitatief onderzoek

Bij kwalitatief onderzoek werk je vaak met interviews, focusgroepen, observaties of documentanalyse. Je verzamelt woorden, ervaringen, betekenissen en voorbeelden. Het doel is meestal niet om statistisch te generaliseren, maar om diepgang en inzicht te krijgen.

Je kunt validiteit en betrouwbaarheid bij kwalitatief onderzoek onderbouwen door:

• je topiclijst te baseren op je deelvragen en theoretisch kader;
• open en neutrale vragen te stellen;
• sturende vragen te vermijden;
• een proefinterview te doen;
• interviews op te nemen en te transcriberen;
• respondenten zorgvuldig te selecteren;
• voldoende interviews af te nemen om patronen te herkennen;
• systematisch te coderen;
• citaten te gebruiken ter onderbouwing;
• eventueel member checks te doen;
• triangulatie toe te passen als dat past bij je onderzoek;
• transparant te beschrijven hoe je van data naar thema’s bent gekomen.

Waar bespreek je validiteit en betrouwbaarheid in je scriptie?

Je bespreekt validiteit en betrouwbaarheid vooral in je methodologie en je discussie.

In je plan van aanpak of onderzoeksvoorstel

In je plan van aanpak beschrijf je vooraf hoe je van plan bent om je onderzoek betrouwbaar en valide uit te voeren.

Je legt bijvoorbeeld uit:

• waarom je methode past bij je hoofdvraag;
• welke doelgroep je onderzoekt;
• hoe je respondenten selecteert;
• hoe je meetinstrument wordt opgesteld;
• hoe je vertekening probeert te voorkomen.

In je methodologie

In je methodologie beschrijf je wat je daadwerkelijk hebt gedaan. Hier hoort meestal de belangrijkste paragraaf over validiteit en betrouwbaarheid.

Je beschrijft bijvoorbeeld:

• hoe je je onderzoek hebt afgebakend;
• welke methode je hebt gekozen;
• hoe je respondenten of bronnen hebt geselecteerd;
• hoe je data hebt verzameld;
• hoe je meetinstrument, vragenlijst of topiclijst is opgesteld;
• hoe je data hebt geanalyseerd;
• welke maatregelen je hebt genomen om betrouwbaarheid en validiteit te vergroten.

In je discussie

In je discussie kijk je kritisch terug op je onderzoek. Hier bespreek je wat goed ging, maar ook welke beperkingen invloed kunnen hebben op de betrouwbaarheid en validiteit van je resultaten.

Je kunt bijvoorbeeld benoemen:

• dat je steekproef klein was;
• dat respondenten mogelijk sociaal wenselijke antwoorden gaven;
• dat interviews online zijn afgenomen;
• dat niet alle relevante doelgroepen zijn meegenomen;
• dat een meetinstrument niet eerder gevalideerd was;
• dat je resultaten beperkt generaliseerbaar zijn.

In je conclusie

In je conclusie bespreek je dit meestal niet uitgebreid opnieuw. Alleen als de betrouwbaarheid of validiteit invloed heeft op hoe sterk je antwoord op de hoofdvraag is, kun je dit kort benoemen.