Technische handleiding Persoonlijkheidstest

Inhoudsopgave

1. Inleiding
2. Methode
   2.1 Gebruikte instrumenten
3. Verkenning en selectie van de onderzoeksdata
   3.1 Leeftijd
   3.2 Geslacht
   3.3. Opleidingsniveau
   3.4 Nationaliteit
   3.5 Arbeidsmarktpositie
   3.6 Werksectorbranche
   3.7 Afnameduur
   3.8 Responsevariatie
   3.9 Menselijke response
4. Analyse
   4.1 Ruwe scores
   4.2 Correlaties
   4.3 Betrouwbaarheid
   4.4 Constructvaliditeit/factoranalyse
5. Normering
   5.1 Beroepsbevolking volgens het cbs
   5.2 Groepsverschillen
6. Conclusie
7. Referenties

Inleiding

Dit document geeft inzicht in de psychometrie van de Big Five persoonlijkheidstest van 123test. Deze door 123test B.V. ontwikkelde test is een speciaal voor de Nederlandse markt gemaakte operationalisatie van de Big Five persoonlijkheidstheorie.

De test meet de vijf hoofddimensies van persoonlijkheid en de 30 onderliggende schalen. De Big Five persoonlijkheidstest van 123test is geen vertaling of bewerking van een buitenlands instrument maar echt gemaakt in en voor Nederland. Daarmee is het een actueel instrument, dat bovendien een hoge betrouwbaarheid heeft, een hoge validiteit heeft en een representatieve en recent samengestelde normgroep gebruikt.

Informatie over betrouwbaarheid, validiteit en normering worden in dit document beschreven. Ook wordt er besproken hoe de dimensies van deze test variëren als een functie van opleidingsniveau, geslacht en leeftijd.

Methode

Sinds 1 november 2019 zijn op www.123test.nl meer dan 100.000 afnames van de Big Five Persoonlijkheidstest. Door de data van deze anonieme respondenten te analyseren kunnen we een goed beeld vormen van dit instrument.

Gebruikte instrumenten

De Big Five Persoonlijkheidstest is gratis te gebruiken op https://www.123test.com/nl/persoonlijkheidstest/. Het Engelse equivalent van deze vragenlijst staat op https://www.123test.com/personality-test/ en is ook gratis te gebruiken.

Verkenning en selectie van de onderzoeksdata

Ter verkenning van de onderzoeksdata worden in dit hoofdstuk een aantal achtergrondvariabelen van de respondent nader onderzocht. Per onderdeel wordt aangegeven welke selectiecriteria er zijn gebruikt voor de uiteindelijke dataset.

De volledige dataset bestaat uit 65.703 respondenten. Op basis van cirteria als leeftijd, geslacht, opleidingsniveau, nationaliteit, arbeidsmarktpositie, afnameduur en responsevariatie wordt de uiteindelijke subset gemaakt waarop analyses worden gedaan en waarmee de uiteindelijke norm wordt berekend.

Leeftijd

Er is gekozen voor een leeftijdsgroep van 18 t/m 67 jaar, omdat deze groep het beste de arbeidsbevolking van Nederland representeert.

Geslacht

Van alle respondenten is het geslacht bekend omdat deze achtergrondvraag verplicht was om te beantwoorden. Opvallend is het hogere aantal vrouwen dat de test heeft afgerond. Logischerwijs worden beide geslachten meegenomen in de dataset omdat deze groep het beste de arbeidsbevolking van Nederland representeert.

Opleidingsniveau

Omdat de Big Five Persoonlijkheidstest speciaal wordt ontwikkeld voor gemiddeld tot hoger opgeleiden is ervoor gekozen om een aantal opleidingsniveau’s te selecteren die worden meegenomen in de dataset. De blauw gearceerde opleidingsniveau’s in de diagram zijn meegenomen in de dataset.

Nationaliteit

Omdat de Big Five Persoonlijkheidstest wordt ontwikkeld voor de Nederlands sprekende markt hoeft er niet op nationaliteit te worden geselecteerd: de vragenlijst is immers in het Nederlands.

Buiten Nederland en België is er een groep van 6% van respondenten met een andere nationaliteit in de dataset. Hieronder wordt weergegeven welke landen er in de groep van “Overige nationaliteiten” zit.

Overige landenPercentage %
Overig 3.21
Suriname 1.06
Curaçao 0.43
Turkije 0.40
Marokko 0.36
Syrië 0.33
Afghanistan 0.24

Arbeidsmarktpositie

Er is de respondent gevraagd naar zijn/haar arbeidsmarktpositie. Er is gekozen om alleen de arbeidsmarktposities Loondienst, Eigen baas/freelancer en Officieel werkloos te gebruiken in de dataset, omdat deze groep het beste de arbeidsbevolking van Nederland representeert.

Werksector/branche

De respondent is gevraagd om aan te geven in welke werksector hij/zij werkzaam is. Hierbij kon een keuze gemaakt worden uit de 23 werksectoren die worden gehanteerd in het model van EurOccupations (Wageindicator.org 2009). De verdeling komt voldoende overeen met de meest recente gegevens van het CBS (CBS 2008) en geeft geen aanleiding om hiervoor te corrigeren.

Afnameduur

Het bekijken van de afnameduur van een vragenlijst is een goede manier om te bepalen hoe serieus een respondent de vragenlijst heeft ingevuld. Er is voor gekozen om een afnameduur tussen de 5 en 45 minuten mee te nemen in de uiteindelijke dataset.

Responsevariatie

Het bekijken van de responsevariatie van een respodent is een goede manier om te bepalen hoe serieus de respondent de vragenlijst heeft ingevuld. Er is voor gekozen om alleen een responsevariatie van 5 mee te nemen in de uiteindelijke dataset. Een responsevariatie van 5 betekent dat een respondent over alle 120 items genomen alle antwoordopties van de Likert-5 schaal in ieder geval één keer heeft gebruikt.

Menselijke response

Online vragenlijsten kunnen last hebben van crawlers en bots die de vragenlijsten geautomatiseerd invullen. Door een consistentiemaat te gebruiken kunnen we responses waar geen samenhang in is te vinden uitsluiten van de dataset.

De consistentiemaat psychometric synonym (Meade and Craig 2012) is gebruikt om kunstmatige en willekeurige responses te identificeren. Deze consistentiemaat wordt berekend door eerst alle itemparen te selecteren die over de gehele dataset > .60 correleren. In deze dataset zijn 12 itemparen geselecteerd. Daarna wordt voor iedere respondent de psychometric synonym score berekend die gelijk is aan de binnen-persoonscorrelatie van de geselecteerde itemparen.

De door Meade & Craig (2012) gehanteerde cut-off waarde van 0.2 is gebruikt om kunstmatige responses en responses met een willekeurig antwoordpatroon uit de dataset te filteren. In de histogram hieronder zijn de verwijderde responses grijs gearceerd.

Analyse

In de uiteindelijke dataset zijn 12.582 respondenten opgenomen.

Ruwe scores

In dit hoofdstuk worden de ruwe scores van de verschillende facetten en factoren weergegeven. X-assen zijn weggelaten in verband met mogelijke ongewenst hergebruik van de normgegevens.

Factoren

De histogrammen van de ruwe factorscores laten alle vijf een normaalverdeling zien.

Facetten

De histogrammen van de ruwe facetscores laten meestal een normaalverdeling zien, met soms een vloer- en/of plafondeffect bij schalen met een hoog sociaal-wenselijk gehalte.

Openheid voor ervaringen

Gewetensvolheid

Extraversie

Meegaandheid

Natuurlijke reacties

Correlaties

Correlaties tussen factoren

De vijf factoren laten over het algemeen minimale correlaties zien. Extraversie en Natuurlijke reacties laten een duidelijk negatief verband zien.

Correlaties tussen facetten

De 30 facetten laten over het algemeen minimale correlaties zien buiten de eigen facetten, en gemiddelde correlaties binnen het eigen facet.

De eerder geconstateerde negatieve correlatie tussen Extraversie en Natuurlijke reacties is op facetniveau vooral terug te leiden tot negatieve verbanden tussen Opgelatenheid (N4) en Toegankelijkheid (E1), en Neerslachtigheid (N3) en Opgewektheid (E6).

Deze resultaten komen overeen met de wetenschappelijke literatuur en bieden een goede eerste indicatie voor de interne structuur.

Betrouwbaarheid

Cronbachs alpha (Cronbach and Shavelson 2004) is een maat voor de betrouwbaarheid van psychometrische tests of van vragenlijsten. De waarde van alpha is een schatting voor de ondergrens van de betrouwbaarheid van de betrokken test.

Factoren

De COTAN heeft als criterium voor instrumenten die worden ingezet bij adviessituaties dat de betrouwbaarheidscoëfficiënt Cronbach’s alpha niet lager dan .60 mag zijn. Scores hoger dan .80 worden door de COTAN beoordeeld als ‘goed’.

Gemiddeld over de vijf factoren is de betrouwbaarheidscoëfficient 0.859, dat als zeer hoog mag worden bestempeld.

FactorenAantal itemsCronbach’s Alpha
Openheid voor ervaringen 24 0.80506
Gewetensvolheid 24 0.87578
Extraversie 24 0.87795
Meegaandheid 24 0.84113
Natuurlijke reacties 24 0.89305

Wanneer een item niet voldoende met de andere items van eenzelfde factor correleert, schaadt dit de betrouwbaarheid. Hieronder wordt weergegeven wat er met de Cronbach’s Alpha van een factor gebeurt wanneer één van de 24 items wordt verwijderd.

Als item wordt verwijderdOCEAN
1 0.793 0.869 0.869 0.837 0.885
2 0.791 0.872 0.870 0.837 0.885
3 0.796 0.871 0.871 0.838 0.885
4 0.800 0.874 0.872 0.836 0.883
5 0.786 0.871 0.870 0.831 0.889
6 0.794 0.869 0.868 0.833 0.887
7 0.796 0.866 0.875 0.832 0.888
8 0.793 0.866 0.871 0.836 0.890
9 0.808 0.871 0.872 0.835 0.885
10 0.801 0.874 0.878 0.834 0.887
11 0.805 0.873 0.876 0.832 0.884
12 0.805 0.872 0.875 0.836 0.888
13 0.799 0.872 0.876 0.842 0.891
14 0.796 0.874 0.875 0.839 0.891
15 0.800 0.873 0.873 0.832 0.892
16 0.803 0.872 0.875 0.832 0.894
17 0.794 0.869 0.873 0.832 0.902
18 0.792 0.869 0.874 0.838 0.894
19 0.799 0.871 0.881 0.834 0.893
20 0.801 0.872 0.876 0.835 0.892
21 0.796 0.877 0.872 0.840 0.884
22 0.803 0.870 0.871 0.838 0.888
23 0.800 0.868 0.873 0.833 0.885
24 0.804 0.869 0.873 0.838 0.888

Facetten

De gemiddelde Cronbach’s Alpha van de 30 facetten is 0.708, wat voor schalen met 4 items een goede prestatie is.

FactorenFacettenAantal.itemsCronbach.s.Alpha
Openheid voor ervaringen Verbeeldingskracht 4 0.80575
Artistieke interesse 4 0.69799
Diepte van gevoelens 4 0.51662
Bereidheid tot verandering 4 0.71298
Intellectuele nieuwsgierigheid 4 0.60086
Niet conservatief 4 0.46357
Gewetensvolheid Gevoel van bekwaamheid 4 0.61639
Ordelijkheid 4 0.84224
Verantwoordelijkheidsgevoel 4 0.60795
Prestatiegericht 4 0.67093
Zelf-discipline 4 0.64350
Bedachtzaamheid 4 0.80478
Extraversie Toegankelijk 4 0.79242
Sociabel 4 0.73985
Assertief en dominant 4 0.77397
Energiek 4 0.71821
Spanningsbehoefte 4 0.76320
Opgewektheid 4 0.83387
Meegaandheid Vertrouwen in anderen 4 0.79850
Eerlijk en oprecht 4 0.68103
Altruïsme 4 0.68537
Vredelievend 4 0.57411
Bescheidenheid 4 0.78346
Medeleven 4 0.64168
Natuurlijke reacties Zorgelijkheid 4 0.82453
Boosheid en ergernis 4 0.81763
Neerslachtigheid 4 0.83746
Opgelatenheid 4 0.62206
Ongematigheid 4 0.61864
Stressgevoeligheid 4 0.74755

Constructvaliditeit: Factoranalyse

Screeplot

Een screeplot of eigenwaardendiagram is in de factoranalyse een grafiek waarin de eigenwaarden van de mogelijke variabelen voor de factoren in volgorde van afnemende grootte uitgezet zijn.

In onderstaande screeplot is te zien dat er 5 duidelijke componenten (PC) te onderscheiden zijn met een eigenwaarde > 1.0. Dit komt overeen met de bekende wetenschappelijke literatuur die stelt dat persoonlijkheid 5 componenten bevat.

Principale Componenten Analyse

Principale-componentenanalyse is een multivariate analysemethode in de statistiek om een grote hoeveelheid gegevens te beschrijven met een kleiner aantal relevante grootheden, de hoofdcomponenten of principale componenten.

In onderstaande tabel worden de resultaten van een PCA met varimax rotatie weergegeven. De 30 facetten zijn duidelijk terug te brengen tot de vijf componenten waar ze volgens het theoretische model van de Big Five bij horen. De dominante factor Extraversie trekt veel variantie naar zich toe, vooral in de vorm van negatieve ladingen van Natuurlijke reacties. Er zijn slechts een aantal facetten die een hogere primaire lading hebben op een andere component.

Al met al laat de analyse een zeer herkenbaar en bevredigend beeld zien.

FactorCodeFacetRC1RC2RC3RC4RC5
Extraversie E1 Toegankelijk 0.801
E2 Sociabel 0.778
E3 Assertief en dominant 0.453
E4 Energiek 0.511
E5 Spanningsbehoefte 0.531
E6 Opgewektheid 0.69
Meegaandheid A1 Vertrouwen in anderen 0.394
A2 Eerlijk en oprecht 0.686
A3 Altruïsme 0.704
A4 Vredelievend 0.65
A5 Bescheidenheid 0.644
A6 Medeleven 0.569
Gewetensvolheid C1 Gevoel van bekwaamheid 0.768
C2 Ordelijkheid 0.614
C3 Verantwoordelijkheidsgevoel 0.584
C4 Prestatiegericht 0.659
C5 Zelf-discipline 0.737
C6 Bedachtzaamheid 0.452 -0.508
Natuurlijke reacties N1 Zorgelijkheid 0.682
N2 Boosheid en ergernis 0.683
N3 Neerslachtigheid 0.566
N4 Opgelatenheid -0.699
N5 Ongematigheid 0.463
N6 Stressgevoeligheid 0.651
Openheid voor O1 Verbeeldingskracht 0.586
ervaringen O2 Artistieke interesse 0.731
O3 Diepte van gevoelens 0.556
O4 Bereidheid tot verandering 0.478 0.451
O5 Intellectuele nieuwsgierigheid 0.743
O6 Niet conservatief 0.608

Normering

Beroepsbevolking volgens het CBS

Voor een correcte normering moet de dataset een goede afspiegeling zijn van de beoogde gebruikersgroep, in dit geval de Nederlandse beroepsbevolking. Omdat een dataset vrijwel nooit dezelfde samenstelling heeft als de geoogde gebruikersgroep wordt gebruikt gemaakt van weging.

De dataset is gewogen volgens de verdeling van onderstaande tabel. Deze gegevens zijn verkregen uit recente cijfers van het CBS.

CriteriumGroepenNL beroepsbevolking (CBS)
Geslacht Vrouw 50,50%
Man 49,50%
Opleiding Middelbaar opgeleid 62,60%
Hoger opgeleid 37,40%
Leeftijd 15-24 17,40%
25-44 45,50%
45-64 37,10%

De maatstaf van de COTAN voor normgroepen voor gebruik in ‘advies’ situaties is dat de normgroep uit >200 respondenten dient te bestaan. Voor werving- en selectiedoeleinden is dat >400. In deze dataset zijn 12.582 respondenten opgenomen en voldoet dus zeer ruim aan de door de COTAN gehanteerde maatstaf.

Groepsverschillen

Als er binnen een normgroep significante verschillen bestaan tussen relevante groepen, kan hiervoor worden gecorrigeerd door seperate normgroepen te hanteren.

Voor het vergelijken van groepsgemiddelden en het bepalen van effect size is Cohen’s d gebruikt (Cohen 1992). Effectgroottes in de buurt van de nul zijn klein, effectgroottes groter dan 0,8 of kleiner dan -0,8 worden veelal als groot gezien.

Geslacht

Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen geslachten. Hieronder zijn de resultaten van deze analyses weergegeven.

Effect size

FactorCohen’s D (Man-Vrouw)
Openheid voor ervaringen 0.146
Gewetensvolheid 0.096
Extraversie -0.173
Meegaandheid 0.676
Natuurlijke reacties 0.327

Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.

Leeftijd

Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen leeftijdsgroepen. Hieronder zijn de resultaten van deze analyses weergegeven.

Effect size

FactorCohen’s D (Oud-Jong)
Openheid voor ervaringen -0.579
Gewetensvolheid -0.446
Extraversie 0.305
Meegaandheid -0.355
Natuurlijke reacties 0.423

Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.

Opleidingsniveau

Om te bepalen of normen voor specifieke groepen nodig zijn is gekeken naar groepsverschillen tussen opleidingsniveaus Hieronder zijn de resultaten van deze analyses weergegeven.

Effect size

FactorCohen’s D (Hoog-Laag)
Openheid voor ervaringen -0.539
Gewetensvolheid -0.069
Extraversie -0.053
Meegaandheid 0.012
Natuurlijke reacties 0.089

Gezien het feit dat er geen effectgroottes van -0.8 of 0.8 zijn gevonden kan geconcludeerd worden dat het gebruik van één norm voor opleidingsniveau gerechtvaardigd is.

Conclusie

Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test een betrouwbaar en valide instrument is met een gedegen normering om in te zetten bij Nederlandse respondenten met een gemiddeld tot hoger opleidingsniveau, met een leeftijd tussen de 18 en 67 jaar voor zelfanalyse, bij loopbaanbegeleiding of in andere professionele settings.

Betrouwbaarheid

Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test goed tot zeer goed scoort op de in de wetenschap gebruikelijke betrouwbaarheidscoëfficienten.

Validiteit

Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test goede constructvaliditeit laat zien van de gemeten constructen.

Normering

Uit de resultaten van dit onderzoek blijkt dat de Big Five Persoonlijkheidstest van 123test over een goede normering beschikt die geen verschillen tussen groepen laat zien.

Referenties

CBS. 2008. “Banen van Werknemers; Bedrijfsgrootte En Economische Activiteit.” CBS.nl SBI.

Cohen, Jacob. 1992. “A Power Primer.” Psychological Bulletin 112 (1). American Psychological Association: 155.

Cronbach, Lee J., and Richard J. Shavelson. 2004. “My Current Thoughts on Coefficient Alpha and Successor Procedures.” Educational and Psychological Measurement 64 (3): 391–418.

Meade, Adam W, and S Bartholomew Craig. 2012. “Identifying Careless Responses in Survey Data.” Psychological Methods 17 (3). American Psychological Association: 437.

Wageindicator.org. 2009. “EurOccupations.”