Berekening van een tentamencijfer

[Beresteyn]

Ik vraag me af hoe tentamencijfers worden berekend in een systeem waarbij gebruik wordt gemaakt van een cesuurpercentage en een gokkans. Het lukt me niet om de formule te vinden. 
 
Stel dat een tentamen 50 vragen bevat, waarbij in elke vraag 10 punten verdient kunnen worden.
De gokkans wordt gesteld op 25%, wat inhoudt dat als men 25% van de vragen goed beantwoord heeft, het cijfer een 1,0 is.
Het cesuurpercentage wordt gesteld op 70%, wat inhoudt dat men een 5,5 heeft als 70% van de vragen goed beantwoord is.

[Jan van de Velde]

ik denk niet dat dat met één formule werkt. 
Mijn collega's Nederlands hadden zo eens een probleem: ze hadden wel een normtabel voor een dergelijke (officiële) toets met 48 meerkeuzevragen, maar hadden er een nodig voor toetsen met andere aantallen. In dat voorbeeld dat ze hadden zat er simpelweg een knik rond de cesuur voor de 6, dus twee lineaire stukken. Die heb ik toen in excel nagebouwd voor alles tot en met 150 vragen.
 
zie bijlage

[Benm]

Er zijn zoveel systemen te bedenken, maar in nederland is het vrij gebruikelijk om examens zo in te delen dat je netaan slaagt als je de helft van het maximale puntental weet te behalen. Bij open vragen kan dat gewoon 'as is', en hoeveel punten ieder antwoord oplevert is afhankelijk van hoe moeilijk de (deel)vraag is. 
 
Daarnaast is er nog zoiets als een N-Term waarbij de cijfers over de hele linie gecorrigeerd kunnen worden omdat het examen als geheel 'te moeilijk' of 'te gemakkelijk' was. Die N-Term is dan een getal normaliter tussen 0 en 2, waarbij 1 alles ongemoeid laat, en 2 je een vol extra punt oplevert, afgezien van de laagste en hoogste percentielen correcte antwoorden zodat geen cijfers onder 1 of boven 10 ontstaan. Let wel dat in nederland de minimumscore 1 is, niet 0, dus bij alles fout krijg je alsnog een 1, en met 1 goed antwoord meer dan een 1. 
 
Bij multiple choice vragen met 4 opties zou je domweg de eerste 25% correct kunnen 'weggooien' en dan kijken welk percentage van de resterende 75 procent correct is. Of dat altijd 'eerlijk' is blijft de vraag: vaak heb je antwoordmogelijkheden waarvan er een aantal plausibel zijn en een aantal niet. Dus zelfs als je het niet echt weet kun je onderscheid maken tussen compleet gokken en verkeerd gokken. 
 
Iets als: In een kilo gaan 8 appels, een appel weegt gemiddeld:
 
a - 1 gram
b - 120 gram
c - 125 gram
d - 2 megaton
 
compleet random gokken zou voor A en D ook 25% opleveren, slecht kunnen rekenen wellicht B ipv C. 

[Beresteyn]

[...] in nederland is het vrij gebruikelijk om examens zo in te delen dat je netaan slaagt als je de helft van het maximale puntental weet te behalen. Bij open vragen kan dat gewoon 'as is', en hoeveel punten ieder antwoord oplevert is afhankelijk van hoe moeilijk de (deel)vraag is. 

 
Is dat wel zo? Als ik me goed herinner heb ik op de middelbare ook altijd te maken gehad met een cesuurpercentage van 67% en op de universiteit is niet anders, zelfs ietsje strenger.
Als je combitoets, dus deels MC-vragen en deels open vragen, is dat natuurlijk lastig in één berekening te doen. Bij mij beoordelen ze beide delen dan ook individueel, waarbij het MC-deel ook te maken heeft met een kansfactor om te corrigeren voor de gokkans en vervolgens worden beide delen gewogen in een gemiddeld cijfer waar bijvoorbeeld het MC-deel voor 35% geldt en de open vragen voor 65%.
 

Die heb ik toen in excel nagebouwd voor alles tot en met 150 vragen.

 
Uitstekend, exact waar ik naar op zoek was! Gecorrigeerd voor het maximum aantal haalbare punten en het stellen van de cesuur op een 5,5 krijg ik de omrekentabel die ik zocht, waarvoor dank.

[Benm]

Voor zover ik zelf toetsen en examens heb gemaakt in het middelbaar onderwijs was het altijd zo, maar ik weet niet of dat nog steeds het geval is eigenlijk. 
 
Universitair onderwijs was wat vrijer in het toekennen van cijfers, maar had in mijn geval (scheikunde) sowieso zelden multiple choice vragen. Bij open vragen kon je voor een foutieve oplossing toch nog wel (een deel van de) punten krijgen als je redenatie bijvoorbeeld wel plausibel was, maar niet correct. 

[Jan van de Velde]

 Als ik me goed herinner heb ik op de middelbare ook altijd te maken gehad met een cesuurpercentage van 67% 

dat weet ik vrijwel zeker van niet: Centraal examen Natuurkunde vmbo bijvoorbeeld kent een vrijwel lineaire schaal waarbij 1,1 al gehaald wordt met 1 scorepunt van  de 76. En toch zijn daar ook al ca 30 scorepunten te verdienen met zuivere meerkeuzevragen en meerkeuze-achtige vragen. Met 39 punten had je een 5,5 gehad.
 
Engels VWO bijvoorbeeld is voor tweederde deel van de punten zuivere meerkeuze, voor de rest voor een groot deel meerkeuze-achtige zoals bijvoorbeeld vier zinnen die wel of niet kloppen, 4 goed 2pt, 3 goed 1 pt, 2 goed 0pt, waarvoor zuiver gokken dus niet helpt. https://www.examenblad.nl/examen/engels-vwo-2/2018
 
Maar de normeringstabel begint bij 1,0, voor 0 scorepunten, en loopt vrij lineair naar de 10. Met een score van 23 op 48 had je dit jaar een 5,5 gehad.
 
Dat is in ieder geval voor natuurkunde de afgelopen 10 jaar nooit anders geweest, en voor andere vakken is dat ook historisch na te gaan op examenblad.nl
 
Voor de proefwerken die ik zelf maak doe ik niet moeilijk (voor mezelf): altijd 100 scorepunten te verdienen, en een lineaire schaal van 0 tot 10. Daar zitten dan wel bijna altijd voldoende goed/foutvragen en meerkeuzevragen in zodat wie die blind invult statistisch al een 1,0 of hoger haalt. Ook wel uitzonderingen, zoals een afzonderlijk toetsje van 25 sommetjes omrekenen metriek stelsel en tijd, dan moet je al de helft goed doen voor een 1,0. Laten we wel zijn, als je daarop maar de helft haalt kun je dat kunstje dik onvoldoende. 

[Benm]

Als je zelf de proefwerken maakt kun je het natuurlijk zo doen - wel zo gemakkelijk om meteen het cijfer te weten op basis van het aantal punten, maar wel weer even de puzzel om het zo te maken dat er precies 100 te verdienen zijn, en dat je een redelijk nivo nodig hebt om een voldoende te  halen. 

[Marko]

Ik vraag me af hoe tentamencijfers worden berekend in een systeem waarbij gebruik wordt gemaakt van een cesuurpercentage en een gokkans. Het lukt me niet om de formule te vinden. 
 
Stel dat een tentamen 50 vragen bevat, waarbij in elke vraag 10 punten verdient kunnen worden.
De gokkans wordt gesteld op 25%, wat inhoudt dat als men 25% van de vragen goed beantwoord heeft, het cijfer een 1,0 is.
Het cesuurpercentage wordt gesteld op 70%, wat inhoudt dat men een 5,5 heeft als 70% van de vragen goed beantwoord is.

 
Eén formule is in deze situatie lastig, omdat je, theoretisch, een heel zwik aan % goed kunt hebben dat allemaal een 1,0 oplevert. Maar het is redelijk rechttoe-rechtaan met een paar formules, die ook heel makkelijk in Excel of andere software toegepast kunnen worden. 
 
Stel dat je 50 vragen hebt, en 10 punten per vraag, dan zijn dat dus 500 punten totaal (Max). Bij een gokkans van 25% kan men 125 punten scoren door te gokken. Van de daadwerkelijk behaalde punten (Score) trek je dus 125 af. Om te slagen moet het restant van de punten moet dan 70% (Cesuur)van het maximale restant-na-aftrek-gokkans zijn, dus 70% van 375 = 262,5.
 
In totaal moet men dus 262,5 + 125 = 387,5 punten behalen voor een 5,5. Dat aantal noem ik even de Drempel.
Iemand die 500 punten heeft, krijgt een 10. De 500 - 387,5 = 112,5 punten die bovenop de cesuur te behalen zijn, komen dus overeen met 10 - 5,5 = 4,5 punten. Dus voor scores boven de Drempel geldt dat het cijfer het cijfer wordt bepaald door de formules: 
 
Drempel = (1 - Gokkans) * Cesuur * Max + Gokkans * Max = (Cesuur - Cesuur * Gokkans + Gokkans) * Max
Cijfer =  5,5 + 4,5 / 112,5 * (Score- Drempel) = 5,5 + 4,5 * (Punten - Drempel) / (Max - Drempel)
 
Verder geldt (neem ik voor het gemak aan) dat alle scores onder wat men met gokken ook zou hebben behaald het cijfer 1,0 opleveren. Dat aantal punten noem ik de Ondergrens.
 
Ondergrens = Gokkans * Max
En voor alle scores onder de Ondergrens geldt: Cijfer = 1,0
 
Voor scores tussen Ondergrens en Drempel geldt dat het verschil tussen Drempel en Ondergrens overeenkomt met het verschil tussen 5,5 en 1,0. Dus dat leidt tot:
 
Cijfer = 1,0 + 4,5 * (Score - Ondergrens) / (Drempel - Ondergrens)
 
Ik persoonlijk vind dit gedoe met gokkans-correcties en cesuren bij MC-toetsen de verkeerde oplossing. Allerlei cijfermatige correcties waardoor mensen uit het oog verliezen waar het nou eigenlijk om gaat: heeft een student het niveau wat vereist is, of niet. En bij de cijfermatige correcties, en de systematiek kan men ook grote vraagtekens zetten. Zo zijn ze enkel geldig onder de aanname dat de genoemde gokkans ook de daadwerkelijke gokkans is. Dat houdt in dat de antwoordmogelijkheden a priori allemaal even waarschijnlijk moeten zijn, zowel voor studenten die de stof beheersen als voor studenten die de stof niet beheersen. En dat is vrijwel onmogelijk, zeker waar het gaat om toetsen waar op andere zaken dan kennis wordt getoetst (bijvoorbeeld, als er iets moet worden uitgerekend).
 
De juiste oplossing is mijns inziens om geen MC-toetsen af te nemen. 

[Beresteyn]

@Jan, ik kan me in alle oprechtheid geen toets meer herinneren waar de waardering zodanig was dat 50% van de punten correleerde met een 5,0 (of 5,5 als je een 1,0 als bodemcijfer hanteert). Ik heb, zover ik me dus kan herinneren, altijd ongeveer 2/3e van de antwoorden goed moeten hebben voor een 5,5. We hebben het dan uiteraard over schoolexamens, niet over de centrale examens. Bij die laatste categorie werd door CITO altijd gewerkt met N-termen, wat (voor zover ik weet) ook weer een andere methode hanteert om het cijfer te berekenen. 
 
 

De juiste oplossing is mijns inziens om geen MC-toetsen af te nemen. 

 
Dank voor de uitgebreide inhoudelijke uitwerking. 
 
Ik ben het met je eens dat MC-toetsen geen goede toetsingsmethode is. Ook de aanname dat er 100% gecorrigeerd moet worden voor de gokkans is mijns inziens een gebrek aan vertrouwen en waardering, omdat je eerder gaat rekenen hoeveel punten iemand misloopt in plaats van dat je iemand beoordeeld aan de hand van de feitelijke correctheid van de antwoorden. In de paar MC-toetsen die ik in m'n studie ervaren heb, die vaak gegeven worden als onderdeel waarbij het andere onderdeel bestaat uit open vragen, is het niveau altijd van hoog niveau en zijn ze vrijwel allemaal zodanig geformuleerd dat de foute antwoorden aannemelijk zijn. Op die manier moet je de stof wel kennen om het goede antwoord te kiezen. Ook zijn het vrijwel nooit 4 antwoorden per vraag, maar eerder 6 of meer, maar dat versoepelt juist weer de gokcorrectie. Aan de andere kant begrijp ik dat ze hiermee rekening houden. 
 
Ik ben sowieso geen voorstander van toetsen, of het nou MC of open vragen zijn. Vaak worden er feitelijke dingetjes gevraagd, die je dan maar simpelweg uit je hoofd hebt moeten leren. Veel beter zouden ze mijns inziens, gedurende de periode van de cursus, kleine toetsingsmomenten in kunnen bouwen. Bijvoorbeeld in de vorm van een inhoudelijke presentatie, een artikel van enkele pagina's of het schrijven van een wetenschappelijke review over een artikel in het vakgebied van de dergelijke cursus. Daarmee zou je iemands academische en praktische vaardigheden kunnen toetsen, in plaats van die domme feitjes. In de praktijk heb je daar ook veel meer aan, aangezien kennis altijd relatief is en je dat gewoon kunt opzoeken. Echter snap ik dat het voor onderwijsinstituten en docenten veel makkelijker (en minder tijdrovend) is om een toets af te nemen, ook als je te maken hebt met een relatief kleine cursus van 20 studenten. Je hebt dan toch al gauw 4-5 presentaties, 4-20 artikelen en 20 reviews die je moet beoordelen in een gemiddelde tijdsperiode van 10 weken. Ga d'r maar aan staan om dat personeel te verwerken en te beoordelen, en dan hebben we het alleen nog maar over enkel de toetsvormen van 1 kleine cursus. 

[Marko]

@Jan, ik kan me in alle oprechtheid geen toets meer herinneren waar de waardering zodanig was dat 50% van de punten correleerde met een 5,0 (of 5,5 als je een 1,0 als bodemcijfer hanteert). Ik heb, zover ik me dus kan herinneren, altijd ongeveer 2/3e van de antwoorden goed moeten hebben voor een 5,5. We hebben het dan uiteraard over schoolexamens, niet over de centrale examens. Bij die laatste categorie werd door CITO altijd gewerkt met N-termen, wat (voor zover ik weet) ook weer een andere methode hanteert om het cijfer te berekenen. 
 
 
 
Dank voor de uitgebreide inhoudelijke uitwerking. 
 
Ik ben het met je eens dat MC-toetsen geen goede toetsingsmethode is. Ook de aanname dat er 100% gecorrigeerd moet worden voor de gokkans is mijns inziens een gebrek aan vertrouwen en waardering, omdat je eerder gaat rekenen hoeveel punten iemand misloopt in plaats van dat je iemand beoordeeld aan de hand van de feitelijke correctheid van de antwoorden. In de paar MC-toetsen die ik in m'n studie ervaren heb, die vaak gegeven worden als onderdeel waarbij het andere onderdeel bestaat uit open vragen, is het niveau altijd van hoog niveau en zijn ze vrijwel allemaal zodanig geformuleerd dat de foute antwoorden aannemelijk zijn. Op die manier moet je de stof wel kennen om het goede antwoord te kiezen. Ook zijn het vrijwel nooit 4 antwoorden per vraag, maar eerder 6 of meer, maar dat versoepelt juist weer de gokcorrectie. Aan de andere kant begrijp ik dat ze hiermee rekening houden. 
 
Ik ben sowieso geen voorstander van toetsen, of het nou MC of open vragen zijn. Vaak worden er feitelijke dingetjes gevraagd, die je dan maar simpelweg uit je hoofd hebt moeten leren. Veel beter zouden ze mijns inziens, gedurende de periode van de cursus, kleine toetsingsmomenten in kunnen bouwen. Bijvoorbeeld in de vorm van een inhoudelijke presentatie, een artikel van enkele pagina's of het schrijven van een wetenschappelijke review over een artikel in het vakgebied van de dergelijke cursus. Daarmee zou je iemands academische en praktische vaardigheden kunnen toetsen, in plaats van die domme feitjes. In de praktijk heb je daar ook veel meer aan, aangezien kennis altijd relatief is en je dat gewoon kunt opzoeken. Echter snap ik dat het voor onderwijsinstituten en docenten veel makkelijker (en minder tijdrovend) is om een toets af te nemen, ook als je te maken hebt met een relatief kleine cursus van 20 studenten. Je hebt dan toch al gauw 4-5 presentaties, 4-20 artikelen en 20 reviews die je moet beoordelen in een gemiddelde tijdsperiode van 10 weken. Ga d'r maar aan staan om dat personeel te verwerken en te beoordelen, en dan hebben we het alleen nog maar over enkel de toetsvormen van 1 kleine cursus. 

 
Het is op zich best mogelijk om kwalitatief goede MC-toetsen te maken. Inderdaad door kritisch naar de vraagstelling en de antwoordmogelijkheden te kijken, en door genoeg verschillende antwoordmogelijkheden te geven waardoor de gokkans automatisch kleiner wordt. Dat vraagt echter vaak meerdere herzieningen en dan nog geldt de wet van Murphy, want er is altijd wel een antwoordmogelijkheid die dan tóch niet zo geschikt was of de vraag wordt door sommigen tóch anders geïnterpreteerd dan bedoeld. 
 
Daar waar bij het nakijken dus een hoop tijd wordt bespaard, kost het een hoop extra tijd bij het opstellen van de toets. Het is dan ook alleen zinvol in situaties waar veel mensen dezelfde toets maken en het onderwijs een aantal jaar hetzelfde blijft (zodat men de onvolkomenheden uit eerdere toetsen kan corrigeren). Beiden zaken zijn in het hoger onderwijs eerder uitzondering dan regel en in zekere zin is dat maar goed ook.
 
Je opmerking over toetsen deel ik, deels. Een toets hoeft niet sec naar feitjes te vragen. Je kunt ook vragen stellen waarbij een student inzicht in de materie moet tonen, of bepaalde kennis moet toepassen op een situatie. In mijn vakgebied (chemie) is dat laatste eigenlijk de norm. En sowieso geldt dat als je een vak op een goede manier wil bedrijven, er een stevig fundament (parate kennis) moet liggen. Inderdaad kun je een hoop feiten opzoeken, maar in veel praktijksituaties is het helemaal niet handig als er allerlei dingen moeten worden opgezocht. Niet alle feiten zijn dom. En vaak worden dingen ook als domme feitjes ervaren omdat het belang, de context, de toepassing niet goed worden geschetst ("slechte docent"). Of omdat een student stiekem gewoon geen zin heeft in dat saaie leren, en dan is het makkelijker om de legitimiteit van de toets in twijfel te trekken ("luie student").
 
Wat ik wel helemaal met je eens ben is dat het veel beter is om op meerdere momenten tijdens een cursus kleine toetsmomenten te hebben. Puur bedoeld om bezig te zijn met de stof en om aan de student inzicht te geven in het niveau dat op dat moment is bereikt. Het beste is dan wel om er geen cijfer aan te hangen, maar puur feedback te geven. Cijfers geef je dan aan grotere opdrachten die maar een paar keer per jaar worden gehouden, en waarin de eerder opgedane kennis en vaardigheden worden toegepast. 
 
Al met al hoeft dat een onderwijsinstelling helemaal niet meer tijd te kosten. Ik denk ook dat veel docenten dat best graag zo zouden willen. Het vraagt alleen een behoorlijke omschakeling, en heel veel systemen zijn daar in de praktijk niet voor ingericht: Er zijn jaarplanningen met blokken en vastgelegde toetsweken, er is een programma met eenheden van zus of zoveel EC, en daarvan moet een resultaat worden ingevoerd in de systemen, ook omdat studenten een X aantal EC moeten halen vanwege bindend studieadvies en dergelijke. De vorm van een vak en van de toets moet staan omschreven in studiegidsen en dat moet ook zo worden aangehouden (afwijking hiervan is grond om tentamenresultaten aan te vechten) enzovoort enzovoort. "Zomaar" omschakelen naar een andere vorm is er dus vaak niet bij...