percentage onterechte (on-)voldoendes bij multiple choice toets

[Urchje]

Ik kan berekenen hoe groot de kans is dat iemand die n_weet vragen weet bij een mc-toets met n_vragen vragen, waarbij bij elke vraag de kans op een goed antwoord bij gokken p_gok is en een cesuur (grens voldoende/onvoldoende) geldt van c, een voldoende krijgt.
Echter, ik weet niet hoe de werkelijke kennis over de deelnemers verdeeld is.
Kan ik met behulp van de uitslagen van de deelnemers, die is samengesteld uit werkelijke kennis en gokkans, een uitspraak doen over het percentage (on-)terechte voldoendes?

[Benm]

Niet per se, want het hangt ook af van de antwoordmogelijkheden die je geeft in een dergelijke toets.
 
Vaak wordt gewerkt met 4 antwoorden, waarvan er 2 complete onzin zijn, en de andere twee tamelijk plausibel zijn, al is er maar 1 correct. 
 
Het venijn zit hem dan in die mogelijkheid te kiezen voor een redelijk plausibel antwoord, dat niet correct is maar er tamelijk dichtbij ligt en daarmee wel inzicht toont. 
 
Stel even heel simpel gezegd dat je zonder rekenmachine moet bepalen wat het product van 99 x 101 is. Ik zou dat inschatten op 'ongeveer 10.000', maar als je het als multiple choice geeft met als opties bijvoorbeeld
 
- A: 1000
- B: 9999
- C: 10.001
- D: 100.000
 
Als je niet kunt rekenen zijn B en C heel redelijke antwoorden. Het correcte antwoord in dit verhaal is B, maar het is ergens realistisch om antwoord C meer punten te geven dan A of D. Het klopt niet exact, maar is wel binnen een promille correct.

[Urchje]

Beste Benm,
 
Dank je voor je reactie. Je hebt helemaal gelijk dat het niet reëel is om te veronderstellen dat elk antwoord bij het niet weten even waarschijnlijk is. Onderzoek wijst dat ook uit. Maar stel dat....
Met de binomiaalformule valt prima uit te rekenen hoe groot de kans is dat iemand die van de 50 vragen er 10 weet en de rest gokt de cesuur van bv 28 vragen haalt (uitgaande van de in de vorige alinea genoemde veronderstelling ).
Maar kan ik met de kennis over de verdeling van scores van een groep deelnemers een uitspraak doen over het percentage (on-)terechte voldoendes? Dus bv een uitspraak in de vorm van: het is voor 95% zeker dat het percentage deelnemers dat ten onrechte een voldoende heeft gekregen ligt tussen de 60% en 80%.
Volgens mij moet dat mogelijk zijn, je hebt immers de verdeling van scores en je weet ook de kans bij gokken op n goede antwoorden.

[Benm]

Ik denk dat dat wel kan, maar het de stricte voorwaarde heeft dat wanneer iemand het antwoord niet 100% zeker weet, hij willekeurig zal kiezen tussen de aangeboden mogelijkheden. 
 
In de praktijk lijkt me dat echter zeer zelden het geval, tenzij het een vraag is met antwoorden die allemaal even plausibel zijn als je geen enkel benul hebt over de realiteit van de antwoorden. In bovengenoemd voorbeeld hoef je A en D niet eens te overwegen, en eerlijkgezegd C ook niet gezien je het eindcijfer eenvoudig kunt berekenen (maar wellicht zijn er mensen zonder het inzicht dat 1x9 = 9). 
 
Je hebt natuurlijk wel gevallen waarbij het antwoord totaal niet te beredeneren is als je het exacte antwoord niet weet. Neem bijvoorbeeld een vraag als "u gaat met een auto op de openbare weg rijden zonder ooit een rijbewijs te hebben behaald, welk wetsartikel van de wegenverkeerswet overtreed u?"
 
- 106
- 107
- 108
- 109
 
(ik noem er even geen lid bij om het niet moeilijker te maken da nodig is), maar je kunt hier zonder exacte kennis feitelijk geen gefundeerde keuze maken. 
 
De meeste multiple choice vragen met 4 keuzes zijn gewoon bewust zo ingericht dat ze 1 of 2 antwoorden hebben die compleet niet plausibel zijn, en je gewoon een meer dan random kans hebt om goed te "gokken" als je het exacte antwoord niet weet. 
 
De vraag is wellicht meer hoe je punten moet toekennen: meestal is de methode simpelweg alle punten voor het correcte antwoord, en nul punten voor ieder ander antwoord. Je zou kunnen argumenteren dat iemand ook punten verdiend door een antwoord te beredeneren (op basis van inzicht maar zonder exact te weten) maar net even verkeer uit komt. Neem iets als:
 
Hoeveel weeg 1 kubieke meter marmer?
 
a - 1.3 ton
b - 2.2 ton
c - 2.7 ton
d - 20 ton
 
Als je dit antwoord niet weet kun je redeneren dat:
 
- marmer zinkt als een baksteen in vrijwel iedere vloeistof
- geen idioot hoge dichtheid heeft als goud of wolfraam
 
Je hebt dan de "gok" tussen b en c. 
 
In mijn optiek is 'b' antwoorden een betere prestatie dan 'a' of 'd' gezien het getuigt van enig inzicht in de materie, ook al heb je dat feitje niet uit je hoofd geleerd. 

[Urchje]

Mee eens. Maar bij de toetsen waar ik het over heb moet je denken aan vragen zoals "Het bovenstaande schilderij is geschilderd door a. Rembrandt, b. Van Gogh, c. Rubens, d. Potgieter. Daar valt, zonder kennis, niet zo makkelijk een of meerdere alternatieven uit te sluiten.
Mijn vraag gaat echt over: ik weet de verdeling van de scores op een toets, waarbij die scores afhankelijk zijn van de kennis over het item en eventueel, bij het ontbreken van die kennis, een gokkans. En voor het gemak ga ik er van uit dat de gokkans 0,25 is

[Benm]

In dat geval kun je het inderdaad wel uitrekenen, om simpel te beginnen zou ik even uitgaan van 100 vragen met 4 antwoorden, waarbij je ofwel het antwoord weet, of geen flauw benul hebt en willekeurig gokt. 
 
Als je niets weet is de gemiddelde verwachtigswaarde van gokken 25 correcte antwoorden. Het aantal correct gegokte antwoorden zal vervolgens een normaalverdeling rond die 25 hebben. Je kan daarmee wel uitrekenen wat de kans is dat iemand er bijvoorbeeld 30 of 50 correct gokt, al zal dat bij 50 al een heel kleine kans zijn. 
 
Anderzijds is het wel zo dat als je de grens om te slagen op 50% zet iemand die slechts 40 antwoorden weet er naar verwachting alsnog 15 van de 60 resterende correct gokt. 
 
Praktisch zijn er ook nog oplossingen waarbij je een optie hebt 'ik weet het niet', en een fout antwoord 'strafpunten' oplevert. Ik had ooit een biologieleraar die iets dergelijks gebruikte, maar dan met ja/nee vragen. Overigens wel vervelend om zo'n toets te maken als je een beetje twijfelt