Project idee verbeteren educatie: Feedback (kritiek) nodig

[ESa]

 Hallo,
 
Mijn naam is Ekrem, ik ben een tweede jaars master student en op het moment heb ik een project idee waarvan ik niet weet of ik er mee moet doorzetten of niet. Ik hoop dan ook dat jullie er mogelijk kritiek op zouden kunnen geven? Docenten/studenten in mijn omgeving geven aan dat ze het zien zitten, ik weet echter niet of ze aardig doen of dat het echt een goed project is wat een bruikbaar product zal opleveren.
 
Het probleem:
Ik zelf als student zijnde heb vaak meegemaakt dat docenten "question assignments" geven waarvan van ons verwacht werd dat we vragen opsturen. Een goede vraag opsturen is niet altijd zo even makkelijk en vergt tijd, echter is er geen garantie dat er ook maar iets gedaan wordt met wat je instuurt. Er is geen beloning voor het insturen van goede vragen en er is geen negatieve uitkomst als je een slechte vraag bedenkt: Vaak kies je ervoor om maar een simpele vraag in te sturen.
 
Misgelopen potentie:
-       Voor leraren is het natuurlijk handig om te zien waar studenten interesse in hebben, wat ze niet begrijpen en om op een snelle wijze aan goede vragen te komen. Zo hoeven ze bijvoorbeeld geen oefententamens te maken als studenten zelf kwalitatieve vragen zouden insturen.
-       Voor studenten is het handig om oefen tentamens te hebben, en het bedenken van vragen zorgt ervoor dat je diep over het stof gaat nadenken wat voor beter begrip zorgt. Als er een belong in zou zitten voor goede vragen zouden ze hun cijfer kunnen opkrikken.
 
Mijn project idee:
Ik denk dat de reden waarom dit soort opdrachten niet goed lopen komt omdat er geen belong/extra punten aan verbonden zijn aan het insturen van goede vragen. De reden waarom dit er niet is lijkt me omdat leraren de tijd niet hebben voor het geven van cijfers voor vragen? Ik zit te denken aan een algoritme welk dit becijferen van vragen zou moeten vergemakkelijken/automatiseren.
De informatie dat hiervoor nodig is is dat medestudenten de multiple choice vragen van elkaar 2 maal als oefententamen doorlopen met minimaal 1 week tussen de twee tests.
 
Op basis van de percentage correct geantwoord de eerste keer (bijv 50% goed beantwoord) en tweede keer (bijv 80% goed beantwoord), en hoe groot de groei is van correcte antwoorden tussen de twee momenten (30%) zou ik dan een cijfer willen geven. De gedachte hierachter is dat degene die de vraag stelt ook onderzoekt wat de correcte antwoord is, en bij de vraag ook dus uitleg geeft. Nadat studenten het hebben beantwoord kunnen ze de uitleg lezen. De beste vragen zullen moeilijk zijn en dus bij de eerste poging slecht beantwoord worden, als de uitleg goed en duidelijk is zal er echter een grote groei van correcte antwoorden zijn bij de tweede poging. Op basis hiervan dacht ik 1/3, 2/3 of 3/3 punten toe te kennen. Welk de leraar weer kan vertalen naar extra punten bij eindcijfer? (bijv 0.1, 0.2 of 0.3 punten erbij?)
 
Mijn vraag:
De algoritme is nog niet geschreven en dus ook niet getest. Zal ik hier tijd in steken? Stel het is een betrouwbare manier om kwaliteit van een vraag te beoordelen, zou zoiets gebruikt worden door docenten? Al is het maar als indicatie voor de kwaliteit van een vraag waarna ze zelf oordeel vellen? Is er ook een beloning nodig voor studenten die vaak goede antwoorden geven? Waarom zou dit (g)een goed project zijn?
 
Ik zou het echt heel erg waarderen als ik kritiek op het idee zou kunnen krijgen. Ik heb het zo kort mogelijk proberen te houden (alsnog een lap tekst excuses daarvoor   ), als er meer informatie nodig is hoor ik het graag.
 
Groetjes,
 
Ekrem

[Beresteyn]

Zelf ben ik ook student en klinkt dit natuurlijk aantrekkelijk. Bij mij op de universiteit zijn er nauwelijks oefenvragen beschikbaar, waardoor de verschillen in niveau op de hoor- en werkcolleges en de tentamens soms naar mijn mening te groot is. Dergelijke ideeën om 'self made' oefentoetsen te maken is inderdaad niet alleen voor de studenten een win, maar ook voor de docenten en faculteiten. Echter denk ik dat het praktisch onmogelijk is om het idee in z'n geheel voor elkaar te krijgen.
 
Aangezien jij zelf een algoritme wil gaan schrijven, ga jij dus ook bepalen wat een goede vraag is. En als ik het goed begrijp wil jij de vragen die het meest foutief worden beantwoord benoemen tot 'beste vragen'. Er bestaan ook genoeg 'makkelijke' vragen die niet per definitie ook 'slechte' vragen zijn. Het lijkt mij persoonlijk nogal moeilijk om zoiets te vertalen in een algoritme. Eventueel zou je een klein onderzoekje kunnen doen onder studenten waarbij ze, naast het antwoord geven, ook moeten aangeven of ze het een goede/slechte en makkelijke/moeilijke vraag vinden. Wellicht komt daar dan nog een verband uit rollen waar je iets mee kan (al zou ik zelf heel sceptisch zijn over de betrouwbaarheid van zo'n onderzoek). 
 
Daarnaast zeg je dat de vraagstellers ook zelf het antwoord moeten fabriceren. Wie gaat die informatie controleren op juistheid? En wat gebeurt er als die informatie niet klopt? Bedenk ook dat vragen relevant moeten zijn. Iemand kan hele lastige vragen verzinnen (en volgens jouw algoritme dan beloond worden), terwijl het totaal niet relevant is voor de leerstof. Hoe wil je dat aanpakken?
 
Ik zou zeker gaan voor een beloning, aangezien je studenten zal moeten stimuleren om eraan mee te werken. En zorg er inderdaad voor dat de antwoorden een uitleg bevatten. Er is niks irritanter dan antwoorden zonder uitleg; daar heb je echt helemaal niks aan als student.
 
Ik heb onlangs op de universiteit een pilot gehad van iets soortgelijk systeem, alleen was daar geen sprake van een algoritme. Het betrof een vak waarin verschillende thema's behandeld werden (ongeveer 1-2 thema's per week). Vervolgens kregen de studenten tot zondag 23.59 uur de tijd om een toets te maken. Wanneer men de toets niet maakte of te laat, dan kreeg hij een 0 als cijfer voor die toets. De toetsen bestonden uit 10 vragen die door de docenten opgesteld waren en waren alleen multiple choice. De vragen waren gebaseerd op de stof die werd behandeld in de colleges. Simpelweg werd er gekeken of je de vraag goed beantwoord had, dan kreeg je de punten. En indien fout natuurlijk geen punten. Uiteindelijk waren het ongeveer 7 of 8 toetsen waarvan alle cijfers opgeteld werden en gedeeld door het aantal toetsen. Dat gemiddelde cijfer telde vervolgens voor 10% mee in je eindcijfer.

[ESa]

Beste Jeronimo, hartelijk dank voor je feedback. Dit soort kritiek heb ik dus nog meer nodig!
 
De gedachte achter wat een goed vraag is, is de leermoment dat het bied aan medestudenten: Dat ze er echt iets van leren. Vandaar dat ik in de algoritme wil opnemen dat de groei in correcte antwoorden in de tweede poging als belangrijkste element zou zijn. Natuurlijk zal er een optie geïmplementeerd moeten worden dat de medestudenten kunnen aangeven dat de vraag zelf onduidelijk is. in eerste instantie denk ik aan de volgende 4 mogelijkheden (percentages en punten zijn alleen ter illustratie):
- makkelijke vraag + goed uitleg : eerste poging 50-75% goed, tweede poging 75-100% goed (2 van de 3 punten)
- moeilijke vraag + goed uitleg : eerste poging 10-25% goed, tweede poging 75-100% goed (3 van de 3 punten)
- makkelijke vraag + slecht uitleg: eerste poging 50-75% goed, tweede poging 50-80% goed (1 van de 3 punten)
- moeilijke/vage vraag + slecht uitleg: eerste poging 10-25%, tweede poging 10-30% (0 van de 3 punten)
 
Om correctheid van de antwoorden te garanderen zal er een (assistent) docent naar de antwoord moeten kijken: studenten moeten zeker kunnen weten dat als antwoord a als correct wordt aangegeven dat dit ook daadwerkelijk klopt. Tevens zal er per vraag een soort forum mogelijkheid (is al aanwezig op platform van universiteit) aangeboden worden waarin studenten om extra uitleg kunnen vragen als ze het niet snappen: De student die de vraag heeft opgesteld wil dat ze het de volgende keer goed doen, dus zal er moeite in steken om het uit te leggen. Dit soort discussie zijn ook heel erg leerzaam omdat de studenten echt het stof in moeten duiken.
 
Het model dat toegepast is binnen de pilot dat jij hebt gevolgd is natuurlijk super fijn voor studenten. Maar minder fijn voor docenten omdat ze veel vragen moeten opstellen. Daarbij komt nog dat onderzoek doen voor het opstellen van een vraag en de discussie momenten welk "exploratieve learning" aanwakkeren er niet bij zitten. Van docenten heb ik begrepen dat ze willen switchen van het systeem dat alleen de skill "memorizing" beloont en meer andere skills zoals "questioning" en "explaining" ruimte willen geven. Universiteit Leiden is daarom ook grotendeels overgegaan naar open boek tentamens.
 
Lijkt het je nog steeds niet een goede algoritme om uit te proberen kijkend naar de extra info dat ik er nu bij heb gezet ?

[Marko]

Hallo,

 

Mijn naam is Ekrem, ik ben een tweede jaars master student en op het moment heb ik een project idee waarvan ik niet weet of ik er mee moet doorzetten of niet. Ik hoop dan ook dat jullie er mogelijk kritiek op zouden kunnen geven? Docenten/studenten in mijn omgeving geven aan dat ze het zien zitten, ik weet echter niet of ze aardig doen of dat het echt een goed project is wat een bruikbaar product zal opleveren.

Hoi Ekrem,

Je idee beoogt om docenten te onlasten en om studenten extra studiemateriaal aan te bieden. Dát zullen de betrokkenen oprecht zien zitten. Ik denk dus dat ze niet alleen maar aardig doen. Dat alles biedt natuurlijk nog geen garantie dat er ook daadwerkelijk een bruikbaar product uit komt. Maar het is in ieder geval de moeite van het uitwerken waard.
 

Het probleem:
Ik zelf als student zijnde heb vaak meegemaakt dat docenten "question assignments" geven waarvan van ons verwacht werd dat we vragen opsturen. Een goede vraag opsturen is niet altijd zo even makkelijk en vergt tijd, echter is er geen garantie dat er ook maar iets gedaan wordt met wat je instuurt. Er is geen beloning voor het insturen van goede vragen en er is geen negatieve uitkomst als je een slechte vraag bedenkt: Vaak kies je ervoor om maar een simpele vraag in te sturen.

 
Kort samengevat is je stelling dat het niveau van de ingeleverde opdrachten laag is omdat er niet op getoetst wordt. Daar is weinig tegenin te brengen. De oplossing ligt dan ook voor de hand: wel toetsen, en de volgende vraag (die even verderop komt) is dan inderdaad: hoe.
 

Misgelopen potentie:
-       Voor leraren is het natuurlijk handig om te zien waar studenten interesse in hebben, wat ze niet begrijpen en om op een snelle wijze aan goede vragen te komen. Zo hoeven ze bijvoorbeeld geen oefententamens te maken als studenten zelf kwalitatieve vragen zouden insturen.
-       Voor studenten is het handig om oefen tentamens te hebben, en het bedenken van vragen zorgt ervoor dat je diep over het stof gaat nadenken wat voor beter begrip zorgt.

 
Hier ben ik het niet helemaal mee eens. Je gaat wat te kort door de bocht, omdat het criterium voor een goede vraag definieert als "dat waar de studenten de meeste behoefte aan (denken te) hebben"
Maar een goede vraag kan ook zijn: extra oefenen met dat wat al bekend is omdat het essentiële basiskennis is, die nodig is om andere dingen goed en soepel te kunnen aanpakken. 
Een goede vraag is ook: eenduidig geformuleerd. Bij multiple choice: een voldoende groot aantal plausibele antwoordmogelijkheden. Dus zelfs een relevante vraag kan door andere oorzaken een slechte vraag worden.
Een goede vraag is vooral: toetst die vakkennis die nodig is. En daar zit het probleem. Want van een student moet je niet verwachten dat die al kan inschatten welke vakkennis belangrijk is en welke niet. Die inschatting kan een docent, vanwege de ervaring en contacten in het vakgebied, juist wél goed maken. 
Het kan prima zijn dat die vakkennis die het belangrijkst is, helemaal niet zo moeilijk blijkt te zijn. Dan zou een opgave over zo'n onderwerp best makkelijk zijn, maar dat is helemaal niet zo erg, integendeel.
Je kunt de kwaliteit van een vraag dus niet zomaar gelijkstellen aan "dat waar de studenten de meeste behoefte aan hebben"
Zou je dat pad bewandelen, dan heeft dat als risico dat studenten veel tijd gaan steken in het formuleren over het stuk stof waar ze de meeste moeite mee hebben, terwijl dat stuk helemaal niet zo belangrijk is.
 
 

Mijn project idee:
Ik denk dat de reden waarom dit soort opdrachten niet goed lopen komt omdat er geen belong/extra punten aan verbonden zijn aan het insturen van goede vragen. De reden waarom dit er niet is lijkt me omdat leraren de tijd niet hebben voor het geven van cijfers voor vragen? Ik zit te denken aan een algoritme welk dit becijferen van vragen zou moeten vergemakkelijken/automatiseren.
De informatie dat hiervoor nodig is is dat medestudenten de multiple choice vragen van elkaar 2 maal als oefententamen doorlopen met minimaal 1 week tussen de twee tests.
 

 
Inderdaad is het lastig om een beoordeling te geven aan een opgave. Het kan wel, maar het loopt een beetje scheef omdat de docent dan eerst heel goed moet definiëren wat hij/zij precies wil zien, en dat ook zo moet uitleggen richting de studenten (die moeten immers wel weten wat er precies van hen wordt verwacht)
 

Op basis van de percentage correct geantwoord de eerste keer (bijv 50% goed beantwoord) en tweede keer (bijv 80% goed beantwoord), en hoe groot de groei is van correcte antwoorden tussen de twee momenten (30%) zou ik dan een cijfer willen geven. De gedachte hierachter is dat degene die de vraag stelt ook onderzoekt wat de correcte antwoord is, en bij de vraag ook dus uitleg geeft. Nadat studenten het hebben beantwoord kunnen ze de uitleg lezen. De beste vragen zullen moeilijk zijn en dus bij de eerste poging slecht beantwoord worden, als de uitleg goed en duidelijk is zal er echter een grote groei van correcte antwoorden zijn bij de tweede poging. Op basis hiervan dacht ik 1/3, 2/3 of 3/3 punten toe te kennen. Welk de leraar weer kan vertalen naar extra punten bij eindcijfer? (bijv 0.1, 0.2 of 0.3 punten erbij?)
 

 
Of een algoritme de oplossing is, weet ik eerlijk gezegd niet. Ik denk het niet, gezien ook de eerdere opmerkingen: het kan best zijn dat een vraag goed is, maar slecht gesteld, waardoor er al meteen een hoog percentage goede antwoorden is. Of, een slechte (te makkelijke) vraag, maar die ook zo onbegrijpelijk is gesteld dat veel studenten het verkeerde antwoord geven. Maar, als dan na de uitleg de bedoeling van de vraag wel duidelijk wordt, geeft iedereen wel het goede antwoord. Dan zou daar, ten onrechte, een hoge waardering aan worden gegeven, de toename is immers gigantisch.
 
Een betere beoordeling lijkt mij aan de hand van een formulier met een aantal criteria, waarbij de docent dan onderscheid maakt in "voldoet zeer goed / voldoet / voldoet niet helemaal / voldoet helemaal niet". Criteria kunnen dan zijn:
 
sluit aan bij de behandelde stof
modelantwoord en modeluitwerking zijn in orde
...
 
Een docent kan ook gewoon aanvullende eisen stellen aan de opgaven. Bijvoorbeeld om 1 makkelijke en 1 moeilijke opgave te bedenken, waarbij makkelijk betekent: kun je direct beantwoorden met de behandelde theorie, en moelijk betekent: hiervoor moet je verschillende stukken van de theorie met elkaar combineren.
 
Een docent zou ook de onderwerpen kunnen aandragen waarover opgaven gemaakt moeten worden, en op die manier voorkomen dat er alleen maar simpele opgaven worden verzonnen.
 
Een andere mogelijkheid om dit uit te werken is dat er steeds 2 studenten verantwoordelijk gemaakt worden voor een opgave. Student 1 moet dan de opgave verzinnen en de uitwerking/uitleg opstellen. Student 2 controleert deze, geeft feedback aan student 1, waarna hij/zij de opgave verbetert. Vervolgens wordt de opgave ingeleverd en door de docent beoordeeld (beoordeling geldt dan voor beide studenten). Nadat alle opgaven binnen zijn worden ze online gezet, als extra oefenopgaven voor de studenten. 
 
Op deze manier worden studenten gestimuleerd om op verschillende manieren na te denken over de theorie. Dit lijkt me ook eerlijker omdat sommigen nu eenmaal beter zijn in creëren, en anderen beter in controleren.
 
Overigens zou ik een ophoging met 0.1, 0.2 of 0.3 punten niet doen. Geef er dan een serieuze waardering aan, bijvoorbeeld 1, 2 of 3 punten op het eindcijfer. Anders maakt het uiteindelijk nog nauwelijks een verschil.

[ESa]

Hey Marko, bedankt voor je feedback!
 
Zou het denk je een beter idee zijn om de percentages goed/fout eerste poging en na herkansing als een soort parameter te geven voor docenten? Dat je dan op basis van meerdere parameters de vragen kan laten ordenen als het ware? Er zijn al text miners die vragen kunnen indelen op basis van de Blooms taxonomy van hoe complex vragen zijn, die zou dan ook erbij gegeven kunnen worden. Dit als een soort "gameification" voor studenten, en voor docenten dat ze op een oogopslag wat meer informatie kunnen zien over de vragen  die gepost zijn.
Extra informatie zou zijn als studenten de optie krijgen om vragen te kunnen indelen in favoriet en non-favoriet. Zodat ze vragen die ze goed hebben kunnen aangeven nogmaals te willen oefenen (ze hadden geluk en willen testen of ze het volgende keer echt snappen), of vragen die ze fout hebben aangeven dat ze die niet meer willen zien (als de vraag bijvoorbeeld heel vaag is).
Met andere woorden: zou ik alleen parameters laten verzamelen om die voor te leggen aan docenten? Zou dat het vergemakkelijken voor hen?
 

Een andere mogelijkheid om dit uit te werken is dat er steeds 2 studenten verantwoordelijk gemaakt worden voor een opgave. Student 1 moet dan de opgave verzinnen en de uitwerking/uitleg opstellen. Student 2 controleert deze, geeft feedback aan student 1, waarna hij/zij de opgave verbetert. Vervolgens wordt de opgave ingeleverd en door de docent beoordeeld (beoordeling geldt dan voor beide studenten). Nadat alle opgaven binnen zijn worden ze online gezet, als extra oefenopgaven voor de studenten. 

Een van de opties dat er in de platform aanwezig is is dat je als groep aan de slag kan. Het zou dus een optie kunnen zijn dat je in groepjes wordt ingedeeld en dat je x aantal vragen moet bedenken en beoordelen? Ik denk namelijk dat meeste docenten niet de tijd/zin hebben om voor ieder persoon individueel na te kijken op de uni. Als groepjes beoordelingen geven kan dat mogelijk als een soort filtering werken voor slechte vragen.

[Beresteyn]

Lijkt het je nog steeds niet een goede algoritme om uit te proberen kijkend naar de extra info dat ik er nu bij heb gezet ?

 
Of het een goed of slecht algoritme is weet ik niet, maar ik ben wel een beetje sceptisch over de validiteit. Zoals het nu is beschreven is de vraagsteller 100% afhankelijk van zijn medestudenten. Als zijn medestudenten zijn vraag niet goed beantwoorden, dan wordt de steller er voor afgestraft. Ik denk dat het sowieso erg lastig wordt om een dergelijk systeem te beoordelen via een algoritme. Dan zou ik toch eerder neigen naar wat Marko zei: dat een (hoofd)docent onderwerpen geeft waar de vragen over moeten gaan. Vervolgens worden studenten ingedeeld in groepjes en moet iedereen groepje een x aantal makkelijke en moeilijke vragen opstellen, die beoordeeld worden via bepaalde criteria. Hiermee is het voor iedereen ook direct duidelijk op basis waarvan wordt beoordeeld. Als je dan bang bent dat niet iedereen meewerkt in een groepje kun je het ook linken aan een werkcollege, waarin de vragen gepresenteerd worden aan de groep. Je kunt dan in de criteria meenemen dat ieder lid van de groep in staat was om de vragen te presenteren, maar ook het gegeven antwoord konden verdedigen. De beoordeling wordt dan ingevuld door de docent van het werkcollege. Je geeft hiermee ook een directe mogelijkheid tot het raadplegen van de docent als je ergens niet uitkomt. 
 
Om een hoofddocent te ontlasten hebben wij op de universiteit hulpdocenten. Dit zijn meestal marterstudenten, promovendi, postdocs, maar ook soms experts in een specifiek vakgebied. Die ondersteunen bij werkcolleges. Een docent hoeft dus niet per se alles in z'n eentje te doen.
 
Ik zou het beoordelen van vragen (goed of slecht en makkelijk of moeilijk) dus niet in een algoritme proberen te vertalen, maar echt individueel door docenten laten beoordelen op basis van de opgegeven criteria. Maar eventueel zou je een kleine beta versie kunnen opzetten en die testen. 

[Marko]

Hey Marko, bedankt voor je feedback!

 

Zou het denk je een beter idee zijn om de percentages goed/fout eerste poging en na herkansing als een soort parameter te geven voor docenten?

Zoals aangegeven: de scoringspercentages voor een opgave hangen niet een op een samen met de kwaliteit van de vraag. Welke percentages je ook kiest, er bestaat een reële kans dat een inhoudelijk goede vraag door een slechte vorm een slechtere beoordeling (=minder toename van het scoringspercentage) haalt dan een inhoudelijk slechte vraag. Sterker nog, het is niet uitgesloten dat een inhoudelijk slechte vraag met ook nog eens een slechte vorm juist door die slechte vorm onterecht een goede beoordeling haalt. Het algoritme haalt dit onderscheid er niet uit. 
 
De docent kan deze percentages dus pas gebruiken als zeker is dat deze enkel door de inhoud van de vraag tot stand zijn gekomen. En díe analyse is het lastigst en het meest tijdrovend. Hoewel ook dat voor een deel aan de hand van een algoritme valt te achterhalen, hier bestaan methodes voor, al vraagt dit altijd nog een blik van de expert om een definitief oordeel te vellen. Maar de vraag is of je dit wil. Het gaat er immers niet om te beoordelen of de student een goede opgave kan bedenken (het is geen lerarenopleiding), maar het gaat erom te beoordelen of een student de theorie beheerst. Het op goede wijze stellen is echter een voorwaarde om aan de hand van een algoritme te bepalen of dat zo is, en dan nog blijft dat vaag.
 
Een ander probleem is dat je vooral selecteert op die onderwerpen waar de doorsnee populatie de meeste moeite mee heeft, en niet per se op de onderwerpen die het meest relevant zijn. Niet alle belangrijke kennis is moeilijk!
 
Het verband met de taxonomie van Bloom ontgaat me een beetje. Natuurlijk kun je de tekst laten analyseren en de complexiteit aangeven, maar ook hier geldt: complexiteit is iets anders dan moeilijkheidsgraad. Een kennis-vraag die een of ander feitje bevraagt dat ooit tussen neus en lippen door genoemd is, zal moeilijker zijn dan het toepassen van theorie die ook al voor een groot deel bij eerdere vakken aan bod is gekomen. 
 
Als je iets met die analyse wil doen, zal de docent vantevoren moeten aangeven wat hij precies verwacht, en dan kan de analyse worden gebruikt om te toetsen of aan die eis is voldaan. 
 
Je kunt een deel van de beoordeling ook aan de studenten overlaten. Dat zal de docent inderdaad tijd sparen. Maar zaak is wel dat je dan duidelijke beoordelingscriteria hebt, zodat alle opgaven langs dezelfde meetlat worden gelegd. 
 
Wat je misschien zou kunnen doen is dat je de studenten op een aantal punten feedback laat geven over de opgave, bijvoorbeeld aan de hand van dit soort stellingen:
 
- de opgave was moeilijk/makkelijk (verschillende gradaties mogelijk)
- de opgave sloot goed aan op de behandelde theorie
- na het zien van de uitwerking begreep ik de theorie beter
- ik denk dat de uitwerking niet klopt
...
 
De opgaven die aan de hand daarvan het beste scoren (of die aan bepaald minimum halen) worden door de docent(en) beoordeeld. De opgaven die deze kwaliteitscontrole doorstaan worden gepubliceerd als oefenopgave. Deze opgaven leiden dan tot een hoger punt voor het vak. Eventueel zou je de studenten met opgaven die door de voorselectie komen maar het uiteindelijk niet halen ook een (kleinere) bonus kunnen geven.

[ESa]

Super bedankt voor de feedback, ik heb er veel van opgestoken waaronder twee zeer belangrijke punten wat ik over het hoofd zag : Allereerst het percentage correct beantwoord of niet, is niet getest en mede daarom geen betrouwbare manier om kwaliteit van vragen te beoordelen. Ik zal het daarom dan ook of helemaal achterwege laten of als een vorm van statistics laten bijhouden (de wetenschapper in mij is nu benieuwd naar correlatie tussen goede vragen beoordeeld door studenten+docenten en percentage correct beantwoord eerste en tweede poging   ).
 
Tweede is dat jullie focussen of een vraag inhoudelijk relevant is aan de stof dat behandelt wordt of niet als criteria van of een vraag goed is of niet: Docenten (op universiteiten) willen vaak dat studenten juist meer exploratieve gaan leren. Dus dat ze extra buiten de curriculum om gaan leren. Mijn intentie was juist om exploratieve learning te stimuleren. Achteraf gezien is het logisch dat het niet zo handig is om exploratieve learning met oefenvragen voor tentamens te combineren.  
Op basis hiervan kwam er wel een ander idee in mij op: Studenten laten aangeven welk artikel/boek/hoofdstuk/college en wellicht zelfs welk pagina daarvan hun vraag is gebaseerd. Gezien docenten al aangeven welk literatuur vereist is voor een vak zou er mogelijk de functie ingebouwd kunnen worden om voor elk vraag dat ingediend wordt te laten aangeven van welk bron het afkomstig is. (bv. boek: The cell, hoofdstuk 3, pagina 60 t/m 63). Mits dit er is kunnen mede studenten dan per hoofdstuk of artikel hun kennis testen als ze dat willen? Tevens maakt dit het makkelijker om te achterhalen of een vraag correct is beantwoord door medestudenten (ze kunnen meteen die pagina opzoeken en herlezen). Hierdoor wordt het ook makkelijker/betrouwbaarder om studenten de vragen te laten beoordelen.
Voor een docent zou dit ervoor zorgen dat ze snel kunnen inzien waarop de leerlingen focussen, zodat ze ruim van te voren kunnen aangeven aan studenten of ze wel alle materiaal voldoende aandacht schenken en zo niet welke ze meer op zouden moeten focussen. Tevens kunnen ze hierdoor de beoordeling van studenten iets meer vertrouwen gezien de studenten makkelijker de inhoud kunnen verifiëren.
 
Apart daarvan dacht ik er al aan om functies in te bouwen zodat studenten kunnen aangeven of:
- ze het een goede vraag vinden
- ze het niet snappen
- het te makkelijk is
- het te moeilijk is
- ze het overnieuw willen oefenen (volgende oefen moment deze vraag nogmaals aanbieden)
- ze het nooit meer in de oefen test willen hebben (volgende oefen moment deze vraag niet maar aanbieden)
 
Fijn om te horen dat dit een gewenst functie zou zijn! Ik weet echter niet of studenten blij zullen zijn als er 100 vragen zijn en ze dit voor elk vraag zouden moeten invullen. Daarom denk ik eraan om dit optioneel te laten? Zo zorg je ervoor dat ze het alleen aangeven als ze het echt willen door communiceren naar docenten/medeleerlingen toe: Als een vraag echt onduidelijk is of als ze de vraag echt heel goed vinden bijvoorbeeld.
 
Extra punten toekennen aan studenten waarvan de vraag opgenomen wordt in de oefen tentamen of zelfs examen zie ik wel zitten als een optionele feature die door een docent aangevinkt kan worden. De vragen als groep laten opstellen en beoordelen lijkt mij ook wel een goede manier om ervoor te zorgen dat studenten echt tijd steken in dit soort opdrachten. Bedankt voor de tips Marko en Jeronimo!
 
Even een vraagje over mijn gebruik van dit forum voor feedback: Is het ok dat ik voor feedback blijf vragen via dit forum? Naar mijn gevoel krijg ik online veel beter feedback dan in persoon. Ik zal mijn interview stijl moeten aanpassen natuurlijk om ervoor te zorgen dat ik ook kritiek krijg in persoon (ben denk ik te enthousiast in persoon = besmettelijk), maar zou het heel fijn vinden als ik hier door zou kunnen gaan!

[ArcherBarry]

Opmerking moderator

Een zeer interessante discussie, maar te gedetailleerd voor het Huiswerk forum. Daarom verplaatst naar Informatica

[Marko]

Super bedankt voor de feedback, ik heb er veel van opgestoken waaronder twee zeer belangrijke punten wat ik over het hoofd zag : Allereerst het percentage correct beantwoord of niet, is niet getest en mede daarom geen betrouwbare manier om kwaliteit van vragen te beoordelen. Ik zal het daarom dan ook of helemaal achterwege laten of als een vorm van statistics laten bijhouden (de wetenschapper in mij is nu benieuwd naar correlatie tussen goede vragen beoordeeld door studenten+docenten en percentage correct beantwoord eerste en tweede poging   ).

Bijhouden als statistiek is zeker nuttig. Dit omdat het een aanwijzing kan geven voor verder beleid. Een laag percentage kan wijzen op een slecht opgestelde vraag óf kan erop duiden dat de studenten het betreffende onderwerp nog niet in de vingers hebben of moeilijk vinden. In het eerste geval moet de vraag aangepast worden, in het tweede geval misschien de manier van lesgeven.

Met welk van de twee je te maken hebt komt pas na verder onderzoek boven water. En hóe de vraag of de manier van lesgeven moeten worden aangepast, pas na nóg verder onderzoek. Maar het kan wel een signaal zijn om verder te kijken.

Ook omgekeerd kan natuurlijk: een zeer hoog percentage kan ook het gevolg van een slecht gestelde vraag zijn (een die het antwoord al bijna weggeeft), of misschien is de lesstof al wel lang en breed bij iedereen bekend (in een eerder vak behandeld). Dan zijn dát zaken die aangepast moeten worden. 

 

Ik zou de statistiek dus niet meteen overboord gooien. Alleen kun je niet op basis van (alleen) die statistiek conclusies trekken, laat staan een cijfer toekennen.

 

Tweede is dat jullie focussen of een vraag inhoudelijk relevant is aan de stof dat behandelt wordt of niet als criteria van of een vraag goed is of niet: Docenten (op universiteiten) willen vaak dat studenten juist meer exploratieve gaan leren. Dus dat ze extra buiten de curriculum om gaan leren. Mijn intentie was juist om exploratieve learning te stimuleren. Achteraf gezien is het logisch dat het niet zo handig is om exploratieve learning met oefenvragen voor tentamens te combineren.

 

Je moet dat inderdaad uit elkaar trekken. Exploratief leren, zelfstandig afvragen "wat als" en hierover doorvragen of zelf proberen het antwoord te vinden of af te leiden, is natuurlijk de juiste houding. Maar het wat minder geschikt als ruw oefenmateriaal voor de basis-theorie. 

 

Wat je uiteindelijk wil bereiken met een tentamen is nagaan of iemand de theorie beheerst. Iedere vraag zal dus een verband moeten hebben met de behandelde theorie. 

 

Op basis hiervan kwam er wel een ander idee in mij op: Studenten laten aangeven welk artikel/boek/hoofdstuk/college en wellicht zelfs welk pagina daarvan hun vraag is gebaseerd. Gezien docenten al aangeven welk literatuur vereist is voor een vak zou er mogelijk de functie ingebouwd kunnen worden om voor elk vraag dat ingediend wordt te laten aangeven van welk bron het afkomstig is. (bv. boek: The cell, hoofdstuk 3, pagina 60 t/m 63). Mits dit er is kunnen mede studenten dan per hoofdstuk of artikel hun kennis testen als ze dat willen? Tevens maakt dit het makkelijker om te achterhalen of een vraag correct is beantwoord door medestudenten (ze kunnen meteen die pagina opzoeken en herlezen). Hierdoor wordt het ook makkelijker/betrouwbaarder om studenten de vragen te laten beoordelen.

Voor een docent zou dit ervoor zorgen dat ze snel kunnen inzien waarop de leerlingen focussen, zodat ze ruim van te voren kunnen aangeven aan studenten of ze wel alle materiaal voldoende aandacht schenken en zo niet welke ze meer op zouden moeten focussen. Tevens kunnen ze hierdoor de beoordeling van studenten iets meer vertrouwen gezien de studenten makkelijker de inhoud kunnen verifiëren.

 

Dat is een hele goede toevoeging. Als je constructie is dat je digitaal een multiple choice-vraag aanbiedt, en na beantwoorden een uitwerking toont, is het wat mij betreft zelfs essentieel dat je in of bij de uitwerking aangeeft waar de benodigde theorie te vinden is.

Je zou het zo kunnen uitwerken dat de studenten een opgave inleveren, en bij de meta-informatie aangeven aan welke paragraaf/paragrafen de opgave gekoppeld is. Dan kunnen de opgaven later ook makkelijk gecategoriseerd worden, dan kan de docent inschatten of voor alle lesstof een evenredige hoeveelheid oefenstof is. De docent zou zelfs aan de hand daarvan de opdrachten kunnen uitzetten, zodat verschillende studenten of verschillende groepjes ook verschillende soorten opgaven maken.

 

Apart daarvan dacht ik er al aan om functies in te bouwen zodat studenten kunnen aangeven of:

- ze het een goede vraag vinden

- ze het niet snappen

- het te makkelijk is

- het te moeilijk is

- ze het overnieuw willen oefenen (volgende oefen moment deze vraag nogmaals aanbieden)

- ze het nooit meer in de oefen test willen hebben (volgende oefen moment deze vraag niet maar aanbieden)

Fijn om te horen dat dit een gewenst functie zou zijn! Ik weet echter niet of studenten blij zullen zijn als er 100 vragen zijn en ze dit voor elk vraag zouden moeten invullen. Daarom denk ik eraan om dit optioneel te laten? Zo zorg je ervoor dat ze het alleen aangeven als ze het echt willen door communiceren naar docenten/medeleerlingen toe: Als een vraag echt onduidelijk is of als ze de vraag echt heel goed vinden bijvoorbeeld.

 

Ik zou het omdraaien: Studenten krijgen gratis en voor niets 100 (extra) oefenopgaven. Het enige wat ze bij een opgave hoeven doen is op een paar knoppen duwen nadat ze hem gemaakt hebben. Ik ga ervan uit dat het vragen zijn waar je wat langer dan een minuut of 5 mee bezig bent, dan is een halve minuut een evaluatie geven toch niet te veel gevraagd?

Ik zou het zelfs voorwaardelijk maken: zonder evaluatie geen toegang tot de volgende vraag. Moet je misschien wel wat checks inbouwen om te zien of een student niet willekeurig wat aanklikt. Maar dat is volgens mij redelijk makkelijk te doen.
 
Deelname aan het traject is dan vrijwillig, maar niet vrijblijvend. Wie meedoet krijgt de mogelijkheid om extra met de stof te oefenen, en daarbij direct gerichte feedback te krijgen. Maar deelname betekent ook: zelf opgaven ontwikkelen en mee beoordelen. 
 

ven een vraagje over mijn gebruik van dit forum voor feedback: Is het ok dat ik voor feedback blijf vragen via dit forum? Naar mijn gevoel krijg ik online veel beter feedback dan in persoon. Ik zal mijn interview stijl moeten aanpassen natuurlijk om ervoor te zorgen dat ik ook kritiek krijg in persoon (ben denk ik te enthousiast in persoon = besmettelijk), maar zou het heel fijn vinden als ik hier door zou kunnen gaan!
 

 
Wat mij betreft is dat OK. In de basis is het een leuk idee, dat een bestaand en in de basis goed concept beter en bruikbaarder kan maken. 
Je moet alleen voorzichtig zijn dat je je in je enthousiasme niet voorbij draaft. Zaak is om dit gestructureerd aan te pakken, zodat je ook echt die dingen aanpakt die aangepakt moeten worden, en dat de oplossing die je verzint daar ook echt een (bruikbare) oplossing voor biedt.
 
Focus je daarom op een solide basis, voor je je richt op detailvragen zoals of een vraag 0.1 of 0.2 punten moet opleveren. Laat je tegelijkertijd niet tegenhouden door triviale vragen als "ik weet niet of de docent/student hier zin in heeft". Dat weet je namelijk nooit. Waar jij voor kunt zorgen is dat je iets maakt dat nut heeft. Waar je vervolgens voor zou kunnen zorgen is dat je dat nut heel duidelijk overbrengt op een ander. Waar je niet voor kunt zorgen is of die ander dat nut ook daadwerkelijk wil zien. 
 
Vandaar dat ik je probeer te pushen richting de basis: Wat maakt een oefenopgave nuttig en hoe kun je dat zo goed mogelijk beoordelen? Daarna komt de vraag, hoe kun je het de betrokken zo makkelijk mogelijk maken om de beoordeling te doen, en hoe kun je goede bijdragen het beste belonen?
 
Voor de rest geldt: als je in persoon feedback wil hebben, zorg dan dat je het zo gemakkelijk mogelijk maakt om feedback te geven. Hou in je achterhoofd dat je niet op alle onderdelen tegelijkertijd feedback nodig hebt. Het volstaat dan om de grove lijnen van je idee te schetsen, en vervolgens op 1 deelaspect input te vragen. Daarbij kun je dan kort aangegeven welke mogelijkheden je zelf al hebt bedacht, met voor- en nadelen erbij. Dan kun je gericht vragen of iemand zich herkent in die voor- en nadelen, en of hij/zij misschien nog andere opties ziet. Zo beperk je het aantal vragen, iemand hoeft zich niet door het hele verhaal heen te "worstelen" en zal daardoor normaal gesproken eerder meedenken/werken.

[ESa]

Dat is een hele goede toevoeging. Als je constructie is dat je digitaal een multiple choice-vraag aanbiedt, en na beantwoorden een uitwerking toont, is het wat mij betreft zelfs essentieel dat je in of bij de uitwerking aangeeft waar de benodigde theorie te vinden is.
Je zou het zo kunnen uitwerken dat de studenten een opgave inleveren, en bij de meta-informatie aangeven aan welke paragraaf/paragrafen de opgave gekoppeld is. Dan kunnen de opgaven later ook makkelijk gecategoriseerd worden, dan kan de docent inschatten of voor alle lesstof een evenredige hoeveelheid oefenstof is. De docent zou zelfs aan de hand daarvan de opdrachten kunnen uitzetten, zodat verschillende studenten of verschillende groepjes ook verschillende soorten opgaven maken.

Fijn te horen dat dit een bruikbaar additie zou zijn, ik ga me er verder in verdiepen om te kijken wat mogelijk is.
 
 

Ik zou het omdraaien: Studenten krijgen gratis en voor niets 100 (extra) oefenopgaven. Het enige wat ze bij een opgave hoeven doen is op een paar knoppen duwen nadat ze hem gemaakt hebben. Ik ga ervan uit dat het vragen zijn waar je wat langer dan een minuut of 5 mee bezig bent, dan is een halve minuut een evaluatie geven toch niet te veel gevraagd?
Ik zou het zelfs voorwaardelijk maken: zonder evaluatie geen toegang tot de volgende vraag. Moet je misschien wel wat checks inbouwen om te zien of een student niet willekeurig wat aanklikt. Maar dat is volgens mij redelijk makkelijk te doen.
 
Deelname aan het traject is dan vrijwillig, maar niet vrijblijvend. Wie meedoet krijgt de mogelijkheid om extra met de stof te oefenen, en daarbij direct gerichte feedback te krijgen. Maar deelname betekent ook: zelf opgaven ontwikkelen en mee beoordelen. 

Denk je dat dit voldoende motivatie is voor studenten om goede beoordelingen aan elkaar te geven? Wat dacht je van een extra reward mogelijkheid voor goede feedback en punishment voor slechte: Zowel de studenten als de (hulp) docent beoordelen de vragen. Des te meer de beoordeling van een student lijkt op die van de docent des te meer punten ze krijgen. (dit systeem wordt gebruikt door een docent met wie ik gisteren een interview heb gehad, hij heeft er echter nog geen systeem voor waardoor hij alles handmatig moet bijhouden etc.)
Een vraag kunnen beoordelen vergt namelijk ook inzicht en tijd, ik denk dat daar wel een reward tegenover moet staan anders gaan ze gewoon elkaar altijd 10/10 geven voor alles. Met zojuist genoemde systeem krijgen ze minder punten als ze dit zouden doen, waardoor de docent de beoordelingen beter kan gebruiken voor zijn eigen evaluatie (maakt het mogelijk sneller).
 

Vandaar dat ik je probeer te pushen richting de basis: Wat maakt een oefenopgave nuttig en hoe kun je dat zo goed mogelijk beoordelen? Daarna komt de vraag, hoe kun je het de betrokken zo makkelijk mogelijk maken om de beoordeling te doen, en hoe kun je goede bijdragen het beste belonen?

Hartelijk dank daarvoor jullie allebei, ik zat teveel te focussen op wat een makkelijke manier is om cijfers automatisch te laten geven. Terwijl deze wijze van beoordelen veel te kort door de bocht is (een beetje zou niet erg zijn). Ik pas mijn project plan aan op dit moment en ben meteen ook bezig in persoon studenten te interviewen (en vanavond een docent) met de aangepaste plan.   

[Wdeb]

Ik kijk misschien vanuit een andere richting (VO), maar dit lijkt mij wel leuk/nuttig. Alhoewel ik meer zie in minder automatiseren van het nakijken, denk ik dat het verzamelen van de feedback door zowel de oefenaar als de bedenker goed is. 
 
Maar, ik zou dus graag willen dat twee bedenkers een vraag indienen die aan bepaalde eisen voldoet. Docent maakt Rubric en beoordeelt in systeem.
Andere leerlingen gaan vraag maken en sturen uitwerking in. Krijgen weer (iets andere) rubric via systeem en beoordelen.
De bedenkers kijken het werk van de anderen na en voorzien het van feedbackinfo en becijfering. Cijfer gaat in systeem. Bedenkers evalueren hun vraag. Gaat in systeem.
Andere leerlingen krijgen feedback terug en mogelijkheid tot vraag stellen via systeem.
 
Docent checkt systeem. 1 overzicht per vraag: Welke becijfering via rubrics en beoordelingen. Welke antwoorden gegeven? Welke info? Welke opmerkingen? Docent beoordeeld dit geheel. Hop, SO-cijfer.
Met een groep van 30 man zijn dit vijftien vraagstukken en dus 15 overzichten. Dat moet toch oké zijn?
 
Peerreview lijkt mij een winst hier. Het samen brengen in één systeem ook.
 
Wdeb

[ESa]

Maar, ik zou dus graag willen dat twee bedenkers een vraag indienen die aan bepaalde eisen voldoet. Docent maakt Rubric en beoordeelt in systeem.
Andere leerlingen gaan vraag maken en sturen uitwerking in. Krijgen weer (iets andere) rubric via systeem en beoordelen.
De bedenkers kijken het werk van de anderen na en voorzien het van feedbackinfo en becijfering. Cijfer gaat in systeem. Bedenkers evalueren hun vraag. Gaat in systeem.
Andere leerlingen krijgen feedback terug en mogelijkheid tot vraag stellen via systeem.

 
Beste Wdeb, bedankt voor je input! Ik zat echt heel erg te twijfelen of studenten in een klas van 50+ een fatsoenlijke evaluatie zouden willen doen van 50+ vragen. (geneeskunde heeft vaak klassen van 200+ man). Ik zou jouw idee dan ook echt super! Gezien de tools initieel voor universiteiten ontwikkelt zullen worden zit ik te overwegen om het iets aan te passen: elk student evalueert 5 vragen, dus dan ook per vraag vijf studenten die het evalueren. Zo zorg je ervoor dat de evaluatie van een vraag niet te sterk afhankelijk is van 1 student, en kan de docent er iets meer waarde aan hechten tijdens zijn eigen evaluatie. Tevens zorg je hiermee dat elk student 5 pogingen krijgt om het geven van feedback te trainen. Als extra optie zou je de 3 best reviews van een student kunnen gebruiken voor hun cijfer van evaluatie skills. Lijkt dat jullie een goed optie om in te bouwen?

[Marko]

 
Beste Wdeb, bedankt voor je input! Ik zat echt heel erg te twijfelen of studenten in een klas van 50+ een fatsoenlijke evaluatie zouden willen doen van 50+ vragen. (geneeskunde heeft vaak klassen van 200+ man). Ik zou jouw idee dan ook echt super! Gezien de tools initieel voor universiteiten ontwikkelt zullen worden zit ik te overwegen om het iets aan te passen: elk student evalueert 5 vragen, dus dan ook per vraag vijf studenten die het evalueren. Zo zorg je ervoor dat de evaluatie van een vraag niet te sterk afhankelijk is van 1 student, en kan de docent er iets meer waarde aan hechten tijdens zijn eigen evaluatie. Tevens zorg je hiermee dat elk student 5 pogingen krijgt om het geven van feedback te trainen. Als extra optie zou je de 3 best reviews van een student kunnen gebruiken voor hun cijfer van evaluatie skills. Lijkt dat jullie een goed optie om in te bouwen?

 
De motivatie om alle vragen te beoordelen zal inderdaad niet groot zijn, maar dat is bij dat soort aantallen ook niet echt nodig. Waar het om gaat is dat je een voldoende aantal evaluaties hebt om statistiek op te kunnen bedrijven. Dit betekent naar mijn mening ook, testen of een beoordeling (of: de beoordelingen door een student) reëel zijn.
 
Wat ik niet zou doen is de beoordeling laten afhangen van "hoeveel het op die van de docent lijkt". Ten eerste omdat een academische opleiding wat meer is dan nadoen wat de docent voordoet; maar dat is wat je in principe dan wel aan het toetsen bent. 
Ten tweede omdat het de docent neerzet als een soort van onfeilbare referentie. En dat hoeft helemaal niet het geval te zijn. Sterker nog, ik denk dat als je de beoordeling van 10 studenten middelt, je een betere indruk van de vraag krijgt, dan wanneer je afgaat op de beoordeling van 1 docent die een heel zwik aan vragen heeft zitten bekijken, en die daar (jouw woorden ), helemaal geen zin in en tijd voor heeft.
 
Ik begrijp niet helemaal wat je bedoelt met "3 best reviews". Als dit verwijst naar de overeenkomst met de beoordeling van de leraar, dan zou ik, los van de eerdere opmerking dat de beoordeling van de leraar niet per se een maatstaf is, toch in ieder geval elke beoordeling meetellen. Als de 2 zwakste afvallen kun je alsnog in bijna de helft van de gevallen ongestraft broddelen.
 
Maar ik vind het sowieso niet zo geslaagd om de beoordeling van de beoordeling onderdeel van het cijfer te maken. Uiteindelijk gaat het om de inhoud van het vak, en hoe je die inhoud het beste kunt toetsen. Zelf vragen laten bedenken is een middel, en peer review is een manier om dat middel efficiënt in te zetten. Maar het is niet het doel...

[ESa]

 
De motivatie om alle vragen te beoordelen zal inderdaad niet groot zijn, maar dat is bij dat soort aantallen ook niet echt nodig. Waar het om gaat is dat je een voldoende aantal evaluaties hebt om statistiek op te kunnen bedrijven. Dit betekent naar mijn mening ook, testen of een beoordeling (of: de beoordelingen door een student) reëel zijn.

Hoe zou ik dit kunnen testen? Denk je dat het nuttig zou zijn om de normaal verdeling van de beoordelingen te testen en de outliers (bijv. 50% beoordeeld 1/5, 50% beoordeeld 5/5, niks ertussen in) te laten bekijken door de docent?
 
 

Maar ik vind het sowieso niet zo geslaagd om de beoordeling van de beoordeling onderdeel van het cijfer te maken. Uiteindelijk gaat het om de inhoud van het vak, en hoe je die inhoud het beste kunt toetsen. Zelf vragen laten bedenken is een middel, en peer review is een manier om dat middel efficiënt in te zetten. Maar het is niet het doel...

De reden waarom ik hieraan dacht is juist om studenten te motiveren om goed en doordacht beoordelingen te geven aan elkaars vragen. Als er geen beloning tegenover staat is het veel makkelijker om maar 5/5 te geven voor alles.
Zou dit een optie zijn: 
Studenten belonen als ze een vraag vinden waarvan de antwoord niet klopt, of die onduidelijk is gesteld/uitgelegd (ze kunnen snel literatuur, en bijbehorende pagina waar vraag op is gebaseerd er bijhouden per vraag.
- Hierdoor hoeven docenten niet meer per vraag te kijken of antwoord klopt: studenten zullen jagen op foute vragen om zelf meer punten te scoren. Punten voor het al eerst aangeven dat antwoord niet klopt, punten voor het als eerst juiste antwoord+uitleg te geven.
- Studenten zullen hierdoor kritisch naar de vragen moeten kijken en echt nadenken of de antwoord wel klopt ipv het meteen aan te nemen --> ze zullen er meer van leren
- Er zit een beloning ingebouwd om foute vragen eruit te filteren, en studenten te belonen voor hun beoordeling en tijd die ze erin steken
 
- Minpunt is wel dat dit slecht kan zijn voor de team spirit binnen een opleidingsjaar gezien dit competitie in de hand werkt. Kijkend naar dat cijfers voor tentamens meestal percentueel zijn vastgelegd is competitie eigenlijk al het geval (max 10% een 9, 20% een 8, gemiddelde een 7 etc. --> des te beter andere studenten een tentamen maken, des te lager je eigen cijfer)
 
Zijn er betere manieren waar jullie van weten om ervoor te zorgen dat studenten eerlijk gaan beoordelen?