sciencetalk

ESa schreef: Hoe zou ik dit kunnen testen? Denk je dat het nuttig zou zijn om de normaal verdeling van de beoordelingen te testen en de outliers (bijv. 50% beoordeeld 1/5, 50% beoordeeld 5/5, niks ertussen in) te laten bekijken door de docent?
 

 
Ik zou per student de correlatie tussen zijn/haar beoordelingen en de andere beoordelingen van die opgave testen. Hoe je dat statistisch verantwoord doet weet ik overigens niet. Maar mijn idee is: bij  een student die alleen maar 5, alleen maar 3, of alleen maar 1, of steeds willekeurige scores geeft, zal er geen correlatie zijn. Bij een student die op een serieuze manier beoordeelt, zal er altijd enige mate van correlatie zijn.
 
Een lage correlatie zal niet automatisch betekenen dat de student maar wat klikt, maar kan wel reden zijn om er eens naar te kijken. En omgekeerd hoeft een goede correlatie niet automatisch te betekenen dat een student alles netjes heeft beoordeeld, maar goed, je kunt niet alles uitsluiten. Sowieso bereik je al veel door aan te geven dát je controleert of beoordelingen realistisch zijn ingevuld. En hoe dan ook moet je de eerlijkheid van mensen niet onderschatten. Niemand vindt het prettig als een ander onterecht een hoog cijfer haalt, dus automatisch allemaal hoge scores geven gebeurt echt niet zomaar. En iedereen herkent het belang van realistische beoordelingen, omdat mede daarmee een kwalitatief goede verzameling oefenopgaven tot stand komt.
 
Een andere manier van beoordelen (die het misschien zelfs makkelijker maakt om eerlijke beoordelingen te krijgen en om "fraude" op te sporen) is om de studenten gewoon een rangschikking te laten maken van de opgaven die zij beoordelen. De beste krijgt plaats 1, de slechtste plaats 5, enzovoort.
 
Maar goed, zoals ik al zei, ga uit van de bereidheid en oprechtheid van de deelnemers. Als die er niet is, strandt sowieso dit hele project. Daar helpt geen enkel systeem tegen. Ik vraag me zelfs af of mensen met een dergelijke mentaliteit wel thuishoren op een opleiding geneeskunde. Wat moet je nou met iemand die, als hij niet door een ander wordt gecontroleerd, maar willekeurig wat doet, zonder zich druk te maken over de gevolgen daarvan voor een ander? Die zou ik niet graag in me laten snijden of een behandelplan laten opstellen...

Marko schreef: Maar goed, zoals ik al zei, ga uit van de bereidheid en oprechtheid van de deelnemers. Als die er niet is, strandt sowieso dit hele project. Daar helpt geen enkel systeem tegen. Ik vraag me zelfs af of mensen met een dergelijke mentaliteit wel thuishoren op een opleiding geneeskunde. Wat moet je nou met iemand die, als hij niet door een ander wordt gecontroleerd, maar willekeurig wat doet, zonder zich druk te maken over de gevolgen daarvan voor een ander? Die zou ik niet graag in me laten snijden of een behandelplan laten opstellen...

 
Denk je dat andere docenten ook op de eerlijkheid van studenten zullen vertrouwen? Stel de beoordeling van vragen wordt volledig gedaan door de studenten (per student 5 a 10 vragen laten beoordelen), en docenten spenderen dus niet of nauwelijks tijd hieraan. Zou dit er toe lijden dat docenten die tot nu toe geen "question assignments" als opdracht geven dit voortaan wel zullen doen? 
 
Ik vroeg mij eigenlijk ook nog af of jullie op dit moment al tijdens het doceren question assignments gebruiken? Is er een toegevoegde waarde van dit soort opdrachten volgens jullie?
Zou het platform waar ik mogelijk mee start (met student evaluaties) het proces verbeteren voor jullie, of indien jullie nog niet dit soort opdrachten geven ervoor zorgen dat jullie dit soort assignments zullen gebruiken? Zijn er nog elementen dat opgelost moet worden voordat het bruikbaar is, naast het ontwikkelen van een efficiënte en betrouwbare manier van vragen laten beoordelen?

ESa schreef:  
Denk je dat andere docenten ook op de eerlijkheid van studenten zullen vertrouwen? Stel de beoordeling van vragen wordt volledig gedaan door de studenten (per student 5 a 10 vragen laten beoordelen), en docenten spenderen dus niet of nauwelijks tijd hieraan. Zou dit er toe lijden dat docenten die tot nu toe geen "question assignments" als opdracht geven dit voortaan wel zullen doen? 
 

 
Ik weet niet of die docenten daarop vertrouwen. Maar dat is toch altijd de kwestie? Als je alles in de hand wil houden kost het veel tijd, als je tijd wil besparen moet je dingen los durven laten. Of een docent zijn manier van toetsen zal aanpassen weet ik niet, maar als je degenen die hier al gebruik van maken vooruit helpt (omdat het tijd bespaart en extra oefenopgaven oplevert) heb je toch ook een hoop bereikt?

Ik ben het met je eens Marko, de reden waarom ik het vraag is omdat ik nog niet weet of er voldoende docenten/studenten zijn die dit zullen steunen.
 
Ik zal real-life het veld in gaan om docenten en studenten te vragen wat ze van het opzet vinden. Hier op het forum hoor ik natuurlijk ook heel graag wat jullie vinden van peer-feedback gebruiken voor het beoordelen van vragen. Eerder genoemde functionaliteiten zoals het moeten aangeven van literatuur bron (specifiek deel/alinea waarop vraag berust is),en studenten maar 5 a 10 vragen laten reviewen etc. zal er natuurlijk ook in verwerkt worden.