Best practices: tools voor digitaal toetsen

In SURFmagazine van maart 2013 wordt aandacht besteed aan verschillende tools voor digitaal toetsen die zijn ontwikkeld in het kader van het SURF-programma Toetsing en Toetsgestuurd Leren.

In het artikel wordt o.a. Jos Speetjens (Fontys Hogescholen) geïnterviewd over het Self Organizing Assessment Program (SOAP). Speetjens: “We hebben een online platform ontwikkeld, waarop studenten hun eigen toetsvragen kunnen formuleren. Uitgangspunt is dat studenten de stof goed beheersen als ze zelf goede toetsvragen weten te bedenken. ”

Klik hier om het artikel in SURFmagazine te lezen (p. 4 en 5).

Meer informatie over de tools is te vinden op SURF.nl.

YouTube Channel: ASCpsychometrics

De Assessment Systems Corporation (ASC) heeft via een YouTube-kanaal enkele instructiefilms gepubliceerd, waarin uitleg wordt gegeven over het gebruik van hun software maar ook over algemene psychometrische concepten.

Op het YouTube kanaal zijn tot nu toe de volgende filmpjes geplaatst:

  • Best practices in writing test items (27:50 min.)
  • Item response theory with Xcalibre 4.1 (14:08 min.)
  • Interpreting classical test theory analysis – Iteman 4 output (14:51 min.)
  • Running classical test theory analysis with Iteman (10:20 min.)

Klik hier om naar het ASCpsychometrics YouTube-kanaal te gaan.

Using selected indices to monitor cheating on multiple-choice exams

Psychometrische software om toetsen en toetsvragen te analyseren is in eerste instantie bedoeld om standaardgegevens zoals betrouwbaarheid, P-waarden, Rit-waarden en Rar-waarden te genereren. Daarnaast is er vaak de mogelijkheid om de cesuur te bepalen, cijfers te genereren e.d.

In sommige softwareprogramma’s is ook de mogelijkheid aanwezig om te onderzoeken of studenten mogelijk afkijken. Het idee achter deze software is om te ontdekken of er bij paren van studenten overeenkomstige antwoordpatronen aanwezig zijn.

In een artikel uit 2006 in het Thai Journal of Educational Research and Measurement gaat Larry R. Nelson in op een aantal methoden om deze patronen te vinden en te herkennen. Nelson benoemt verschillende softwareprogramma’s die zulke analyses kunnen uitvoeren en hij bespreekt de waarde van de gevonden gegevens.

Klik hier om het artikel van Nelson als PDF te lezen op de website van Curtin University of Technology.

Toetsgestuurd leren en learning analytics

In het septembernummer van het blad OnderwijsInnovatie (Open Universiteit) staat een artikel van Dirk Tempelaar e.a. over toetsgestuurd leren en learning analytics.

“Deze praktische bijdrage beschrijft een voorbeeld van de rol die computergestuurde, formatieve toetsing en daarop gebaseerde toepassing van learning analytics kan hebben. De gegevens in dit artikel zijn ontleend aan één van de onderwijsprojecten uit ONBETWIST, dat onderdeel uitmaakt van het SURFprogramma ‘Toetsing en Toetsgestuurd Leren’. Het combineren van gebruiksgegevens van de oefenomgevingen, studiesuccesgegevens en achtergronddata over de studenten maakt het mogelijk te identificeren welke studenten het meest baat hebben bij intensief gebruik van de oefenomgevingen.”

Het artikel is te vinden in het septembernummer van Onderwijsinnovatie (pagina 17 t/m 26).

Digitaal toetsen op de TU Delft

Op de website Collegerama is een presentatie beschikbaar die Meta Keijzer-de Ruijter op 15 juni 2010 heeft gehouden over digitaal toetsen op de Technische Universiteit Delft.

Keijzer-de Ruijter bespreekt verschillende aspecten van digitaal toetsen, waaronder verschillende toetsvormen, de toetssystemen die gebruikt worden op de TU en de voor- en nadelen van digitaal toetsen.

Klik hier om de presentatie te bekijken.

Assessments Through the Learning Process

In 2004 is een Questionmark White Paper verschenen: ‘Assessments through the learning process’ van Eric Shepherd en Janet Godwin.

In dit artikel wordt onderzocht hoe docenten en organisaties (digitale) toetsen kunnen gebruiken om het leerproces te verbeteren. Enkele van de onderwerpen die behandeld worden zijn:

  • Het onderscheid tussen verschillende soorten toetsen
  • Het ontwikkelen van effectieve toetsen
  • Het analyseren van de toetsresultaten

Klik hier om het artikel te lezen, als PDF via de website van Northern Illinois University.

Item analysis

jMetrik is een open source applicatie voor toetsanalyse, ontwikkeld door de J. Patrick Meyer van de University of Virginia.

jMetrik biedt klassieke en moderne psychometrische methodes voor item analyse, item response theory en test equating.

Ga voor meer informatie of om de software te downloaden naar www.itemanalysis.com.

“Iets” over digitaal toetsen

Sander Schenk schreef op 24 juni 2012 op zijn blog “iets” over digitaal toetsen. Hij bespreekt enkele aandachtspunten, zoals de vuistregels voor vraagconstructie, randomisatie en betrouwbaarheid, en de omvang van een vragenbank. [www.sanderschenk.nl]

ITEMS: The instructional topics in educational measurement series

Het tijdschrift Educational Measurement: Issues and Practices van de Amerikaanse National Council on Measurement in Education (NCME) publiceert sinds 1987 de serie ITEMS.

Het doel van ITEMS is het verbeteren van het begrip van toetsprincipes door het aanbieden van korte instructies over actuele onderwerpen in het veld. Deze modules zijn ontworpen voor gebruik door zowel docenten als studenten.

De ITEMS kunnen als PDF gedownload worden via de NCME-website.

Eindadvies en presentaties Idem Dito

Op 12 juni vond de slotbijeenkomst van het project Idem Dito van de Rijksuniversiteit Groningen plaats. (Zie ook: RUG selectert vier pakketten voor pilots.)

Tijdens een rondleiding door de Aletta Jacobshal werd het eindadvies over de selectie en inrichting van een digitaal toetssysteem aan de RUG overhandigd aan de voorzitter van het College van Bestuur. Daarna spraken docenten en andere betrokkenen over de toepassing van digitale toetsing aan de RUG.

De tekst van het eindadvies en opnames van de presentaties zijn terug te vinden op de site van de RUG. [Idem Dito]