Observeerbare criteria en niveaus

Hoe gebruikt u AI om een rubriek op te stellen die leerresultaten onderscheidt en verschillen tussen beoordelaars beperkt?

1250 € per sessie, excl. btw

Samengevat

In een halve dag van 3 uur gebruiken de deelnemers generatieve AI om leerdoelen om te zetten in observeerbare criteria, beheersingsniveaus te beschrijven en een puntenverdeling te testen. Ze vertrekken met een gedocumenteerde beoordelingsrubriek, die is bijgestuurd na vergelijking van beoordelingen van fictief werk.

Waarom deze opleiding?

Een criterium zoals ‘kwaliteit van het antwoord’ laat te veel ruimte voor interpretatie. Door het verwachte bewijsmateriaal en de beheersingsniveaus vast te leggen, wordt het eenvoudiger om een score toe te lichten, nuttige feedback te geven en leerresultaten te herkennen die nog onvoldoende stevig verankerd zijn. AI kan criteria voorstellen en descriptoren herformuleren, maar ook eisen toevoegen die niet in de opdracht staan. De opleiding leert deelnemers om die afstemming te controleren en de rubriek te toetsen aan werkstukken, in plaats van de eerste versie zomaar te aanvaarden. Doorlopende casus: De fictieve organisatie Avelune Pédagogie moet een oefening beoordelen waarbij een schriftelijk antwoord op een klacht wordt opgesteld. Twee beoordelaars interpreteren de relevantie van de voorgestelde oplossing verschillend. De deelnemers stellen een gemeenschappelijke rubriek op en testen die vervolgens op drie fictieve antwoorden met duidelijk verschillende beheersingsniveaus. Toepassing op het werk: Pas bij een volgende beoordeling de rubriek aan een reëel leerdoel aan, anonimiseer de werkstukken en laat enkele werkstukken door twee beoordelaars beoordelen. Noteer de meningsverschillen, verduidelijk de betrokken descriptoren en dateer de gekozen versie voordat u die ruimer gebruikt.

De doelstellingen van deze opleiding

  • Observeerbare criteria afleiden uit een leerdoel.
  • Met AI vier duidelijk onderscheiden beheersingsniveaus beschrijven.
  • Punten toekennen in verhouding tot het belang van de beoordeelde leerresultaten.
  • Twee beoordelingen vergelijken en dubbelzinnige descriptoren herkennen.
  • De rubriek herzien en de aangebrachte wijzigingen verantwoorden.

Voor wie en met welke voorkennis?

Betrokken rollen en taken

  • Onderwijskundig ontwerpers die beoordelingen van schriftelijk werk voorbereiden.
  • Opleiders en opleidingsverantwoordelijken die hun beoordelingscriteria op elkaar willen afstemmen.

Vereiste voorkennis

  • Al eerder een prompt hebben geformuleerd en aangepast in een generatieve AI-assistent.
  • Een leerdoel kunnen onderscheiden van een oefenopdracht.

Waaraan u werkt

  1. Doelen en bewijsmateriaal met elkaar verbinden

    Doel: Afbakenen wat de rubriek daadwerkelijk moet meten. Verschillen tussen doel, criterium, indicator en bewijsmateriaal; uitsluiten van verwachtingen die niet in de opdracht zijn vermeld.

  2. Beheersingsniveaus beschrijven

    Doel: Descriptoren verkrijgen die bruikbaar zijn bij het beoordelen. Gestructureerde prompt: doel, opdracht, criteria, niveaus en formaat; controle op verzonnen toevoegingen en vage formuleringen.

  3. Een uitlegbare puntenverdeling opstellen

    Doel: De berekening en toekenning van punten transparant maken. Weging van criteria, optellen van punten, ontbrekend bewijsmateriaal en risico’s op dubbeltelling.

  4. Beoordelingen naast elkaar leggen

    Doel: De omvang van dubbelzinnigheden vaststellen en de rubriek bijsturen. Onafhankelijk beoordelen, vergelijken per criterium, onderbouwen met bewijsmateriaal en wijzigingen traceerbaar vastleggen.

Wat u meeneemt

  • Afstemmingstabel voor doelen, bewijsmateriaal en criteria.
  • Rubriek met vier niveaus, descriptoren en puntenverdeling.
  • Vergelijkend overzicht van de beoordelingen en onderbouwde correcties.
  • Gebruiksinstructies en herbruikbare AI-prompt.

Methode en evaluatie

  • Korte toelichtingen, onmiddellijk gevolgd door praktijkoefeningen met de doorlopende casus.
  • Eerst individueel werken, daarna in duo’s, met wederzijdse feedback op het gemaakte werk.
  • Begeleide gezamenlijke bespreking: wat werkt, wat moet worden bijgestuurd en wat een menselijke beslissing blijft.
  • Voorbereiding: Bereid een fictief of geanonimiseerd leerdoel en een fictieve of geanonimiseerde opdracht voor; indien nodig wordt een gemeenschappelijke casus aangereikt. Controleer de toegang tot een door de organisatie toegelaten AI-tool en tot een toepassing waarmee u een tabel kunt bewerken.

Observeerbare criteria: Elk criterium verwijst naar bewijsmateriaal dat in het verwachte werk terug te vinden is. ; De vier niveaus beschrijven observeerbare verschillen, zonder louter waarderende bijvoeglijke naamwoorden. ; De puntenverdeling komt uit op het aangekondigde totaal en voorkomt dat hetzelfde leerresultaat tweemaal wordt beoordeeld. ; Verschillen in beoordeling worden per criterium genoteerd en gekoppeld aan een beslissing tot herziening. ; De instructies verduidelijken hoe ontbrekend bewijsmateriaal moet worden behandeld en hoe de toegekende punten moeten worden verantwoord..

Veelgestelde vragen

Kent AI de eindscore toe?

Nee. AI helpt de rubriek op te stellen; de beoordelaar controleert het bewijsmateriaal en blijft verantwoordelijk voor de beoordeling.

Mag u echte werkstukken gebruiken?

Alleen na daadwerkelijke anonimisering en volgens de regels van de organisatie; de oefeningen gebruiken bij voorkeur fictief werk.

Is een puntenverdeling op twintig verplicht?

Nee. Die wordt gebruikt voor de praktijkcasus; een beschrijvende schaal kan geschikt zijn voor een formatieve beoordeling.

Is de rubriek geschikt voor alle oefeningen?

Nee. Bij elke nieuwe opdracht moeten het verwachte bewijsmateriaal, de criteria en de niveaus worden gecontroleerd.

Laatst bijgewerkt: