Evalueren op basis van bewijs
Hoe controleert u of een evaluatie de beoogde competenties meet en tot consistente beslissingen tussen beoordelaars leidt?
3500 € per sessie, excl. btw
Samengevat
In twee dagen, goed voor 14 uur exclusief pauzes, bouwt u een evaluatieprototype dat afgestemd is op observeerbare competenties. Generatieve AI helpt om proeven, criteria en feedback voor te bereiden, onder menselijk toezicht. U test de consistentie van de scores, spoort vertekeningen op en werkt een proefproject uit vóór enige uitrol.
Waarom deze opleiding?
Een score kan een slecht afgestemde proef, een onduidelijk beoordelingsschema of uiteenlopende eisen van beoordelaars verhullen. Deze tekortkomingen ondermijnen beslissingen over het behalen van competenties en maken remediëring moeilijk te verantwoorden. AI versnelt het opstellen van situaties en beoordelingsroosters, maar kan betwistbare antwoorden of vertekeningen introduceren. De opleiding organiseert de controle ervan aan de hand van observeerbaar bewijsmateriaal, menselijke kalibratie en kritische tegensprekelijke tests. Doorlopende casus: De fictieve organisatie Avelcor Assistance bereidt haar adviseurs voor op de behandeling van klachten. Haar theoretische vragenlijst toont niet aan dat zij een dossier kunnen oplossen. U ontwerpt een praktijksimulatie, een beoordelingsrooster en een proefproject op basis van volledig fictieve antwoorden. Toepassing op het werk: Organiseer vervolgens een dubbele beoordeling van een kleine, toegestane steekproef, analyseer de meningsverschillen en bepaal welke aanpassingen nodig zijn vóór uitbreiding. Wijs een verantwoordelijke voor de validatie aan en bewaar de opeenvolgende versies.
De doelstellingen van deze opleiding
- Elke competentie koppelen aan bewijsmateriaal en een proef
- Een beoordelingsschema met observeerbare niveaus opstellen
- De met AI opgestelde voorstellen controleren
- De verschillen tussen twee beoordelaars meten
- Een protocol voor een proefproject en de bijbehorende beslisregels vastleggen
Voor wie en met welke voorkennis?
Betrokken rollen en taken
- Onderwijsverantwoordelijken en opleidingsontwerpers die evaluaties ontwikkelen
- Vakinhoudelijke aanspreekpunten en kwaliteitsverantwoordelijken die de verworven competenties moeten valideren
Vereiste voorkennis
- Een opdracht aan een generatieve AI kunnen structureren en controleren
- Al een leeractiviteit ontworpen of een evaluatie beoordeeld hebben
- Verhoudingen kunnen berekenen in een rekenblad
Waaraan u werkt
De beslissing afbakenen
Doel: Afbakenen welke conclusies de evaluatie toelaat. Diagnostisch, formatief, summatief; gevolgen van een fout.
Het bewijsmateriaal definiëren
Doel: Competenties verifieerbaar maken. Afstemming, dekking, gedragingen en sporen.
De proeven kiezen
Doel: Vermijden dat uitsluitend het memoriseren wordt gemeten. Authenticiteit, moeilijkheidsgraad, afnamevoorwaarden.
Een prototype maken met AI
Doel: Controleerbare situaties ontwikkelen. Aangeleverde context, randvoorwaarden, controle van de modelantwoorden.
Het beoordelingsschema opstellen
Doel: De beheersingsniveaus expliciet maken. Niveaubeschrijvingen, wegingen, kritieke fouten, onderbouwde drempelwaarden.
De billijkheid onderzoeken
Doel: Obstakels opsporen die losstaan van de competenties. Taalkundige vertekeningen, toegankelijkheid, toegestaan gebruik van AI.
De beoordelaars kalibreren
Doel: Interpretaties van het beoordelingsschema vergelijken. Onafhankelijke dubbele beoordeling en arbitrage.
De robuustheid meten
Doel: Instabiele criteria identificeren. Exacte overeenstemming, absolute verschillen, beperkingen van een kleine steekproef.
De feedback voorbereiden
Doel: De beslissing uitlegbaar maken. Bewijsmateriaal, remediëring, beroep en menselijke validatie.
Het proefproject plannen
Doel: Uitbreiding afhankelijk maken van de testresultaten. Steekproef, indicatoren, drempelwaarden, bewaring van registraties.
Wat u meeneemt
- Matrix van competenties, bewijsmateriaal en proeven
- Evaluatieprototype met instructies, modelantwoorden en beoordelingsrooster
- Testverslag en revisielogboek
- Plan voor een proefproject met verantwoordelijkheden en indicatoren
Methode en evaluatie
- Korte theoretische toelichtingen, onmiddellijk gevolgd door praktijkoefeningen op de doorlopende casus.
- Individueel werk, vervolgens werk in duo’s, waarbij de deelnemers elkaars resultaten nalezen.
- Begeleide gezamenlijke bespreking: wat werkt, wat moet worden verbeterd en wat een menselijke beslissing blijft.
- Voorbereiding: Breng een geanonimiseerd referentiekader en een geanonimiseerde evaluatie mee, of gebruik het verstrekte fictieve dossier. Controleer welke tools uw organisatie toestaat en welke regels gelden voor gegevensoverdracht.
Observeerbare criteria: Elke beoogde competentie komt overeen met observeerbaar bewijs. ; Elk niveau van de beoordelingsschaal bevat duidelijk onderscheiden beschrijvingen. ; Verschillen bij dubbele beoordeling worden berekend en verklaard. ; De gegenereerde inhoud wordt getoetst aan het referentiekader. ; Het pilootproject specificeert drempelwaarden, verantwoordelijkheden en voorwaarden voor herziening..
Veelgestelde vragen
Kent AI de eindscore toe?
Nee: eventuele voorstellen worden steeds gecontroleerd; de beslissing ligt bij een bevoegde beoordelaar.
Mogen we echt ingediend werk gebruiken?
Alleen in geanonimiseerde vorm, volgens de interne regels en met de toegestane tools.
Bewijst de test dat de evaluatie definitief valide is?
Nee: de test brengt zwakke punten aan het licht; aanvullende tests blijven noodzakelijk.
Is een gespecialiseerde tool nodig?
Een toegestane assistent, een spreadsheet en gedeelde documenten volstaan voor het prototype.
Laatst bijgewerkt: