Évaluer avec des preuves
Comment vérifier qu’une évaluation mesure les compétences visées et produit des décisions cohérentes entre évaluateurs ?
3500 € par session, HTVA
En résumé
En deux journées, soit 14 heures hors pauses, vous construisez un prototype d’évaluation aligné sur des compétences observables. L’IA générative aide à préparer épreuves, critères et rétroactions, sous contrôle humain. Vous testez la cohérence des notations, repérez les biais et formalisez un pilote avant tout déploiement.
Pourquoi cette formation ?
Une note peut masquer une épreuve mal alignée, un barème ambigu ou des exigences différentes selon les correcteurs. Ces défauts fragilisent les décisions de validation et rendent les remédiations difficiles à justifier. L’IA accélère la rédaction des situations et des grilles, mais peut introduire des réponses discutables ou des biais. La formation organise leur vérification par des preuves observables, une calibration humaine et des essais contradictoires. Cas fil rouge : L’organisation fictive Avelcor Assistance prépare ses conseillers au traitement des réclamations. Son questionnaire théorique ne démontre pas leur capacité à résoudre un dossier. Vous concevez une mise en situation, une grille et un pilote à partir de réponses entièrement fictives. Transfert au travail : Organiser ensuite une double correction sur un petit échantillon autorisé, analyser les désaccords et décider des révisions avant extension. Désigner un responsable de validation et conserver les versions successives.
Les objectifs de cette formation
- Relier chaque compétence à une preuve et une épreuve
- Construire un barème à niveaux observables
- Vérifier les propositions produites avec l’IA
- Mesurer les écarts entre deux correcteurs
- Formaliser un protocole de pilote et ses règles de décision
Pour qui et avec quels prérequis ?
Rôles et tâches concernés
- Responsables pédagogiques et ingénieurs de formation concevant des évaluations
- Référents métier et responsables qualité chargés de valider les acquis
Compétences préalables
- Savoir structurer et vérifier une demande à une IA générative
- Avoir déjà conçu une activité pédagogique ou corrigé une évaluation
- Savoir calculer des proportions dans un tableur
Ce que vous travaillerez
Cadrer la décision
Objectif : Délimiter ce que l’évaluation permet de conclure. Diagnostic, formatif, sommatif ; conséquences d’une erreur.
Définir les preuves
Objectif : Rendre les compétences vérifiables. Alignement, couverture, comportements et traces.
Choisir les épreuves
Objectif : Éviter de mesurer seulement la mémorisation. Authenticité, difficulté, conditions de passation.
Prototyper avec l’IA
Objectif : Produire des situations contrôlables. Contexte fourni, contraintes, vérification des corrigés.
Construire le barème
Objectif : Expliciter les niveaux de maîtrise. Descripteurs, pondérations, erreurs critiques, seuils justifiés.
Examiner l’équité
Objectif : Repérer les obstacles étrangers aux compétences. Biais linguistiques, accessibilité, usage autorisé de l’IA.
Calibrer les correcteurs
Objectif : Comparer les interprétations du barème. Double correction indépendante et arbitrage.
Mesurer la robustesse
Objectif : Identifier les critères instables. Accord exact, écarts absolus, limites d’un petit échantillon.
Préparer les rétroactions
Objectif : Rendre la décision explicable. Preuves, remédiation, recours et validation humaine.
Planifier le pilote
Objectif : Conditionner l’extension aux résultats du test. Échantillon, indicateurs, seuils, conservation des traces.
Ce que vous emportez
- Matrice compétences, preuves et épreuves
- Prototype d’évaluation avec consignes, corrigé et grille
- Rapport de tests et journal des révisions
- Plan de pilote avec responsabilités et indicateurs
Méthode et évaluation
- Apports courts suivis de pratique immédiate sur le cas fil rouge.
- Travail individuel puis en binômes, avec relecture croisée des productions.
- Mise en commun guidée : ce qui fonctionne, ce qui doit être corrigé, ce qui reste une décision humaine.
- Préparation : Apporter un référentiel et une évaluation anonymisés, ou utiliser le dossier fictif fourni. Vérifier les outils autorisés par l’organisation et les règles de transmission des données.
Critères observables : Chaque compétence visée correspond à une preuve observable. ; Chaque niveau du barème comporte des descripteurs distincts. ; Les écarts de double correction sont calculés et expliqués. ; Les contenus générés sont vérifiés contre le référentiel. ; Le pilote précise seuils, responsabilités et conditions de révision..
Questions fréquentes
L’IA attribue-t-elle la note finale ?
Non : les propositions éventuelles restent vérifiées ; la décision appartient à un évaluateur habilité.
Peut-on utiliser des copies réelles ?
Seulement anonymisées, selon les règles internes et dans les outils autorisés.
Le test prouve-t-il une validité définitive ?
Non : il repère des fragilités ; des essais complémentaires restent nécessaires.
Faut-il un outil spécialisé ?
Un assistant autorisé, un tableur et des documents partagés suffisent au prototype.
Dernière mise à jour :