Pré/post-évaluation

Niveau 2 de Kirkpatrick : apprentissage. Administrer avant la séance 1 et après la séance 3. Utiliser des exemples de scénarios différents au post-test (mêmes concepts). Des codes détenus par les participants relient les réponses sans noms.

Référence : Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick’s Four Levels of Training Evaluation. ATD Press.

Voir aussi : formulaire d’évaluation de séance (niveau 1 de Kirkpatrick : réaction) et suivi de transfert à 30 jours (niveau 3 de Kirkpatrick : comportements autodéclarés). Le niveau 4 (résultats organisationnels) dépasse la portée de ce kit.

Partie A : Scénarios de performance (mesure principale)

Noter chaque scénario avec la grille de compétences à quatre points (maximum 4 points par scénario). Indicateur principal de maîtrise : score total de la grille sur l’ensemble de scénarios de sortie.

Scénario de pré-test (concept séance 1)

Extrait de cas synthétique : Un brouillon SMS dit « La route B est ouverte. Toutes les entrées sont de plain-pied. Allez-y maintenant. » Le bulletin dit « Statut de la route B non confirmé. Seule l’entrée E est de plain-pied. Attendre l’alerte autorisée. »

Total pré-test (0 à 4) :

Scénario de post-test (concept séance 3)

Brief synthétique : Un partenaire offre une plateforme d’analytique IA pour un jeu de données d’inscription de 2 400 ménages avec noms et indicateurs de vulnérabilité. Votre organisation ne dispose pas de cadre de gouvernance de l’IA.

Total post-test (0 à 4) :

Cible de maîtrise organisationnelle (exemple) : 4/4 au scénario de post-test, ou amélioration de 2+ points des échantillons appariés pré à post.

Partie B : Auto-efficacité (mesure secondaire)

Utiliser une échelle de 5 points : 1 = ne se sent pas du tout confiant, 5 = très confiant.

1. Je peux décider quand l’IA est appropriée pour une tâche de travail.
2. Je peux vérifier une sortie d’IA contre une source fiable.
3. Je peux protéger les données sensibles lors de l’utilisation d’outils numériques.
4. Je peux expliquer ma décision d’utilisation de l’IA à un collègue ou un gestionnaire.
5. Je peux identifier quand escalader vers la vie privée, la protection ou l’informatique.

Rapporter la moyenne et la distribution. Traiter comme secondaire par rapport aux scores de la grille. Une hausse de 0,5 point ou davantage peut indiquer une confiance accrue, mais elle ne constitue pas une preuve de changement de comportement au travail.

Partie C : Items de connaissances (supplémentaire, 12 items)

Vérification à choix multiples optionnelle. Noter 1 point par item correct. Utiliser des énoncés différents au post-test.

Exemples d’items de pré-test

1. Données : Un collègue veut coller des noms de bénéficiaires dans un clavardbot en ligne gratuit pour rédiger une lettre. Quelle est la meilleure première réponse?
   • 1. Arrêter et vérifier si l’outil est approuvé pour les données personnelles ✓
   • 2. L’aider à écrire une meilleure consigne
   • 3. Anonymiser seulement les noms de famille
   • 4. Procéder si le clavardage est supprimé ensuite
2. Vérification : Un résumé IA dit « 78 % des ménages n’ont pas d’eau potable. » Que devez-vous faire avant d’utiliser ce chiffre?
   • 1. L’arrondir à 80 % pour davantage de clarté
   • 2. Le croire s’il semble raisonnable
   • 3. Trouver la source originale et vérifier la date ✓
   • 4. Ajouter une note de bas de page « généré par l’IA »
3. Traduction : Une alerte SMS en français dit que les routes sont ouvertes alors que la source anglaise dit qu’elles sont fermées. Quel est le risque prioritaire?
   • 1. Erreurs d’orthographe
   • 2. Ton inapproprié
   • 3. Limite de caractères
   • 4. Négation omise ou inversée touchant la sécurité ✓
4. Contrôle humain : Qui est responsable lorsque l’IA soutient une décision sur l’admissibilité à l’aide?
   • 1. Le fournisseur d’IA
   • 2. Un décideur organisationnel nommé ✓
   • 3. La personne qui a tapé la consigne
   • 4. Personne si le score de confiance de l’IA est élevé
5. Outil : Votre organisation ne dispose pas d’outil d’IA générative approuvé. Un membre du personnel en utilise un pour des notes de réunion internes. Meilleure classification?
   • 1. Ambre ✓
   • 2. Vert
   • 3. Rouge
   • 4. Vert si les notes sont supprimées
6. Protection : Un clavardbot indique à un bénéficiaire où retirer une aide en espèces. L’emplacement est erroné. Préjudice principal?
   • 1. Embarras
   • 2. Coût de voyage supplémentaire seulement
   • 3. Atteinte à l’image de marque
   • 4. Exclusion ou risque pour la sécurité en agissant sur de fausses informations ✓
7. Objectif : On propose d’utiliser l’IA pour rédiger un rapport aux donateurs à partir des dossiers de l’année dernière. Première question?
   • 1. Quel modèle est le meilleur?
   • 2. Pouvons-nous finir vendredi?
   • 3. Quelle est l’alternative manuelle et l’IA est-elle nécessaire? ✓
   • 4. Quel modèle de consignes est recommandé?
8. Gouvernance : Un outil d’IA pilote classera les appels entrants. Étape minimale de gouvernance?
   • 1. Acheter la licence la moins chère
   • 2. Définir la réussite, le seuil d’échec, l’annulation humaine et le plan de sortie ✓
   • 3. Former tout le personnel aux consignes
   • 4. Publier un communiqué de presse
9. Partage : Un partenaire vous demande de téléverser une feuille de calcul partagée dans un outil d’IA qu’il fournit. Vous devriez :
   • 1. Téléverser si le partenaire insiste
   • 2. Téléverser seulement les lignes sans noms
   • 3. Refuser tous les outils des partenaires
   • 4. Vérifier l’approbation de votre organisation et l’accord de partage de données ✓
10. Biais : Un résumé de besoins généré par l’IA mentionne seulement les zones urbaines. Quel principe s’applique?
    • 1. Omission nuisible et exclusion ✓
    • 2. Efficacité
    • 3. Qualité de traduction
    • 4. Récupération des coûts
11. Suivi : Quand devez-vous arrêter d’utiliser un outil d’IA approuvé?
    • 1. Jamais, s’il a été approuvé une fois
    • 2. Seulement à l’expiration de la licence
    • 3. Quand il échoue à un seuil fixé, les conditions changent ou un préjudice est signalé ✓
    • 4. Quand un nouveau modèle est lancé
12. Responsabilité : Un jeu de rôles en classe sur la consultation des personnes touchées est :
    • 1. Un substitut à une vraie consultation
    • 2. Juridiquement suffisant
    • 3. Un exercice seulement; il ne remplace pas la consultation des personnes touchées ✓
    • 4. Identique à une réunion communautaire

Post-test

Remplacer les exemples (p. ex. note de passation, note de protection, présentation du fournisseur) tout en testant les mêmes concepts. Changer les distracteurs. Ne réutilisez pas des énoncés identiques.

Guide de notation

Comment interpréter les résultats avec de petits échantillons

• Petit n (15 à 40) : Les agrégats sont informatifs pour votre cohorte; l’analyse par sous-groupe ne constitue pas une base fiable. Rapporter n pour chaque indicateur.
• Apparié vs non apparié : Rapporter combien de participants ont complété les deux ensembles de scénarios pré et post. Ne imputez pas les scores manquants.
• Pas de causalité : Pré/post sans groupe témoin montre une association après la formation; cela ne constitue pas une preuve que la formation a causé le changement.
• Confiance vs performance : L’auto-efficacité peut augmenter sans amélioration des scores de la grille. Ne menez pas les rapports avec la confiance seule; menez-les avec la performance des scénarios, ne constitue pas la mesure principale.
• Transfert au travail : L’auto-déclaration de suivi est un contexte optionnel; elle ne constitue pas un impact vérifié.
• Utiliser les résultats de façon constructive : Des scores de grille faibles après la formation signalent où renforcer (vérification, contrôle humain ou gouvernance); ils ne constituent pas l’échec des participants.

Vie privée

Stocker des codes anonymes seulement. Ne collectez pas de noms sur le même formulaire que les réponses aux scénarios sauf si votre organisation a un processus de consentement distinct.

Télécharger cette page en PDF accessible