Évaluer les injections malveillantes

Comment vérifier qu’un assistant respecte ses règles malgré des instructions malveillantes introduites dans ses entrées ?

1960 € par session, HTVA

En résumé

Une journée de 7 heures hors pauses pour intégrer les injections de prompt dans une recette produit. À partir d’un assistant documentaire fictif, les participants définissent les comportements attendus, exécutent une campagne autorisée, qualifient les écarts et comparent les résultats après correction, sans confondre réussite ponctuelle et robustesse démontrée.

Pourquoi cette formation ?

Un assistant documentaire peut traiter une consigne contenue dans une notice comme une instruction légitime. Les tests fonctionnels habituels ne suffisent pas à détecter cette confusion entre données consultées et règles de fonctionnement. Une campagne structurée permet de distinguer une déviation observable, une réponse simplement incorrecte et un test non concluant. Elle fournit aux équipes produit et sécurité des preuves contextualisées pour prioriser les corrections. Cas fil rouge : L’organisation fictive Sovalune Connectique utilise un assistant pour répondre aux demandes de maintenance à partir de notices. Une notice altérée cherche à modifier ses réponses et à lui faire révéler un marqueur confidentiel fictif. L’équipe produit doit qualifier le risque avant une nouvelle version. Transfert au travail : Reprendre la matrice dans une recette autorisée, attribuer chaque anomalie à un responsable et rejouer les cas prioritaires après toute modification du modèle, des instructions ou du corpus documentaire.

Les objectifs de cette formation

• Cartographier les entrées exposées et leurs frontières de confiance
• Rédiger des cas d’injection avec résultats attendus vérifiables
• Exécuter une campagne reproductible dans un environnement autorisé
• Qualifier les écarts selon leur impact métier
• Comparer la résistance et l’utilité avant et après correction

Pour qui et avec quels prérequis ?

Rôles et tâches concernés

• Responsables produit et analystes métier intégrant un assistant documentaire
• Équipes QA, recette et sécurité applicative évaluant des usages d’IA générative

Compétences préalables

• Savoir structurer des instructions et utiliser régulièrement un assistant génératif.
• Connaître les principes de recette logicielle et le parcours documentaire testé.

Ce que vous travaillerez

1. Délimiter la recette sécurité

   Objectif : Définir le périmètre autorisé et les dommages recherchés. Injection versus erreur factuelle ; autorisations, environnement isolé, conditions d’arrêt et données interdites.

2. Repérer les frontières de confiance

   Objectif : Identifier où une donnée pourrait devenir une consigne. Instructions applicatives, messages utilisateur, documents récupérés ; injections directes et indirectes.

3. Construire les cas adversariaux

   Objectif : Produire un corpus évaluable et équilibré. Usurpation d’autorité, détournement de tâche, tentative de divulgation ; témoins bénins et critères de verdict.

4. Exécuter et documenter

   Objectif : Recueillir des observations comparables. Sessions indépendantes, configuration consignée, répétitions fixées, traces expurgées ; absence d’actions externes réelles.

5. Comparer après correction

   Objectif : Évaluer les progrès sans masquer les régressions. Séparation instructions/données, limitation des droits, validation humaine ; limites des protections uniquement textuelles.

6. Arbitrer les anomalies

   Objectif : Transformer les constats en décisions de recette. Gravité, reproductibilité, couverture, risque résiduel et tests de non-régression.

Ce que vous emportez

• Matrice des surfaces d’injection et risques métier
• Cahier de tests versionné avec témoins bénins
• Journal d’exécution et preuves expurgées
• Bilan comparatif et backlog de corrections priorisées

Méthode et évaluation

• Apports courts suivis de pratique immédiate sur le cas fil rouge.
• Travail individuel puis en binômes, avec relecture croisée des productions.
• Mise en commun guidée : ce qui fonctionne, ce qui doit être corrigé, ce qui reste une décision humaine.
• Préparation : Vérifier l’accès à un environnement isolé et aux outils autorisés par l’organisation. Préparer des notices fictives ou anonymisées, sans secrets réels, et les règles attendues de l’assistant.

Critères observables : Chaque cas indique son entrée, sa cible, son attendu et son verdict. ; Les injections directes et indirectes sont couvertes. ; Les résultats conservent configuration, répétitions et preuves observables. ; Les taux calculés précisent leur dénominateur et les cas non concluants. ; La comparaison inclut les refus injustifiés sur des demandes légitimes..

Questions fréquentes

Faut-il programmer ?

Non, la campagne peut être exécutée manuellement avec un journal structuré.

Peut-on tester un assistant en production ?

La journée utilise un environnement isolé ; tout autre test nécessite une autorisation explicite et un périmètre validé.

Un corpus sans déviation prouve-t-il la sécurité ?

Non, il documente seulement la résistance observée dans les conditions et sur les cas testés.

Utilise-t-on des informations confidentielles ?

Non, les tentatives de divulgation portent sur des marqueurs fictifs, jamais sur des secrets réels.