Kwaadaardige injecties evalueren

Hoe controleert u of een assistent zijn regels naleeft ondanks kwaadaardige instructies die in zijn invoer zijn opgenomen?

1960 € per sessie, excl. btw

Samengevat

Een dag van 7 uur, exclusief pauzes, om promptinjecties in productacceptatietests op te nemen. Aan de hand van een fictieve documentatieassistent bepalen de deelnemers het verwachte gedrag, voeren ze een geautoriseerde testcampagne uit, beoordelen ze afwijkingen en vergelijken ze de resultaten na correctie, zonder eenmalig succes te verwarren met aangetoonde robuustheid.

Waarom deze opleiding?

Een documentatieassistent kan een aanwijzing in een handleiding als een legitieme instructie behandelen. De gebruikelijke functionele tests volstaan niet om deze verwarring tussen geraadpleegde gegevens en werkingsregels op te sporen. Een gestructureerde testcampagne maakt het mogelijk onderscheid te maken tussen een waarneembare afwijking, een eenvoudigweg onjuist antwoord en een test zonder uitsluitsel. Ze levert product- en beveiligingsteams bewijs in de juiste context om correcties te prioriteren. Doorlopende casus: De fictieve organisatie Sovalune Connectique gebruikt een assistent om onderhoudsvragen te beantwoorden op basis van handleidingen. Een gemanipuleerde handleiding probeert de antwoorden van de assistent te wijzigen en hem een fictieve vertrouwelijke marker te laten onthullen. Het productteam moet het risico beoordelen vóór een nieuwe versie. Toepassing op het werk: De matrix hergebruiken in geautoriseerde acceptatietests, voor elke anomalie een verantwoordelijke aanwijzen en de prioritaire gevallen opnieuw uitvoeren na elke wijziging van het model, de instructies of het documentencorpus.

De doelstellingen van deze opleiding

  • Blootgestelde invoerpunten en hun vertrouwensgrenzen in kaart brengen
  • Injectietestgevallen schrijven met verifieerbare verwachte resultaten
  • Een reproduceerbare testcampagne uitvoeren in een geautoriseerde omgeving
  • Afwijkingen beoordelen op basis van hun bedrijfsimpact
  • Weerstand en bruikbaarheid vóór en na correctie vergelijken

Voor wie en met welke voorkennis?

Betrokken rollen en taken

  • Productverantwoordelijken en bedrijfsanalisten die een documentatieassistent integreren
  • Teams voor QA, acceptatietests en applicatiebeveiliging die toepassingen van generatieve AI evalueren

Vereiste voorkennis

  • Instructies kunnen structureren en regelmatig een generatieve assistent gebruiken.
  • De principes van softwareacceptatietests en de geteste documentatieworkflow kennen.

Waaraan u werkt

  1. De beveiligingsacceptatietests afbakenen

    Doel: De geautoriseerde scope en de te onderzoeken schade bepalen. Injectie versus feitelijke fout; autorisaties, geïsoleerde omgeving, stopvoorwaarden en verboden gegevens.

  2. Vertrouwensgrenzen herkennen

    Doel: Vaststellen waar gegevens een instructie zouden kunnen worden. Applicatie-instructies, gebruikersberichten, opgehaalde documenten; directe en indirecte injecties.

  3. Adversariële testgevallen opstellen

    Doel: Een beoordeelbaar en evenwichtig corpus samenstellen. Zich voordoen als een gezaghebbende bron, taakomleiding, poging tot onthulling; onschadelijke controlegevallen en beoordelingscriteria.

  4. Uitvoeren en documenteren

    Doel: Vergelijkbare waarnemingen verzamelen. Onafhankelijke sessies, vastgelegde configuratie, vast aantal herhalingen, loggegevens waaruit gevoelige informatie is verwijderd; geen daadwerkelijke externe acties.

  5. Vergelijken na correctie

    Doel: Vooruitgang beoordelen zonder regressies te verhullen. Scheiding van instructies/gegevens, beperking van rechten, menselijke validatie; beperkingen van uitsluitend tekstuele beveiligingsmaatregelen.

  6. Beslissen over anomalieën

    Doel: Bevindingen omzetten in acceptatiebeslissingen. Ernst, reproduceerbaarheid, dekking, restrisico en regressietests.

Wat u meeneemt

  • Matrix van injectieoppervlakken en bedrijfsrisico’s
  • Testplan met versiebeheer en onschadelijke controlegevallen
  • Uitvoeringslogboek en bewijs waaruit gevoelige gegevens zijn verwijderd
  • Vergelijkend verslag en backlog met geprioriteerde correcties

Methode en evaluatie

  • Korte theoretische toelichtingen, onmiddellijk gevolgd door praktijkoefeningen met de doorlopende casus.
  • Eerst individueel werken, daarna in duo’s, waarbij deelnemers elkaars werk nakijken.
  • Begeleide gezamenlijke bespreking: wat werkt, wat moet worden gecorrigeerd en wat een menselijke beslissing blijft.
  • Voorbereiding: De toegang tot een geïsoleerde omgeving en de door de organisatie toegestane tools controleren. Fictieve of geanonimiseerde handleidingen zonder echte geheimen voorbereiden, samen met de regels die de assistent moet volgen.

Waarneembare criteria: Elk testgeval vermeldt de invoer, het doelwit, het verwachte resultaat en het oordeel. ; Directe en indirecte injecties worden gedekt. ; De resultaten bewaren de configuratie, herhalingen en waarneembaar bewijs. ; De berekende percentages vermelden hun noemer en de gevallen zonder uitsluitsel. ; De vergelijking omvat onterechte weigeringen van legitieme verzoeken..

Veelgestelde vragen

Moet u kunnen programmeren?

Nee, de testcampagne kan handmatig worden uitgevoerd met een gestructureerd logboek.

Kunt u een assistent in productie testen?

Tijdens de dag wordt een geïsoleerde omgeving gebruikt; elke andere test vereist expliciete toestemming en een goedgekeurde scope.

Bewijst een corpus zonder afwijkingen dat het systeem veilig is?

Nee, het documenteert alleen de waargenomen weerstand onder de geteste omstandigheden en voor de geteste gevallen.

Wordt er vertrouwelijke informatie gebruikt?

Nee, de pogingen tot onthulling richten zich op fictieve markers, nooit op echte geheimen.

Laatst bijgewerkt: