Verifieerbare documentaire RAG

Hoe bouwt u een verrijkt documentzoeksysteem dat antwoorden geeft op basis van relevante bronnen en weet wanneer het geen antwoord moet geven?

1960 € per sessie, excl. btw

Samengevat

Tijdens deze dag van 7 uur, exclusief pauzes, bouwt u een prototype van een documentair RAG-systeem, van de voorbereiding van het corpus tot de evaluatie van antwoorden met bronvermelding. U vergelijkt zoekinstellingen, documenteert fouten en bereidt de overgang naar een pilootfase voor, met aandacht voor toegangsrechten, documentactualisering en kwaliteitsopvolging.

Waarom deze opleiding?

Een vlot geformuleerd antwoord kan een gebrekkige documentretrieval verhullen: een onvolledige passage, een verouderde versie of een document waartoe de gebruiker geen toegang heeft. RAG vereist daarom een expliciete keten die de vraag, de zoekopdracht, de doorgegeven context en het antwoord met elkaar verbindt. Om deze keten te optimaliseren, moet u zoekfouten onderscheiden van generatiefouten. Met een set referentievragen kunt u instellingen vergelijken zonder de kwaliteit van de formulering te verwarren met de juistheid ten opzichte van de documenten. Doorlopende casus: De fictieve organisatie « Caltrive Automatismes » wil haar supportteam helpen onderhoudsprocedures terug te vinden. Het oefencorpus bevat handleidingen, correctiebulletins en verouderde instructies. Het prototype moet versies onderscheiden, nuttige passages citeren en vragen weigeren waarvoor de documenten geen antwoord bieden. Toepassing op het werk: Pas vóór elke pilootfase het evaluatieprotocol opnieuw toe op een toegelaten documentenscope. Wijs een corpusverantwoordelijke aan, plan herindexering en maak de beschikbaarstelling aan gebruikers afhankelijk van de validatie van toegangsrechten en kwaliteitsdrempels.

De doelstellingen van deze opleiding

  • De documentenscope en het verwachte systeemgedrag bepalen
  • Traceerbare fragmenten met versies en toegangsmetadata voorbereiden
  • Een keten voor retrieval en generatie met bronvermelding samenstellen
  • Twee configuraties vergelijken aan de hand van een referentieset
  • De technische en kwaliteitsvoorwaarden voor een pilootproject documenteren

Voor wie en met welke voorkennis?

Betrokken rollen en taken

  • Software- en data-ingenieurs die aan documentassistenten werken
  • Technische productverantwoordelijken en architecten die een RAG-pilootproject afbakenen

Vereiste voorkennis

  • Ervaring hebben met generatieve AI en de principes van embeddings en API's kennen.
  • Een script kunnen aanpassen of een technische keten kunnen configureren en de bijbehorende logs kunnen interpreteren.

Waaraan u werkt

  1. Toepassingen en bewijsvoering afbakenen

    Doel: Bepalen wat het prototype moet terugvinden en aantonen. RAG-architectuur, onderscheid tussen zoeken en genereren, functionele scope en vragen buiten het corpus.

  2. Een traceerbaar corpus voorbereiden

    Doel: Documenten omzetten in bruikbare fragmenten. Extractie, opschoning, opsplitsing, overlap, tabellen, identificatoren, versies en rechten.

  3. De retrieval configureren

    Doel: De relevante passages terugvinden vóór er wordt gegenereerd. Lexicale en vectorindexering, hybride zoekopdrachten, toegangsfilters, aantal opgehaalde passages.

  4. Antwoorden met bronvermelding samenstellen

    Doel: Antwoorden beperken tot het beschikbare bewijsmateriaal. Contextopbouw, citaten, tegenstrijdigheden, afzien van antwoorden en kwaadaardige instructies in de documenten.

  5. Meten en bijsturen

    Doel: Een instelling kiezen op basis van verifieerbare resultaten. Recall van relevante passages in de resultaten, trouw aan de bronnen, juistheid van de citaten en latentie.

  6. Een beheerst pilootproject voorbereiden

    Doel: De voorwaarden voor het operationele gebruik van het prototype bepalen. Herindexering, verwijderingen, toegangscontrole, beperkte logging en regressietests.

Wat u meeneemt

  • Architectuurdossier en corpusregister
  • Geconfigureerd RAG-prototype met instructie voor antwoorden met bronvermelding
  • Referentieset en vergelijkende resultatentabel
  • Pilootplan met risico's, verantwoordelijkheden en acceptatiedrempels

Methode en evaluatie

  • Korte toelichtingen, onmiddellijk gevolgd door praktijkoefeningen rond de doorlopende casus.
  • Eerst individueel werken, daarna in duo's, met wederzijdse beoordeling van het geleverde werk.
  • Begeleide gezamenlijke bespreking: wat werkt, wat moet worden gecorrigeerd en wat een menselijke beslissing blijft.
  • Voorbereiding: De toegang tot een oefenomgeving en tot de door de organisatie toegelaten modellen controleren. Uitsluitend fictieve of geanonimiseerde documenten voorbereiden; hun versies en toegangsbeperkingen in kaart brengen.

Waarneembare criteria: Elk fragment behoudt een documentreferentie, een versie en zijn toegangsmetadata. ; De citaten verwijzen naar passages die de beweringen daadwerkelijk ondersteunen. ; De twee configuraties worden vergeleken op basis van dezelfde vragen, met expliciete metingen. ; Gevallen zonder bewijs leiden tot het afzien van een antwoord; niet-toegelaten documenten blijven uitgesloten. ; Het pilootplan beschrijft actualisering, monitoring en foutafhandeling..

Veelgestelde vragen

Moet er een model worden getraind?

Nee. Het werk richt zich op documentretrieval en de context die aan het model wordt doorgegeven.

Welke tools worden gebruikt?

Een op de context afgestemde oefenketen, uitsluitend met door de organisatie toegelaten tools.

Kunnen interne documenten worden gebruikt?

De oefeningen gebruiken fictieve of geanonimiseerde cases, zonder ongeoorloofde overdracht van documenten.

Is het prototype klaar voor productie?

Nee. Beveiliging, belasting, operationeel beheer en validatie door de betrokken vakafdeling moeten vóór de uitrol nog worden gecontroleerd.

Laatst bijgewerkt: