Van bronnen naar passages

Hoe zet u een heterogene documentenverzameling om in een traceerbaar en geëvalueerd corpus dat door een RAG kan worden gebruikt?

1960 € per sessie, excl. btw

Samengevat

Tijdens deze dag van 7 uur, exclusief pauzes, bereidt u een documentencorpus voor op retrieval-augmented generation, of RAG. De deelnemers selecteren bronnen, schonen teksten op, structureren passages en hun metadata en meten vervolgens hun vindbaarheid in een ter beschikking gestelde omgeving, zonder de infrastructuur te ontwerpen of uit te rollen.

Waarom deze opleiding?

Een zoeksysteem kan een verouderde instructie ophalen in plaats van een correctie als versies, datums en relaties tussen documenten impliciet blijven. De kwaliteit van de documentatie bepaalt dus de relevantie van de passages die aan het model worden doorgegeven. Opschonen alleen volstaat niet: een segmentatie die een voorwaarde van haar uitzondering scheidt, kan een antwoord misleidend maken. De opleiding koppelt elke transformatie aan een controle met vakgerichte vragen en aan een verifieerbaar spoor. Doorlopende casus: De fictieve organisatie Avelune Équipements wil de ondersteuning voor haar technici voeden met handleidingen, procedures en correctiebulletins. Haar documentenbestand bevat concurrerende versies, compatibiliteitstabellen en documenten die voorbehouden zijn aan bepaalde diensten. De oefeningen gebruiken uitsluitend deze fictieve casus of geanonimiseerde gegevens. Toepassing op het werk: Pas het voorbereidingsschema toe op een toegestane documentenset, laat de rechten valideren door de bronverantwoordelijke en bezorg de RAG-contactpersoon het corpus, samen met de evaluatieresultaten en resterende afwijkingen.

De doelstellingen van deze opleiding

  • Bronnen selecteren op basis van hun gezag, actualiteit en gebruiksrechten.
  • Geëxtraheerde teksten opschonen zonder vakinhoudelijke informatie te verwijderen.
  • Documenten opdelen in passages die ook buiten hun directe context begrijpelijk zijn.
  • Metadata over herkomst, versie en toegang toekennen.
  • Meten of de verwachte passages worden opgehaald en de correcties documenteren.

Voor wie en met welke voorkennis?

Betrokken rollen en taken

  • Documentalisten en beheerders van kennisbanken die een vakgerichte assistent voeden.
  • Kwaliteitsverantwoordelijken, medewerkers van de technische ondersteuning en contentbeheerders die betrokken zijn bij een RAG-project.

Vereiste voorkennis

  • Het principe van RAG begrijpen en documentretrieval onderscheiden van generatie.
  • Een generatieve AI-assistent gebruiken en eenvoudige gestructureerde bestanden hanteren.
  • De documentatieregels en toegangsbeperkingen van uw vakgebied kennen.

Waaraan u werkt

  1. Het bruikbare documentenbestand afbakenen

    Doel: Bronnen koppelen aan de behoeften van de technici. Gezag van documenten, dekking van het vakgebied, veroudering, vertrouwelijkheid en onderscheid tussen corpus en model.

  2. Extraheren en opschonen

    Doel: De betekenis behouden tijdens de normalisatie. Fouten bij optische tekenherkenning, herhaalde kopteksten, tabellen, codering en deduplicatie.

  3. De passages definiëren

    Doel: Een segmentatie kiezen die geschikt is voor technische instructies. Structuur op basis van titels, segmentgrootte, overlap en uitzonderingen bij hun regels houden.

  4. Herkomst en toegang vastleggen

    Doel: Elke passage traceerbaar en filterbaar maken. Stabiele identificatoren, vindplaats, datums, versies, toegangsbereik; een metadataveld op zich dwingt geen toegangsrechten af.

  5. De retrieval evalueren

    Doel: De aanwezigheid van het verwachte bewijsmateriaal meten. Relevante passages annoteren, resultaten rangschikken en retrievalfouten onderscheiden van generatiefouten.

  6. Het corpus corrigeren en overdragen

    Doel: Een herbruikbare en onderhoudbare set opleveren. Gerichte correcties, vergelijking met ongewijzigde parameters, actualisering en verwijdering van verouderde versies.

Wat u meeneemt

  • Inventaris van bronnen en beslissingen over opname.
  • Opgeschoond en gesegmenteerd corpus met metadata.
  • Logboek van transformaties en afwijkingen.
  • Set geannoteerde vragen en vergelijkend retrievalverslag.

Methode en evaluatie

  • Korte theoretische toelichtingen, onmiddellijk gevolgd door praktijkoefeningen met de doorlopende casus.
  • Individueel werk, gevolgd door werk in duo’s, waarbij deelnemers elkaars resultaten nakijken.
  • Begeleide groepsbespreking: wat werkt, wat gecorrigeerd moet worden en wat een menselijke beslissing blijft.
  • Voorbereiding: Breng drie soorten vakgerichte documenten en hun gebruikelijke tekortkomingen in kaart, zonder vertrouwelijke inhoud te delen. Controleer de toegang tot de door de organisatie toegestane tools en tot de ter beschikking gestelde evaluatieomgeving.

Observeerbare criteria: Elke passage behoudt een bronidentificator, een versie en een verifieerbare vindplaats. ; Voor duplicaten en verouderde documenten wordt een beslissing vastgelegd. ; De gecontroleerde passages behouden voorwaarden, uitzonderingen en eenheden uit tabellen. ; De toegangsbeperkingen worden vastgelegd en de verwachte controles worden expliciet beschreven. ; Het percentage vragen met een relevante passage bij de eerste vijf resultaten wordt vóór en na de correctie berekend..

Veelgestelde vragen

Moet u kunnen programmeren?

Nee, de oefeningen worden uitgevoerd in een ter beschikking gestelde omgeving; inzicht in gestructureerde velden is noodzakelijk.

Mag u interne documenten gebruiken?

Alleen als ze geanonimiseerd en toegestaan zijn; de fictieve casus blijft beschikbaar voor alle oefeningen.

Mag AI de procedures herschrijven?

Niet vrij: elke transformatie moet de betekenis behouden en aan de bron worden getoetst.

Zal het corpus worden uitgerold?

Nee. De dag levert een geëvalueerd corpus op dat wordt overgedragen aan het team dat verantwoordelijk is voor de integratie.

Laatst bijgewerkt: