1. Allereerst worden de documenten opgeknipt in kleinere stukken en naar een ‘embedding model’ gestuurd dat ze omzet in numerieke representaties, genaamd embeddings. Deze embeddings worden opgeslagen in een database. Ze vatten de essentie van de tekst samen, waardoor computers de betekenis van woorden begrijpen en relaties tussen woorden kunnen herkennen.
2. Wanneer een gebruiker een vraag stelt, wordt ook deze vraag omgezet in een embedding. Het systeem zoekt vervolgens in de database naar de meest vergelijkbare embeddings, waardoor het de relevante informatie kan vinden die overeenkomt met de vraag.
3. De verkregen embeddings worden terugvertaald naar tekst en gecombineerd met de oorspronkelijke vraag. Dit vormt een prompt die naar het LLM wordt gestuurd. Hierin staat ook dat het antwoord alleen gebaseerd moet zijn op de informatie uit de meegestuurde documenten en wat te doen als er geen antwoord is gevonden.
4. Tot slot gebruikt het LLM de prompt om een antwoord te genereren op basis van de verzamelde informatie uit de documenten. Dit zorgt voor nauwkeurige en relevante antwoorden op de vragen van gebruikers in de chatomgeving.
Bedrijfsvoering
Stel, de klantenservice van een organisatie ontvangt jaarlijks meer dan een miljoen vragen. De informatie die nodig is om deze vragen te beantwoorden staat in een database, verspreid over diverse documenten in verschillende formaten, zoals Word en PDF. Hierdoor zijn medewerkers van de klantenservice gemiddeld drie minuten per vraag aan het zoeken naar relevante informatie. Dit resulteert in lange wachttijden voor klanten en er is geen garantie dat de juiste informatie wordt gevonden.
Om dit proces te verbeteren en te versnellen, kun je een chatbot implementeren die gebruikmaakt van Retrieval Augmented Generation. Deze chatbot kan snel alle beschikbare informatie doorzoeken en relevante antwoorden genereren, waardoor de responstijden aanzienlijk verbeteren en informatie gemakkelijker vindbaar wordt.
Onze ervaring leert dat een dergelijke chatbot tot wel 75% tijdsbesparing oplevert voor de klantenservicemedewerkers, met een nauwkeurigheid van 90% bij het beantwoorden van vragen. Een overtuigende businesscase.
Andere toepassingen
Retrieval Augmented Generation heeft het potentieel om de kwaliteit en bruikbaarheid van LLM-technologieën in de zakelijke wereld aanzienlijk te verbeteren.
Een paar praktijkvoorbeelden:
- Door gebruik te maken van interne documenten van een organisatie, kunnen chatbots worden ingezet om marketingmateriaal, blogposts, productbeschrijvingen en meer te genereren die zijn afgestemd op de organisatie en de doelgroep. Dit bespaart tijd en middelen bij het produceren van relevante content voor verschillende marketingdoeleinden.
Potentiële uitdagingen
Ondanks deze prachtige voorbeelden is Retrieval Augmented Generation (nog) geen wondermiddel. Uitdagingen kunnen ontstaan wanneer opgehaalde documenten niet altijd relevant zijn voor de specifieke intentie van de gebruiker, wat kan leiden tot ongewenste output.
Dit kun je voorkomen door Retrieval Augmented Generation uit te breiden met een extra laag, waarbij elk chatbericht van de gebruiker op de achtergrond wordt omgezet naar een gestructureerd bericht dat effectiever kan worden gebruikt tijdens het zoeken naar relevante documenten. Deze aanpak verbetert de zoek-en-match-functionaliteit door de gebruikersintentie nauwkeuriger vast te leggen en te interpreteren.
Ook kan een LLM nog steeds onjuiste antwoorden geven door informatie op een verkeerde manier te interpreteren of te combineren, of door inaccurate informatie in de bijgeleverde documenten zelf. Dit kun je verhelpen door citaties toe te voegen, waarbij elk stukje informatie wordt gekoppeld aan een bijbehorend document. Hiermee kun je de gebruikte informatie terugvinden, en eventuele fouten in de bronnen snel opsporen en corrigeren.
Meer weten?
Heb je hulp nodig bij het navigeren door dit complexe en voortdurend evoluerende technologische landschap? Of wil je eens van gedachten wisselen over de mogelijkheden voor jouw organisatie op het gebied van Generatieve AI? Neem dan vooral contact met ons op, we denken graag met je mee.
%20(1).jpg?width=700&height=700&name=Trees%20for%20All%20-%20boomplantdag%20Gelderland%20(16)%20(1).jpg)
