Klantenservice-mails beantwoorden met AI, met jouw goedkeuring

Een AI die klantmail beantwoordt hoort concepten te maken uit een goedgekeurde kennisbank, met bronvermelding en een gelijkenisscore erbij. Een medewerker keurt goed, en elk goedgekeurd antwoord maakt de kennisbank beter.

Een AI die klantenservicemail beantwoordt, hoort geen antwoorden te verzinnen. Hij hoort concepten te maken op basis van teksten die jij hebt goedgekeurd, met de bron erbij en een score die aangeeft hoe goed die bron bij de vraag past, waarna een medewerker beslist of het zo de deur uit mag.

Dat is een andere opzet dan de meeste chatbots. Het verschil zit in wat het model mag gebruiken en wat het mag doen.

Waarom een taalmodel zonder kennisbank niet geschikt is voor klantmail

Een taalmodel voorspelt woorden. Het heeft geen idee wat jouw garantietermijn is, welke onderdelen je op voorraad hebt of hoe jullie omgaan met een storing buiten kantooruren. Vraag je het toch, dan krijg je een antwoord dat klinkt als het antwoord van een goed installatiebedrijf. Het is alleen niet jouw antwoord.

Voor een interne notitie is dat hinderlijk. Voor een mail aan een klant is het duurder: een toegezegde garantietermijn die je niet voert, of een levertijd die je niet haalt, kost je geld of een klant. In waarom een taalmodel niet mag rekenen staat hetzelfde mechanisme uitgelegd voor getallen.

De oplossing is het model niet uit zijn geheugen laten putten, maar uit een verzameling teksten die jij hebt vastgesteld.

Hoe werkt een kennisbank voor klantenservice?

Een kennisbank is een verzameling korte, goedgekeurde stukken tekst die elk één vraag beantwoorden. Het systeem zoekt bij elke binnenkomende mail de stukken op die het dichtst bij de vraag liggen, en laat het model alleen daarmee een antwoord formuleren.

Waar de inhoud vandaan komt

Bij een installatie- of servicebedrijf komt die inhoud uit vier plekken die je al hebt:

• Je algemene voorwaarden en garantiebepalingen. Dit is de bron die het vaakst nodig is en het slechtst vindbaar op de meeste websites.
• Handleidingen en servicedocumentatie van de merken die je voert, voor vragen over storingscodes en onderhoudsintervallen.
• Mails die je zelf al hebt verstuurd. De goede antwoorden van je beste servicemedewerker zijn de beste kennisbank die er is, mits iemand ze heeft nagelezen.
• Interne werkafspraken. Wanneer stuur je een monteur, wanneer plan je in, wat doe je bij een storing op zaterdag.

Wat er niet in hoort: conceptversies, verouderde prijslijsten en de mailmap van iemand die twee jaar geleden is vertrokken. Een kennisbank die alles bevat, is geen kennisbank maar een archief.

Hoe het zoeken werkt

De stukken worden omgezet in getallenreeksen die de betekenis van de tekst vastleggen, zogenoemde embeddings. De vraag van de klant wordt op dezelfde manier omgezet, en het systeem zoekt de stukken waarvan de reeks het dichtst bij die van de vraag ligt. Dat is wat “gelijkenis” hier betekent: het gaat over betekenis, niet over letterlijke woorden. Een klant die schrijft “hij slaat steeds af” vindt zo het stuk over storingsmeldingen, ook als het woord “afslaan” daar niet in staat.

De maat die daarvoor gebruikt wordt is meestal de cosinusgelijkenis. Voor tekst-embeddings komt die in de praktijk uit tussen ongeveer nul en één, waarbij hoger dichterbij is. Die waarde is wat je bij elk concept in beeld krijgt.

Wat doe je met de gelijkenisscore?

De score is geen kwaliteitsoordeel over het antwoord. Het is een signaal over hoe zeker het is dat het systeem het juiste stuk tekst heeft gevonden. Je gebruikt hem om te bepalen wie er naar de mail kijkt.

Een werkbare indeling, waarbij jij de grenzen zelf zet en na een paar weken bijstelt:

Hoge score. De vraag valt samen met een onderwerp dat goed in de kennisbank staat. Het concept is meestal bruikbaar zoals het er staat. De medewerker leest het, kijkt of de aanhef en de specifieke gegevens kloppen, en verstuurt.

Middenscore. Er is iets gevonden dat in de buurt komt. Vaak gaat het dan om een vraag met twee onderwerpen, waarvan er één goed in de kennisbank staat en de andere niet. Hier lees je het concept regel voor regel.

Lage score. Het systeem heeft niets passends gevonden. Dan hoort er geen concept te komen, maar een melding: deze mail gaat over iets waar geen bron voor is. De mail gaat naar de collega die er verstand van heeft.

Dat laatste is waar de meeste opzetten falen. Een systeem dat altijd een antwoord produceert, produceert bij lage gelijkenis het gevaarlijkste soort antwoord: vloeiend geformuleerd, plausibel en onjuist. Een systeem dat mag zeggen dat het het niet weet, is betrouwbaarder dan een systeem dat altijd iets zegt.

Waarom de bron altijd zichtbaar moet zijn

Bij elk concept staat waar het vandaan komt: welke stukken uit de kennisbank zijn gebruikt, en welke zin uit welk stuk. De medewerker kan dat stuk openklappen en meelezen.

Daar zitten drie redenen achter.

Het maakt controleren snel. Zonder bron moet je het antwoord beoordelen op wat je zelf toevallig weet. Met bron lees je twee teksten naast elkaar en zie je meteen of het klopt.

Het maakt fouten in de kennisbank zichtbaar. Als het concept een verouderde garantietermijn noemt, zie je meteen uit welk document dat komt. Je repareert dan de bron, niet het ene antwoord. Zonder bronvermelding blijf je symptomen bestrijden.

En het maakt nieuwe medewerkers sneller zelfstandig. Iemand die twee weken in dienst is en bij elk concept de onderliggende werkafspraak ziet, leert het bedrijf kennen terwijl hij werkt.

In onze demo zie je dat terug bij Heldervoort Service: bij elk concept staan de bron en de gelijkenisscore, en niets gaat de deur uit zonder goedkeuring. De demo kun je aanvragen.

Hoe het systeem leert van goedgekeurde antwoorden

Dit is het deel dat het verschil maakt op termijn, en het werkt anders dan mensen vaak denken. Er wordt niet bij elk goedgekeurd antwoord een model bijgewerkt. Wat groeit, is de kennisbank. Stemmen we het model wel af op jouw werk, dan gebeurt dat binnen je eigen omgeving, op de apparatuur bij jou, en blijft het daar. Naar modellen van ons of van derden gaan je gegevens niet.

Als een medewerker een concept aanpast voordat hij het verstuurt, gebeurt er twee dingen. Het verschil tussen concept en verzonden mail wordt bewaard, want dat is de beste aanwijzing waar de kennisbank tekortschiet. En het verzonden antwoord wordt aangeboden als nieuw stuk voor de kennisbank.

Aangeboden, niet toegevoegd. Er zit een goedkeuringsstap tussen, meestal bij degene die over de klantenservice gaat. Zonder die stap komt elk haastig antwoord in de kennisbank en gaat de kwaliteit omlaag in plaats van omhoog. Een kennisbank die ongecontroleerd groeit, wordt na een half jaar de reden dat het systeem verkeerde antwoorden geeft.

Praktisch hou je dat klein: één keer per week een kwartier waarin iemand de voorgestelde stukken langsloopt en per stuk kiest tussen toevoegen, vervangen van een bestaand stuk, of weggooien.

Wat je nodig hebt om te beginnen

Je hebt geen compleet gedocumenteerd bedrijf nodig. Je hebt nodig:

1. Een afgebakende mailstroom. Eén adres, bijvoorbeeld service@ of info@, en niet de persoonlijke mailboxen van je medewerkers.
2. De twintig vragen die het vaakst binnenkomen. Die haal je uit je verzonden mail van de afgelopen maanden. Dit is het startpunt van je kennisbank en het is meestal minder werk dan gedacht.
3. Iemand die de kennisbank beheert. Niet als functie, wel als afspraak. Zonder eigenaar veroudert hij.
4. Een systeem dat de mails verwerkt zonder ze naar buiten te sturen. Klantmail bevat namen, adressen, telefoonnummers en soms betalingsgegevens. Dat is precies het materiaal waarover de AVG gaat, en de reden waarom wij dit op een systeem bij je op kantoor draaien. Wat er mis kan gaan als medewerkers dit zelf in een publieke chat plakken, staat op shadow AI.

Wat er aan apparatuur en beheer bij komt kijken, staat op wat het kost en bij hoe wij het beheren. Draai je met een eigen ICT-afdeling en gelden er eisen aan aantoonbaarheid, dan is private AI de route.

Begin klein en meet het. Zet het systeem twee weken in de meeleesstand: het maakt concepten, niemand gebruikt ze, en je vergelijkt achteraf het concept met wat de medewerker zelf heeft gestuurd. Na die twee weken weet je precies op welke onderwerpen de kennisbank goed genoeg is om mee te beginnen, en welke je eerst moet schrijven.