Logging bij AI: wat je vastlegt en hoe lang je het bewaart

Logging bij AI legt vast wie wat aan het systeem vroeg, welke bronnen zijn gebruikt, wat het antwoord was en wie het heeft goedgekeurd. Daarna is de vraag hoe lang je dat bewaart, en op welke andere plekken een AI-systeem gegevens vasthoudt die je net zo goed moet afbakenen.

Een controlespoor bij AI is de vastlegging van wie wat wanneer aan het systeem vroeg, welke bronnen daarbij zijn gebruikt, wat eruit kwam en wie het heeft goedgekeurd. Zonder dat spoor kun je achteraf niet uitleggen hoe een bedrag op een factuur, een tekst in een offerte of een antwoord aan een klant tot stand is gekomen. Elke discussie valt dan in je nadeel uit.

Dat is niet alleen een kwestie van zorgvuldigheid. De AVG kent een verantwoordingsplicht: je moet kunnen aantonen dat je je aan de regels houdt, niet alleen zeggen dat het zo is. De AI-verordening vraagt van gebruiksverantwoordelijken van hoog-risicosystemen dat zij logs bewaren. En de Cyberbeveiligingswet vraagt dat je een incident binnen 24 uur kunt melden, wat betekent dat je binnen die tijd moet kunnen vaststellen wat er is gebeurd.

Vastleggen roept meteen de tweede vraag op: hoe lang bewaar je dat, en waar staat het allemaal? Want een AI-systeem houdt gegevens vast op meer plekken dan het logbestand alleen. De tweede helft van dit artikel gaat daarover. Dit is algemene uitleg en geen juridisch advies.

Wat leg je vast bij elk AI-antwoord?

Genoeg om de gebeurtenis later te reconstrueren zonder het opnieuw te hoeven draaien. Dat zijn zeven velden.

Dat laatste veld wordt het vaakst vergeten en is achteraf het waardevolst. Het verschil tussen wat de AI voorstelde en wat de medewerker ervan maakte, vertelt precies waar het systeem structureel naast zit.

Bij een automatisering komt daar een tweede laag bij: per stap de invoer, de uitvoer, de duur, en wat er gebeurde als een stap faalde en opnieuw is uitgevoerd. Een automatisering die stilletjes een tweede poging doet en de derde keer een dubbele boeking veroorzaakt, is alleen te vinden als die pogingen zijn vastgelegd.

Hoe ziet een spoor er in de praktijk uit?

Neem een inkoopfactuur van een leverancier die als pdf binnenkomt. Het spoor loopt dan zo:

1. Binnenkomst. Datum en tijd, het postvak waar de mail binnenkwam, de afzender, en een kenmerk van de bijlage. De pdf zelf blijft bewaard, want de bijlage is de controleerbare bron. Bij twijfel ga je terug naar het originele document.
2. Uitlezen. Welke velden zijn eruit gehaald, met per veld de gevonden waarde: leverancier, factuurnummer, bedrag, btw, project. Daarbij hoort de mate van zekerheid per veld, zodat een twijfelgeval opvalt in plaats van weg te vallen.
3. Controle. Tegen welke inkooporder of welk project is gematcht, en of het bedrag daarbinnen viel. Deze stap rekent, en rekenen doet een taalmodel niet. De getallen komen via vaste routes uit de database, zodat dezelfde invoer altijd dezelfde uitkomst geeft. Waarom dat zo hoort, staat in waarom een taalmodel niet mag rekenen.
4. Goedkeuring. Wie het heeft gezien, wanneer, en wat hij heeft aangepast. Wijzigde iemand het project van A naar B, dan staat dat er inclusief de oude waarde bij.
5. Boeking. Wat er naar de administratie is gegaan en onder welk boekstuknummer.

Wie dat spoor heeft, kan een vraag van de accountant over btw verlegd bij een onderaannemer in een paar minuten beantwoorden. Wie het niet heeft, gaat mappen doorzoeken. De volledige opzet van die verwerking staat in inkoopfacturen automatisch verwerken met AI.

Waarom kun je een AI-antwoord niet gewoon overdoen?

Omdat een taalmodel op dezelfde vraag niet woordelijk hetzelfde antwoord geeft, en omdat de onderliggende documenten intussen veranderd kunnen zijn.

Bij gewone software is een log met de invoer meestal genoeg: draai het opnieuw en je krijgt dezelfde uitkomst. Bij een taalmodel geldt dat niet. Er zit variatie in het genereren zelf, de kennisbank is aangevuld, en een modelversie kan vervangen zijn. Leg daarom het resultaat vast en niet alleen het recept.

Wat je wel stabiel houdt, is de versie. Bij onze omgevingen liggen de versies vast en gaan updates getest mee, maandelijks bij Start en Groei, in overleg met de eigen ICT bij Private AI. Er draait dus niet automatisch de nieuwste versie van alles. Dat is soms lastig uit te leggen aan iemand die graag bij is, en het is precies wat je nodig hebt als je een half jaar later moet vaststellen wat er in maart draaide.

Het tweede wat je stabiel houdt, zijn de berekeningen. Een offerte die met vaste rekenregels wordt doorgerekend, levert bij dezelfde uitgangspunten hetzelfde bedrag op, ook over twee jaar. Het model schrijft daar alleen de begeleidende tekst bij. Hoe dat werkt, staat in offertes maken met AI en rekenregels.

Waar houdt een AI-systeem gegevens vast?

Op meer plekken dan het logbestand, en meer dan de mappen die je hebt aangewezen. Eén document komt doorgaans op zes plekken tegelijk terecht.

1. De bronbestanden zelf, die vaak blijven staan waar ze al stonden: in je documentbeheer of in je mailbox.
2. De documentindex. Om te kunnen zoeken op betekenis worden documenten in stukken geknipt en omgezet naar getallenreeksen, met daarbij meestal de oorspronkelijke tekst van dat stuk. Staat er een naam in het contract, dan staat die naam dus ook in de index.
3. De gespreksgeschiedenis. Wat medewerkers hebben gevraagd en welk antwoord ze kregen, inclusief wat ze in de vraag hebben geplakt.
4. De logbestanden uit de vorige paragrafen.
5. Tussenbestanden van de automatiseringen. Een inkomende factuur als pdf, de uitgelezen velden, een tijdelijke kopie van een bijlage.
6. Back-ups, waarin al het bovenstaande nog een tijd blijft bestaan nadat je het bij de bron hebt weggegooid.

Punt 6 wordt het vaakst vergeten. Verwijderen uit de index betekent niet dat het uit de back-up van vorige week weg is. Dat hoeft ook niet altijd, maar je moet wel weten hoe lang het er nog staat en dat kunnen uitleggen.

Daar hoort een keuze bij die je zelf maakt: minder aanvoeren dan technisch kan. Wijs mappen aan in plaats van hele schijven, neem alleen de velden mee die de vraag beantwoorden, en zet grenzen per rol. Elk document dat niet in de index staat, kan ook niet in een verkeerd antwoord opduiken of in een lek terechtkomen. Hoe je die niveaus indeelt staat in wie mag welk document zien.

Hoe lang bewaar je het, en wie mag erin?

Zo lang het doel vraagt. De AVG noemt voor deze onderdelen geen vaste termijn, dus je kiest hem zelf, schrijft hem op en kunt hem uitleggen. Niets vastleggen is de enige uitkomst die zeker fout is, want dan bewaar je alles voor altijd en dat mag niet.

Redeneer per onderdeel vanuit het doel:

• De documentindex volgt de bron. Staat een document niet meer in de aangewezen map, dan hoort het ook niet meer in de index te staan. Vraag bij de inrichting hoe vaak de index opnieuw wordt opgebouwd en of verwijderen bij de bron automatisch doorwerkt, want dat is niet vanzelfsprekend.
• De gespreksgeschiedenis heb je nodig zolang iemand nog wil terugkijken wat hij gisteren vroeg, en zolang je een klacht of een fout wilt kunnen reconstrueren. Enkele maanden past bij dat doel.
• Tussenbestanden ruim je zo snel mogelijk op. Een uitgelezen inkoopfactuur is klaar zodra de boeking staat en de pdf als bron bij de boeking hangt.
• Logs zijn zelden één ding, dus maak onderscheid naar soort. Een verwerkingslog dat aan een factuur of een offerte hangt, hoort bij je administratie en volgt de bewaartermijn daarvan; welke dat is, weet je boekhouder. Een technisch log voor foutopsporing kan vaak binnen weken of maanden weg. Een beveiligingslog over inloggen, rechtenwijzigingen en beheerhandelingen bewaar je langer dan je denkt nodig te hebben, want een inbraak wordt zelden dezelfde week ontdekt. De AI-verordening vraagt van gebruiksverantwoordelijken van hoog-risicosystemen dat zij automatisch gegenereerde logs bewaren, in beginsel minimaal zes maanden, voor zover zij daar zeggenschap over hebben.

Schrijf de gekozen termijnen op in één tabel, met erbij wie hem heeft vastgesteld en wanneer. Dat blaadje is wat je laat zien als iemand ernaar vraagt. Diezelfde termijnen horen in je verwerkingsregister, en in de verwerkersovereenkomst met je leverancier staan ze afdwingbaar; waar je in zo’n document verder op let, staat in verwerkersovereenkomst met een AI-leverancier.

Logs bevatten vrijwel altijd persoonsgegevens: accountnamen, en vaak klantnamen in de vragen en antwoorden zelf. Daarmee vallen ze onder de AVG. Dat betekent: een doel, een bewaartermijn, beperkte toegang, en meetellen bij het bepalen van de omvang van een datalek. Wachtwoorden, tokens en bijzondere persoonsgegevens horen er niet in.

Drie inrichtingspunten die het verschil maken tussen een log en een bruikbaar controlespoor:

• Toegang tot de logs staat los van toegang tot de documenten. Wie in de kennisbank mag, mag niet automatisch de vragen van collega’s lezen.
• De logs staan zo opgeslagen dat ze niet stilletjes te wijzigen zijn. Alleen toevoegen, niet aanpassen, en bij voorkeur op een plek waar de beheerder van het systeem niet zijn eigen sporen kan wissen.
• De klok klopt. Tijdstempels uit drie systemen zijn alleen naast elkaar te leggen als ze dezelfde tijdbron gebruiken. Dat is een kwestie van een kwartier inrichten en het scheelt bij een incident uren gepuzzel.

Bij ons ligt logging van handelingen in beheeromgevingen vast in de verwerkersovereenkomst, als een van de beveiligingsmaatregelen in artikel 4. Daar staat ook artikel 4a in: de gegevens worden niet gebruikt voor het trainen, hertrainen of verbeteren van modellen die ook bij anderen draaien, en worden daarvoor niet aan derden gegeven, ook niet in bewerkte of samengevoegde vorm. Binnen jouw eigen omgeving stemmen we het model wel af op jouw werk; dat gebeurt op de apparatuur bij jou en blijft daar. Voor logs is dat een relevante afspraak, want juist daar staan vragen en antwoorden bij elkaar.

Wat lever je aan als iemand het vraagt?

Drie soorten stukken, voor drie soorten vragen.

Voor een vraag over één gebeurtenis, meestal van een klant of een accountant, lever je het spoor van die ene factuur, offerte of mail. Voor een vraag over de werking van het systeem, meestal van een opdrachtgever of een toezichthouder, lever je het overzicht van maatregelen en controles. Dat leveren wij jaarlijks en verder op verzoek, en daarbij hoort de eerlijke vermelding dat het uit ons eigen controle-instrument komt: het is geen onafhankelijke certificering, geen keurmerk en geen penetratietest door een derde. TechSolv richt zich naar de uitgangspunten van ISO 27001 en is niet gecertificeerd. Wil een klant een onafhankelijke toets, dan kan dat als aparte opdracht, en daarnaast is er het recht op een audit: eenmaal per jaar, en na een inbreuk, door een onafhankelijke deskundige met geheimhouding, in de regel dertig dagen vooraf aangekondigd.

Voor een vraag na een incident lever je de reconstructie: wat er is gebeurd, wanneer, welke gegevens erbij betrokken waren en wie er toegang had. Wij melden een inbreuk aan de klant zonder onredelijke vertraging en uiterlijk binnen 24 uur na ontdekking, met aard, categorieën en aantal betrokkenen voor zover bekend, waarschijnlijke gevolgen en maatregelen. De AVG schrijft een verwerker geen aantal uren voor, alleen “zonder onredelijke vertraging”; die 24 uur is dus onze eigen, strengere afspraak, zodat de klant binnen zijn eigen 72 uur nog tijd heeft. De melding bij de Autoriteit Persoonsgegevens binnen 72 uur doet de klant zelf, als verwerkingsverantwoordelijke. Hoe die afweging loopt bij een AI-tool, staat in datalek via een AI-chatbot.

Doe deze week de proef op de som. Pak een willekeurige inkoopfactuur van vorige maand die door een AI-stap is gegaan, en probeer binnen vijf minuten te achterhalen welke bron is gebruikt, wat het systeem voorstelde en wie het heeft goedgekeurd. Lukt dat niet, dan weet je wat er als eerste ingericht moet worden. Zet er meteen de zes plekken uit dit artikel naast en vul achter elke plek een termijn in; de plekken waar je niets kunt invullen, zijn precies de plekken waar je leverancier een antwoord schuldig is. In de demo is elke processtap zichtbaar met echt gemeten tijden, inclusief de bron bij elk concept; hoe de omgeving verder is afgeschermd, staat op dataveiligheid.