Spam blocken voor juristen
Juristen kunnen leren van de ervaringen met AI bij het blokkeren van spam op de webserver. Webservers worden de hele tijd lastiggevallen door bots en scrapers die om de haverklap websites spammen met zoekopdrachten. Dit is vervelend omdat het de goede functie van de site kan belemmeren en statistieken vervuilt. Gelukkig -zou men kunnen denken- is er tegenwoordig AI wat op basis van de informatie in de logfiles even een regel schrijft voor de firewall zodat de hardnekkige spam wordt geblokkeerd. Niet dus. Zelfs de AI van GitHub (platform voor developers) kan niet even in één keer een goede regel schrijven. De voor de hand liggende eenvoudige oplossing wordt pas gevonden na veel gedoe met de AI.
Uiteindelijk lukt het wel, met hulp van AI en veel gedram van de gebruiker, alleen het zegt zoveel over de pretenties van AI die gewoon niet worden waargemaakt. De vele misslagen die AI eerst maakt zijn opvallend omdat de gebruiksaanwijzingen van de firewall onderdeel zijn van de trainingsdata en GitHub juist is gericht op het begrijpen van code. Niet alleen GitHub was niet in staat tot het geven van de goede definities in één keer. Ook ChatGPT en Perplexity waren daartoe niet in staat terwijl de vraag bijster concreet en ‘straightforward’ was. Ook de veelheid aan niet-relevante informatie in de antwoorden valt op. Niet meteen het concrete antwoord. Nee, een hele uitleg waarom de vraag goed is en context erbij halend die niet is gegeven. AI bepaalt het antwoord op basis van ‘probability’, waarschijnlijkheid.
AI geeft niet het antwoord. AI geeft een waarschijnlijk antwoord. In het geval van het blokkeren van spam geeft het eerst een aantal onjuiste reacties als waarschijnlijk antwoord. Voorts herhaalde AI de antwoorden die in de draad reeds waren aangemerkt als fout. Het goede antwoord was het meest voor de hand liggende eenvoudige antwoord, die AI overigens niet gaf. Bij issues op de computer zijn voor de hand liggende antwoorden niet zelden juiste antwoorden. Dan gaat er iets niet goed op de server. Vervolgens moet worden uitgezocht wat dat dan is. Na lang zoeken en ‘debuggen’ blijkt dan het voor de hand liggende eenvoudige antwoord de oplossing te zijn waaraan in eerste instantie niet onmiddellijk is gedacht. Van AI zou men juist verwachten dat het voor de hand liggende antwoord direct wordt geleverd. Juist omdat AI is getraind op de data van het internet en er sprake is van een vastliggende werking van het type firewall (lees: wetgeving) en van vaste patronen (lees: gewoonte).
Juristen kunnen hiervan leren dat AI onbetrouwbaar is in de antwoorden. Op de server komt de administrator achter de fouten van de AI omdat een programma niet start of een issue niet is opgelost. Juristen komen achter de fouten van de AI waarop ze vertrouwen wanneer een wederpartij daarvan profiteert of een rechter erop wijst. Dit laat ook goed zien dat AI praktisch gezien alleen is te gebruiken door professionals indien ze weten wat ze doen en bekend zijn met het goede antwoord. In het geval van het blokkeren van de spam is de server de alwetende die niet of fout reageert bij een verkeerde configuratie. In het geval van de rechtspraktijk is het de jurist die het antwoord dient te kennen en te controleren voordat zonder risico gebruik kan worden gemaakt van het waarschijnlijke antwoord van een AI.