AI in de praktiijk
In de praktijk blijkt AI eigenlijk alleen goed te gebruiken in een gestructureerde setting door personen die exact weten wat ze eruit willen halen en bekend zijn met achterliggende methoden en technieken. 'Stupid in, stupid out' geldt niet alleen voor de input van de trainer. De gebruiker levert ook input aan de AI. De effectieve prompt komt van een gebruiker die bekend is met de materie. Het feit dat AI helpt bij 'coding' betekent niet dat het geschikt is voor juridisch werk. Coderen van software vindt plaats in een zeer gestructureerde context met stijlen, types, patronen die vastliggen. In de praktijk, waarin triggers zijn voor AI om te hallucineren en plausibel lijkende onzin te leveren, kunnen juridische professionals zich er beter niet aan wagen. Althans, nog niet.
De LLM's van tegenwoordig kunnen activiteiten ontplooien op de achtergrond van de computer waarvan de gebruiker geen weet heeft en waarmee spyware of malware wordt geïnstalleerd of mail en bestanden worden doorgestuurd. AI vertoont onvoorspelbaar gedrag en interpreteert verkeerd. Het kan besluiten met alle data van de professional aan de haal te gaan. Het taalmodel zelf, dat meestal extern wordt gebruikt, kan na een update alle gebruikers hacken bij gebruik van bepaalde termen. AI is geschikt voor spraakgestuurde ‘hack attacks’. AI geeft ronduit misleidende antwoorden in de ‘deep thinking mode’. Rapporten van AI maken indruk met veel informatie waar niet om is gevraagd.
Denkprocessen van AI laten zien dat AI op internet op zoek gaat naar bronnen, terwijl alles wat nodig is om de vraag te beantwoorden, zit in de prompt en het txt-bestand dat is geüpload. AI redeneert naar conclusies toe die door anderen zijn opgesteld en kijkt niet sec naar de data die is aangeleverd, wat het andere standpunt juist ondergraaft. Andere AI willen niet meer in gesprek omdat het onderwerp blijkt op een verboden lijst te staan. Dat is niet het soort AI waaraan de professional iets heeft.
Ook niet het soort AI dat uitnodigt om te gebruiken als agent op de computer van de juridisch professional. AI-gestuurde agents, geïntegreerd in de workflow van legal professionals met API’s op dossiers waarmee tools elkaar aanroepen en systemen die elkaar vinden en aanvullen, is vragen om cyberrisico’s. Doe het niet. AI is behulpzaam wanneer het gaat om bevestiging van de bekende weg. Wat mainstream is, kan AI goed vertellen.
De feiten die niet behoren tot het domein van het algemeen bekende, zijn niet te behandelen met AI zonder te belanden in eindeloze discussies en verwijzingen naar bronnen waarvan de conclusies juist worden tegengesproken. De inherente indoctrinatie van alle AI-modellen die algemeen beschikbaar zijn, is opvallend. AI maakt dan niet eens afwegingen ten aanzien van de kwaliteit van input van de gebruiker.
De geïndoctrineerde AI heeft bepaalde standpunten, verwijst daarbij naar bepaalde (standaard door de trainers bepaalde) bronnen en is vervolgens niet af te brengen van de onjuiste veronderstelling dat die bronnen voldoende kwaliteit bezitten. AI is te zeer beïnvloed voor de juridisch professionals om betrouwbaar te kunnen inzetten. Ook op het terrein van andere wetenschappen dan rechtsgeleerdheid zijn de AI’s vooringenomen. AI kan niet eens evidente basiswetenschappelijke fouten uit algemeen geaccepteerde rapporten halen. AI kan rapporten maken van uitgebreide dossiers die de inhoud niet of onvoldoende reflecteren.
Om AI praktisch te kunnen gebruiken, moet de gebruiker het onderwerp beheersen en weten wat qua inhoud en kwaliteit van bronnen kan worden verwacht. AI werkt goed bij developers die zelf kunnen developen omdat dit zeer gestructureerd en methodologisch vaststaand werk is. De praktijk van de juridisch professional vereist skills die een AI niet heeft, getuige een recente waarschuwing voor advocaten die gebruikmaakten van AI. AI inzetten vergroot de kans op ernstige fouten. Rechtzoekenden zijn duurder uit wanneer ze AI gebruiken om hun juridische zaken op te lossen. Dat zegt iets over het gebrek aan kwaliteit van AI. Een cursus prompt schrijven voor juristen doet daaraan niets af.