En sort boks er et AI-system, hvis indre virkemåde ikke kan gennemskues – man kan se, hvad der går ind, og hvad der kommer ud, men ikke forklare præcist, hvorfor systemet svarede, som det gjorde.
Moderne sprogmodeller er i praksis sorte bokse: Deres svar opstår i milliarder af indbyrdes forbundne vægte, ikke i regler, man kan slå op. Det gør dem ikke ubrugelige – men det ændrer, hvordan man kan stole på dem. Tilliden må bygges på afprøvning og kontrol af resultaterne, ikke på indsigt i mekanikken.
For organisationer betyder det et skifte i dokumentation: Når systemet ikke kan forklare sig, må processen kunne – hvem brugte hvilket værktøj til hvad, og hvem stod inde for resultatet. Det er også kernen i flere af AI-forordningens krav.
I praksis
Konkret: Brug sorte bokse til opgaver, hvor resultatet kan efterprøves – udkast, opsummering, idéudvikling. Vær varsom, hvor begrundelsen er selve kravet, f.eks. i afgørelser om mennesker.
Sådan forklarer du det for ledelsen
»Når maskinen ikke kan forklare sit svar, skal vi kunne forklare vores beslutning om at bruge det.«
Se også hallucination – den anden grund til, at AI-svar kræver menneskelig dømmekraft.