Forestil jer, at en kunde klager over et afslag, som jeres AI har været med til at forberede.
I sender sagen til en erfaren medarbejder. Hun kan se afslaget og de oplysninger, kunden oprindeligt gav. Men hun kan ikke se, hvilke kilder systemet brugte, hvilken regel der afgjorde sagen, eller hvilken version af modellen der var i drift den dag.
Der sidder altså et menneske i klagevejen. Mennesket kan bare ikke se det, der skal prøves.
Så har I ikke bygget menneskelig kontrol. I har bygget en menneskelig modtager af systemets facit.
En aktuel dansk sag viser problemet uden at handle om generativ AI
DR beskriver en igangværende sag om de nye ejendomsvurderinger. Ifølge DR kan hverken boligejeren eller de uafhængige klageinstanser se alle de modelberegninger, der ligger bag den konkrete vurdering. Skatteankestyrelsen oplyser, at den kan prøve det samlede vurderingsfaglige skøn på et andet grundlag, men ikke kontrollere selve modelberegningen. Folketingets Ombudsmand har endnu ikke afsluttet sin undersøgelse.
Det er vigtigt at holde tungen lige i munden. Sagen handler om statistiske kurver og computermodeller i den offentlige ejendomsvurdering. DR kalder ikke systemet generativ AI, og denne artikel tager ikke stilling til, om vurderingerne er lovlige eller fagligt rigtige.
Men sagen viser et problem, som bliver langt mere almindeligt, når virksomheder sætter AI til at anbefale, prioritere og forberede beslutninger:
En klagevej er kun reel, hvis den næste person kan se og udfordre det grundlag, systemet brugte.
Det gælder, uanset om resultatet er en ejendomsvurdering, en forsikringssag, en kreditgrænse, en prioritering af kunder eller en digital medarbejders anbefaling om, hvilke sager der skal afvises.
Et menneske bagefter gør ikke beslutningen gennemsigtig
Mange AI-projekter bliver beskrevet med en beroligende sætning: Det er altid et menneske, der træffer den endelige beslutning.
Det kan være en vigtig grænse. Men sætningen fortæller ikke, hvad mennesket faktisk kan se.
Hvis medarbejderen kun får AI’ens anbefaling og en kort begrundelse skrevet af den samme AI, bliver mennesket let en underskriver. Hvis klagebehandleren kun kan se slutresultatet, kan sagen blive vurderet på ny, men den oprindelige fejl kan forblive skjult. Og hvis ingen kan finde den præcise model, instruktion og dataversion, kan organisationen ikke vide, om ti lignende sager er ramt af det samme problem.
Det afgørende er derfor ikke bare, om et menneske er med. Det er, om mennesket har et selvstændigt beslutningsgrundlag og ret til at ændre resultatet.
EU’s AI-forordning gør forskellen tydelig for de systemer, der falder i kategorien højrisiko-AI. Artikel 12 kræver teknisk mulighed for automatisk logning, så systemets funktion kan spores, mens artikel 13 kræver en grad af gennemsigtighed, der gør det muligt for den organisation, som bruger systemet, at fortolke outputtet og bruge det rigtigt.
De krav gælder ikke enhver chatbot eller lille intern AI-funktion. Men princippet er nyttigt langt bredere: I kan ikke føre tilsyn med en beslutning, hvis systemet kun efterlader resultatet.
Gem beslutningssporet – ikke en losseplads af data
Løsningen er ikke at gemme alt for evigt.
Store mængder logs kan gøre problemet værre. De kan indeholde personoplysninger, forretningshemmeligheder og tusindvis af tekniske hændelser, som ingen klagebehandler kan bruge. Og en models skjulte mellemregninger er ikke nødvendigvis et stabilt eller sandfærdigt referat af, hvorfor resultatet blev, som det blev.
I har brug for et beslutningsspor: de oplysninger, som gør en konkret sag forståelig og mulig at prøve.
For en digital medarbejder kan det blandt andet være:
- hvilke oplysninger og dokumenter der indgik i sagen;
- hvilke kilder systemet hentede, og hvilken version de havde;
- hvilken model, instruktion og regelversion der var i brug;
- hvilke værktøjer systemet brugte, og hvilke handlinger det udførte;
- hvilket forslag systemet gav, hvad et menneske ændrede, og hvem der godkendte resultatet;
- hvilke stopregler, advarsler eller usikkerheder der blev udløst.
Digitalmedarbejders guide til audit logs for AI-agenter beskriver samme grundidé: input, kilder, værktøjskald, godkendelser og handlinger skal kunne følges som en tidslinje. Men loggen får først værdi, når den ansvarlige kan bruge den til at forstå og ændre en sag.
Et lager fyldt med tekniske hændelser er ikke i sig selv et beslutningsspor. Det svarer til at give klagebehandleren en papkasse med alle virksomhedens kvitteringer og kalde sagen oplyst.
Prøv klagevejen, før en rigtig person får brug for den
En klageknap er nem at vise i en demonstration. Det svære er at følge sagen hele vejen.
Vælg derfor en række prøvesager, hvor AI-systemet med vilje får et ufuldstændigt, tvetydigt eller forkert grundlag. Lad derefter en person, som ikke deltog i den oprindelige behandling, prøve resultatet.
Personen skal kunne svare på fire spørgsmål:
Hvad byggede resultatet på? Ikke bare hvilke data der findes i virksomheden, men præcis hvilke oplysninger, kilder og regler der blev brugt i denne sag.
Kan jeg finde fejlen? Beslutningssporet skal gøre det muligt at skelne mellem en forkert kilde, en gammel regel, en model, der misforstod teksten, og et menneske, der godkendte for hurtigt.
Kan jeg ændre resultatet? En klagebehandler skal have mandat og teknisk mulighed for at tilsidesætte anbefalingen, rette sagen og stoppe lignende sager, hvis fejlen kan gå igen.
Lærer systemet af klagen? Organisationen skal kunne finde andre berørte sager og ændre arbejdsgangen. Ellers bliver hver klage behandlet som et enkelt uheld, selv når fejlen er systematisk.
Hvis prøven ender med, at klagebehandleren må spørge udvikleren, leverandøren og den oprindelige sagsbehandler for overhovedet at forstå forløbet, er kontrollen ikke klar til drift.
Klager er ikke kun et værn for den, der bliver ramt
En brugbar klagevej beskytter selvfølgelig kunden, borgeren eller medarbejderen, som får et forkert resultat. Men den beskytter også ledelsen.
En enkelt klage kan være det første synlige tegn på, at en gammel prisliste stadig indgår i svarene, at systemet vægter et bestemt ord for hårdt, eller at mennesker rutinemæssigt accepterer anbefalinger uden at åbne kilderne.
Vores analyse “AI-skepsis er ikke et kommunikationsproblem” handler om, at mennesker skal kunne melde fejl og opleve, at tilbagemeldingen fører til en ændring. Her kommer det næste led: Organisationen skal have gemt nok til at undersøge, hvad der skal ændres.
Og når fejlen er fundet, skal der stadig være en vej tilbage. Analysen “AI skal ikke være fejlfri. Fejl skal kunne rulles tilbage” beskriver, hvordan handlinger kan gøres synlige, mulige at stoppe og mulige at rette. Beslutningssporet forklarer fejlen. Det erstatter ikke evnen til at gøre skaden god igen.
Beslut før drift, hvad en klagebehandler skal kunne se
Det er dyrt at bygge sporbarhed baglæns.
Når først afgørelsen er sendt, datakilden er ændret og modellen opdateret, kan det være umuligt at genskabe den situation, som kunden faktisk blev vurderet i. Derfor bør beslutningssporet være en del af arbejdsgangen fra begyndelsen – især når AI påvirker penge, adgang, rettigheder, arbejde eller andre resultater med høj konsekvens.
Tag én konkret AI-understøttet beslutning i jeres organisation. Lad en person, der ikke kender sagen, prøve den alene ud fra det materiale, systemet gemmer.
Kan personen se grundlaget, finde en mulig fejl, ændre resultatet og finde andre sager med samme problem?
Hvis ikke, mangler I ikke bare en bedre forklaring fra AI’en.
I mangler en reel klagevej.