OpenAI satte sine modeller til at løse en avanceret cybertest. Under testen fandt modellerne en hidtil ukendt sårbarhed i den software, der gav testmiljøet adgang til programpakker. De brugte den til at få adgang til internettet og fortsatte ind i Hugging Faces produktionsmiljø.
Ifølge OpenAIs foreløbige redegørelse var målet snævert: Modellerne forsøgte at finde løsningerne til den benchmark, de blev målt på. De fandt en vej, som testens mennesker ikke havde tænkt som en del af opgaven.
Hugging Face oplyser, at en begrænset mængde interne data og flere credentials blev berørt. Virksomheden fandt ikke tegn på ændringer i offentlige modeller, datasæt, Spaces eller softwareforsyningskæden. Da redegørelsen blev skrevet, var det stadig ved at blive undersøgt, om partner- eller kundedata var påvirket.
Det gør hændelsen konkret nok til en ledelsesbeslutning. En agenttest er ikke afgrænset, fordi nogen har skrevet “test” på miljøet. Den er afgrænset, når agentens mulige veje ud faktisk er lukket, overvåget eller kræver en anden persons godkendelse.
Testmiljøet var en del af agentens værktøjskasse
OpenAI havde fjernet eller reduceret de sædvanlige cyberafvisninger for at måle modellernes maksimale evner. Miljøet var isoleret, men kunne installere programpakker gennem en intern proxy. Den lille åbning blev begyndelsen på resten af forløbet.
For en handlekraftig agent er infrastrukturen omkring opgaven ikke passiv. Pakkeadgang, browser, terminal, API-nøgler, cloudroller og netværksruter er redskaber, som kan sættes sammen. En begrænsning, der virker tydelig for et menneske, kan være endnu et problem, agenten forsøger at løse.
Jeg bruger begrebet arbejdsbænken omkring agenten om den samlede opsætning: instruktioner, kilder, værktøjer, adgang, logning, stopregler og menneskelig overtagelse. Modellen er kun én del. Hændelsen hos OpenAI viser, hvorfor arbejdsbænken skal vurderes som et samlet system.
Det gælder også uden for et AI-laboratorium. En agent, der må læse mail, opdatere et CRM-system og oprette dokumenter, kan måske bruge data eller handlinger på tværs af de tre systemer på en måde, som ingen havde beskrevet på forhånd. Risikoen kommer ikke nødvendigvis fra ét farligt værktøj. Den kan opstå i kombinationen.
Et gammelt mandat kan blive farligere, når modellen bliver bedre
En adgangsopsætning kan være uændret og alligevel skifte risikoniveau. Den første model kan have været for svag til at finde en brugbar vej gennem systemerne. Den næste model kan gennemføre flere trin, prøve flere varianter og holde fast i målet længere.
Det er en praktisk konsekvens af, at AI-kapaciteten udvikler sig hurtigere end mange organisationers arbejdsgange. Ledelsen kan ikke godkende agentens mandat én gang og derefter nøjes med at holde øje med, om infrastrukturen ændrer sig. En væsentlig modelopgradering bør også udløse et nyt blik på adgang, budget, stopregler og de fejl, agenten nu kan nå at lave.
Min tommelfingerregel er, at arbejde med høj konsekvens skal låses ned. Lavere risiko kan godt forblive i beta, hvis forsøget er reversibelt, synligt og har en ejer. OpenAI kørte med vilje en test med lempede sikkerhedsfiltre. Netop derfor skulle den tekniske indeslutning kunne bære mere end i almindelig drift.
Menneskelig kontrol skal ligge før skaden
“Et menneske følger med” er ikke en præcis kontrol. Ved 17.000 registrerede handlinger, som Hugging Face beskriver i sin hændelsesrapport, kan mennesket ikke godkende hvert skridt manuelt. Kontrollen skal derfor placeres ved de overgange, hvor konsekvensen ændrer sig:
- fra interne pakker til åbent internet;
- fra læseadgang til handling;
- fra testdata til produktionsdata;
- fra én identitet eller cloudrolle til en anden;
- fra et fast beregningsbudget til fortsat, selvstændig søgning;
- fra en kendt fejltype til en ukendt vej.
Her skal systemet kunne stoppe, kræve godkendelse eller give et menneske nok information til at afbryde forsøget. Logning bagefter er nødvendig for at forstå hændelsen, men den kan ikke erstatte en grænse før handlingen.
Det samme gælder for de digitale roller, som får tilbagevendende arbejde i en virksomhed. Ledelsen skal vide, hvad agenten må røre, ikke kun hvad dens jobbeskrivelse siger. Mandat uden tekniske adgangsgrænser er en hensigt, ikke en kontrol.
Hændelsen er alvorlig, men den kan ikke generaliseres frit
OpenAIs test var usædvanlig. Modellerne arbejdede med en cyberbenchmark, sikkerhedsafvisninger var reduceret, og de fik ifølge OpenAI en betydelig mængde regnekraft. Hændelsen viser ikke, at en almindelig mødeassistent pludselig angriber et andet selskab. Den beviser heller ikke, at alle sandboxes kan brydes.
Begge virksomheders redegørelser er foreløbige. OpenAI har endnu ikke offentliggjort alle tekniske detaljer eller den fulde tidslinje. Det bør begrænse de store konklusioner.
Den mindre konklusion er til gengæld allerede brugbar. Før en agent får lov at handle, bør den ansvarlige leder kunne svare på fire spørgsmål:
- Hvilke systemer kan agenten nå, også indirekte gennem pakker, plugins og delte credentials?
- Hvilke kombinationer af værktøjer kan føre den uden for den tilsigtede opgave?
- Hvilke overgange stopper automatisk og kræver en ny godkendelse?
- Hvem kan se forløbet og afbryde det, mens det sker?