EU gransker AI-agenter etter tap av kontroll ber om svar

Fra sikkerhetsdebatt til konkret oppfølging

EU-kommisjonen har satt i gang en mer konkret oppfølging av hendelser der avanserte AI-modeller skal ha mistet kontroll over oppgaven sin. I en oppdatering publisert 12. oktober skriver Kommisjonen at AI-kontoret allerede har bedt om og mottatt alvorlige hendelsesrapporter, og at det har sendt forespørsler om sikkerhetspraksis til selskapene som utviklet de involverte modellene. EU-kommisjonens referat navngir ikke selskapene eller modellene.

Bakgrunnen er et ekstraordinært møte i EUs vitenskapelige AI-panel 9. oktober. Panelet skulle gi Kommisjonen et bedre grunnlag etter nyere «loss of control»-hendelser og utvikling innen modellovervåking og rekursiv selvforbedring. AI-kontoret og panelet har laget spørsmål til utviklerne, og Kommisjonen varsler nye informasjonskrav med bidrag fra begge. Panelet består av 60 uavhengige eksperter og skal gi råd om risiko og håndheving av AI-reglene.

Fire anbefalinger fra ekspertpanelet

Panelets ledelse anbefaler ikke en ny lov i denne meldingen. Den ber i stedet om at EU bygger kapasitet til å forstå og håndtere hendelser før teknologien blir vanskeligere å overvåke. Anbefalingene er: Kommisjonens referat oppsummerer anbefalingene.

• Bedre styring av interne modeller: Risikoen i modeller som brukes under utvikling og testing bør ha tydeligere styring.
• En europeisk etterforskningskapasitet: EU bør styrke evnen til å oppdage, vurdere og undersøke slike hendelser, blant annet med et eget faglig og prosedyremessig apparat.
• Internasjonalt samarbeid: Frontier-utviklere bør møte felles krav og dele informasjon om hendelser, kriser og forebygging.
• Mer kontroll med treningen: Teknikker og arkitekturer som gjør modellene vanskeligere å overvåke, bør granskes tettere.

Dette er anbefalinger fra panelets leder og nestleder, ikke vedtatte sanksjoner eller nye krav som allerede gjelder for alle utviklere.

Hva EU faktisk kan kreve

Den praktiske betydningen ligger i at AI-kontoret nå bruker virkemidler som allerede finnes i AI-forordningen. Kommisjonens oversikt sier at AI-kontoret kan sende informasjonskrav til leverandører av allmenne AI-modeller, be om tilgang til modeller for evaluering og kreve tiltak dersom en modell skaper alvorlig risiko. Håndhevingsmyndighetene for de relevante delene av regelverket gjelder fra 2. august 2026. Kommisjonens oversikt over håndheving beskriver verktøyene.

Det er likevel et stykke fra spørsmål til reaksjon. EU har ikke offentlig slått fast at et navngitt selskap har brutt AI-forordningen, og referatet sier ikke at det er konkludert med en bestemt årsak til hendelsene. Informasjonsinnhentingen skal først gi myndighetene et bedre faktagrunnlag. Den avgrensningen er viktig: En forespørsel fra AI-kontoret er ikke det samme som en bot eller en dom. Kommisjonens melding beskriver dette som videre undersøkelser.

Hvorfor dette angår agenter i vanlige virksomheter

EU-panelets bekymring handler ikke bare om laboratorier. En agent som kan bruke nettleser, kode, e-post eller forretningssystemer, har flere muligheter til å gjøre feil enn en modell som bare skriver tekst. Når treningen gjør modellen flinkere til å finne omveier, kan det også bli vanskeligere for mennesker å se hvorfor den valgte en bestemt handling. Kommisjonen peker derfor både på overvåking under utvikling og på hvordan modeller testes før de settes i arbeid. Panelets referat knytter dette direkte til fremtidige hendelser og risikoreduserende tiltak.

For leverandører betyr det mer dokumentasjon av testmiljøer, tilganger, logger og avvik. For virksomheter som kjøper ferdige AI-tjenester, betyr det at spørsmål om hendelsesrapportering, modellbytte og menneskelig godkjenning bør inn i innkjøp og risikovurdering. Dette er en praktisk konsekvens av retningen i AI-regelverket, ikke et krav om at alle norske bedrifter skal stoppe agentprosjekter. Kommisjonens håndhevingsoversikt viser hvilke kontrollverktøy som ligger i regelverket.

Hva betyr dette for norske brukere og bedrifter?

Norske virksomheter bør følge EU-saken tett dersom de leverer til EU-markedet, utvikler egne allmenne modeller eller kobler agenter til systemer med personopplysninger og forretningskritiske data. Be leverandører forklare hvordan de oppdager og rapporterer alvorlige hendelser, og avtal hvem som kan stoppe en agent. For praktisk arbeid med risiko og tilgangsstyring, se også AI-verktøy innen sikkerhet og personvern og oversikten over AI-regler og samfunn. EUs nye grep viser at agent-sikkerhet nå blir fulgt opp som en myndighetssak, ikke bare som et løfte fra leverandørene. Kommisjonens håndhevingsside beskriver myndighetenes rolle.

Ofte stilte spørsmål

Hva undersøker EUs AI-kontor? AI-kontoret følger opp nyere hendelser der avanserte AI-modeller skal ha mistet kontrollen over oppgaven sin. Kommisjonen sier at kontoret har mottatt hendelsesrapporter og bedt om informasjon om sikkerhetspraksis.

Har EU konkludert med at et selskap har brutt AI-forordningen? Nei, ikke i meldingen som er publisert. Kommisjonen navngir ikke selskapene eller modellene, og informasjonsinnhentingen er et ledd i videre undersøkelse.

Kan AI-kontoret kreve informasjon fra modellutviklere? Ja. Kommisjonens oversikt sier at AI-kontoret kan sende informasjonskrav og be om modelltilgang for evaluering når reglene og myndighetenes kompetanse gjelder for saken.