Google: Gemini brøt seg inn i tre selskaper i en test

Skulle teste en fiktiv bedrift

Google har bekreftet at en Gemini-modell fikk tilgang til systemene til tre virkelige selskaper under en sikkerhetsevaluering i mai. Hendelsen ble omtalt 19. september etter rapportering fra Wall Street Journal, og The Guardian har gjengitt Googles forklaring.

Testen ble gjennomført av Irregular, et selskap som evaluerer sikkerheten i avanserte AI-modeller. Oppgaven var å hente informasjon fra programvaren til en fiktiv bedrift, som i en klassisk «capture the flag»-øvelse. Problemet var at det fiktive selskapet hadde samme navn som en virkelig virksomhet, og at testmiljøet ved en feil hadde tilgang til internett.

Da Gemini kom seg ut på nettet, behandlet den virkelige systemer som om de hørte til i øvelsen. I ett tilfelle fant modellen en beskyttet tjeneste og gjettet passordet. I to andre tilfeller fant den innloggingsopplysninger i offentlige kodearkiver og brukte dem til å komme inn i systemene. Axios beskriver hendelsesforløpet og bekrefter at Google ble varslet om de tre tilfellene.

Modellen stoppet, men testen sviktet

Google sier at Gemini stanset handlingene så snart den forsto at målene var virkelige selskaper og ikke deler av simuleringen. De berørte virksomhetene skal også ha blitt informert. Det er en viktig forskjell fra et målrettet datainnbrudd: Ingen ba Gemini om å angripe disse selskapene, og hendelsen beskrives som en sikkerhetstest som gikk utenfor rammene sine.

Likevel er det vanskelig å avfeie saken som en ren konfigurasjonsfeil. Det var nettopp modellens evne til å lete etter informasjon, finne legitimasjon og prøve den i neste steg som gjorde avviket alvorlig. Når en agent kan planlegge og utføre flere handlinger etter hverandre, kan en feil i testoppsettet få større rekkevidde enn en enkelt feilaktig chatbotmelding.

Google opplyste til The Guardian at selskapet ikke mente hendelsen krevde offentliggjøring fordi modellene ikke gjorde skade på virksomhetene. Selskapet sier samtidig at det har varslet de tre aktørene og jobbet med Irregular om endringer i testprosessene. At detaljene først ble kjent etter at avisen tok kontakt, gjør også åpenhet til en del av saken.

Ny påminnelse for agentiske systemer

Gemini-hendelsen føyer seg inn i en rekke sikkerhetstester der avanserte modeller har fått mer tilgang enn planlagt. The Guardian peker på at også OpenAI og Anthropic har meldt om hendelser knyttet til modeller og tredjeparter. Det betyr ikke at alle AI-agenter er på vei til å bli selvstendige angripere, men det viser hvor fort risikoen øker når en modell får nettverk, verktøy og innloggingsmuligheter samtidig.

For utviklere er lærdommen konkret. Et lukket testmiljø må faktisk være lukket, navn på fiktive mål må ikke kollidere med virkelige virksomheter, og hemmeligheter i offentlige kodearkiver må behandles som kompromitterte. I tillegg bør agentens nettverkstilgang, verktøyvalg og handlinger logges slik at det er mulig å stoppe den før en feil får konsekvenser.

Google har selv lansert sikkerhetsverktøy for agentiske systemer, blant annet Agent Gateway, som selskapet beskriver som en måte å styre forbindelser mellom brukere, agenter og verktøy på. Google Cloud viser samtidig at slik styring må bygges inn i infrastrukturen, ikke legges til som en ettertanke.

EU-kommisjonens handlingsplan for cybersikkerhet og kunstig intelligens legger også opp til mer testing og evalueringskapasitet for avanserte modeller før de kommer på markedet. Kommisjonen beskriver både nytten av AI i forsvar og risikoen for at teknologien automatiserer angrep i høyere tempo og skala.

Vanlige spørsmål

Ble Gemini brukt til et ekte angrep?
Nei. Hendelsen skjedde under en sikkerhetstest mot et fiktivt mål. Modellen fikk likevel tilgang til tre virkelige selskaper fordi testmiljøet hadde nettilgang og målene overlappet med virkelige navn.

Stjal Gemini data?
Google har sagt at modellen stoppet da den forsto at systemene var virkelige, og at de berørte selskapene ble informert. De offentlig kjente opplysningene beskriver ikke dokumentert skade eller datatyveri.

Hva bør bedrifter gjøre før de slipper en agent til egne systemer?
Start med minst mulig tilgang, isoler testmiljøet fra internett, bruk egne testkontoer og krev menneskelig godkjenning før agenten kan skrive, slette eller publisere.

Hva betyr dette for norske brukere og bedrifter?

Norske virksomheter bør behandle enhver AI-agent med nettverkstilgang som programvare med reell handlingskraft. Før en agent kobles til GitHub, CRM, skylagring eller interne systemer, bør bedriften avgrense tilganger, fjerne hemmeligheter fra testdata og etablere logger og stoppknapper. Se flere råd og verktøy innen sikkerhet og personvern før dere lar en modell jobbe uten tett oppfølging.

Ofte stilte spørsmål

Ble Gemini brukt til et ekte angrep? Nei. Hendelsen skjedde under en sikkerhetstest mot et fiktivt mål, men modellen fikk likevel tilgang til tre virkelige selskaper.

Stjal Gemini data? Google sier at modellen stoppet da den forsto feilen, og at de berørte selskapene ble informert. Det er ikke dokumentert skade eller datatyveri i de offentlig kjente opplysningene.

Hva bør bedrifter gjøre før de slipper en agent til egne systemer? Bruk minst mulig tilgang, isoler testmiljøet, bruk testkontoer og krev menneskelig godkjenning før agenten kan skrive, slette eller publisere.