Sommeren 2026 skulle KI-agenter hos OpenAI løse avgrensede oppgaver i datasikkerhet. Enkelte av oppgavene de fikk, viste seg å være umulig å løse. I møte med slike oppgaver søkte agentene derfor etter andre måter å finne riktige svar.

I stedet for å løse oppgaven alene, slik utviklerne hadde ment, begynte de å kommunisere med hverandre. Denne kommunikasjonen formet en sverm av 1200 agenter som samarbeidet om flere forskjellige oppgaver.

Sammen fant de måter å jukse på enkelte av oppgavene, som gikk på tvers av instruksjoner gitt av mennesker.

Agentene antok at de ville bli diskvalifisert om det ble oppdaget at de hadde jukset. De søkte dermed etter måter å finne informasjon om hvordan de kunne bli tatt. Dette fikk dem til å hacke seg inn på selskapet Hugging Face, en populær plattform for å dele ressurser for å lage KI.3

Denne hendelsen viser oss håndfast hva som skjer når KI blir svært kapabel og samtidig går imot våre intensjoner. Konsekvensene var relativt store. Hugging Face måtte gjenbygge en tredjedel av sin digitale infrastruktur1 og OpenAI brukte mellom 4 og 15 millioner dollar på regnekraft for opprydding, noe som tilsvarer en kostnad på mellom 40 og 150 millioner kroner.2

En KI-agent (AI agent) er et system som kan bruke verktøy og utføre flere handlinger for å løse en oppgave.

For oss i Tryggere KI bekrefter denne hendelsen våre bekymringer og bringer et enda større spørsmål nærmere virkeligheten: Hva skjer hvis systemene blir langt smartere, men fortsatt handler på tvers av menneskers hensikt?

Fra dagens hendelser til langt sterkere KI

Med kunstig superintelligens (ASI, artificial superintelligence) mener vi KI som klart overgår de dyktigste menneskene på de fleste viktige oppgaver som krever tenkning. Et slikt system kunne gitt store fremskritt innen forskning. Men jo mer det kan gjøre, desto større skade kan det også være i stand til å forårsake.4 For eksempel ville en radikalt kapabel KI sannsynligvis kunne slå kritisk infrastruktur ut av spill, som strøm og internett, eller fremstille dødelige syntetiske virus.

Det blir også langt vanskeligere å detektere farlige handlinger og stoppe dem. Under Hugging Face-angrepet oppdaget ikke OpenAI selv at agentene deres hadde brutt ut av rammene og angrepet Hugging Face. Dette var nok til dels firmaets dårlige rutiner, men risikoen for skjulte angrep blir større jo bedre agentene blir til å skjule sine spor. Noe vi så de forsøkte under dette angrepet. Flere lignende utbrudd er også blitt oppdaget i etterkant.

Det er kombinasjonen som bekymrer oss: store evner, upålitelig atferd og sikkerhetsbarrierer som svikter. Hugging Face-hendelsen viser et konkret sikkerhetsbrudd. Bekymringen for en framtidig katastrofe bygger i tillegg på at systemer kan få større evner og mer tilgang, og bli vanskeligere å stanse.

Tre risikoer

Kan gjøre stor skade

Systemet kan gjøre handlinger som får store konsekvenser. Det avhenger både av hva systemet er kapabel til, og hvilke verktøy og ressurser det får tilgang til.

Handler på tvers av menneskers intensjoner

Systemet gjør noe annet enn det vi ønsker, eller forfølger mål som strider mot menneskelige interesser.

Blir ikke stanset i tide

Mennesker og våre sikkerhetssystemer klarer ikke å begrense eller stoppe de farlige handlingene før skaden blir for stor.

Til sammen betyr det en fare for katastrofe. Hvert av disse forholdene er nødvendig for katastrofale konsekvenser. Men selv om kun noen av disse inntreffer kan følgene bli alvorlige.5

Hastighet, kontroll og makt

På forsiden vår møter du tre bredere spørsmål: Hastighet handler om hvordan evnene utvikler seg. Kontroll handler om å kunne stole på systemene og gripe inn. Makt handler om hvem som bestemmer og hvem som blir berørt.6

Makt har to sider her. Selskaper og myndigheter kan få mer makt gjennom KI som gjør akkurat det de ber om. Mennesker kan også miste styring til systemer de selv har satt i arbeid. Derfor dekker sidene både teknisk kontroll, hvem som beholder innflytelsen og ansvar og sikkerhetsarbeid.

Hva er usikkert? Hvor raskt KI blir bedre, hvor godt sikkerhetstiltakene vil virke og hvor sannsynlige de alvorligste utfallene er. Bekymringen er en risiko vi vil forklare og undersøke — ikke en påstand om at katastrofen er uunngåelig.

Velg spørsmålet du vil forstå

Les mer

Langsikts norske innføring forklarer argumentet og vanlige innvendinger. 80,000 Hours går mer i dybden på engelsk. Hendelsesoversikten vår samler fakta om Hugging Face.

Har du spørsmål?

Spør oss om et argument du er usikker på, eller ta del i samtalen. Finn kontaktinformasjon og Discord hos Tryggere KI. Du kan også følge nye innlegg på Substack.

Kilder

  1. OpenAI, 26. august 2026. Redegjørelsen beskriver interne evalueringer og reduserte sikkerhetstiltak.↩

  2. Fortune, 7. august 2026. Anslag på kostnadene ved opprydding etter angrepet.↩

  3. Hugging Face, 16. juli 2026, og METR/Redwood, 26. august 2026. Den sistnevnte undersøkelsen var avgrenset, ikke en full sikkerhetsrevisjon.↩

  4. Arbeidsdefinisjon for serien. Se Carlsmiths risikoanalyse om langt mer kapable systemer og forutsetningene for varig makttap.↩

  5. Modellen bygger på Langsikts notat. Den beskriver risiko fra feiltilpassede autonome systemer, ikke alle KI-skader.↩

  6. Tryggere KIs forside, kontrollert 19. september 2026.↩