Promptfoo
Promptfoo er en åpen kildekode-plattform for testing, evaluering og red teaming av språkmodeller og AI-agenter. Den kan kjøre kvalitetstester i CI, simulere prompt injection og jailbreak-forsøk og undersøke datalekkasjer, verktøykall og RAG-kontekst. Community-utgaven er gratis og lokal; Enterprise tilbyr driftet eller lokalt oppsett med flere sikkerhets- og samarbeidsfunksjoner.
Promptfoo er et verktøy for å evaluere og sikkerhetsteste språkmodeller, RAG-løsninger og AI-agenter. Fellesskapsutgaven er gratis og kan kjøres lokalt, mens Enterprise har rapporter, tilgangsstyring og overvåking med pris etter avtale.
Promptfoo startet som et åpen kildekode-prosjekt for å sammenligne språkmodeller og AI-apper. Selskapet ble grunnlagt i 2024, og OpenAI kunngjorde oppkjøpet av Promptfoo i mars 2026 for å ta teknologien inn i Frontier. Dokumentasjonen og prislisten var fortsatt aktive i september 2026, med både Community- og Enterprise-spor.
I praksis beskriver utvikleren målmodellen eller agenten i konfigurasjon, kobler på en eller flere modelltilbydere og kjører evalueringssett. Red-team-modulen kan prøve prompt injection, jailbreak, sensitive data, skadelige eller avsporede svar, RAG-manipulasjon og risiko knyttet til verktøykall. Testene passer i CI og kan sammenligne modeller, systemprompter og guardrails over tid. Den åpne utgaven kan kjøres lokalt, mens Enterprise legger til dashboard, RBAC, SSO, kontinuerlig overvåking, rapporter og egne angrepsprofiler.
Styrken er bredden: Promptfoo fungerer mer som et test- og kvalitetssikringslag enn som en enkelt innholdsfiltertjeneste. Det gjør verktøyet relevant før lansering og ved endringer i en agent, men det er ikke i seg selv en garanti for sikker drift. Du må også tolke funnene og rette svakhetene i applikasjonen.
Personvern krever en konkret konfigurasjon. Ifølge dokumentasjonen om datahåndtering kjører målmodellen alltid på ditt system, men standard fjernbasert generering og gradering kan sende oppsett, prompter, svar og vurderingskriterier til Promptfoo. Lokal kjøring og Enterprise on-premise kan begrense dette. Se også guiden vår om AI for sårbarhetsskanning, guiden om beste AI-sikkerhet, guiden om AI-personvern for bedrifter og kategorien sikkerhet og personvern. Priser og funksjonsnivå står på Promptfoos prisside; oppkjøpet er omtalt av TechCrunch.
Nøkkelfunksjoner
- Kvalitetsevaluering av språkmodeller og AI-applikasjoner
- Red teaming for prompt injection og jailbreak
- Tester av RAG-kontekst, datalekkasjer og sensitive opplysninger
- Vurdering av verktøykall og agentadferd
- Konfigurasjon og kjøring i CI/CD
- Sammenligning av modeller, prompter og versjoner
- Lokalt åpen kildekode-oppsett
- Enterprise-dashboard, RBAC, SSO og kontinuerlig overvåking
Hvem passer det for
Promptfoo passer for utvikler- og sikkerhetsteam som må dokumentere at en språkmodell, RAG-applikasjon eller agent tåler systematiske tester før og etter produksjonssetting. Det er mer omfattende enn de fleste trenger for en enkel privat chatbot.
Prising
- Community: Gratis — Åpen kildekode, lokal kjøring, evalueringer og opptil 10 000 red-team-prober per måned.
- Enterprise: Pris etter avtale — Dashboard, team, kontinuerlig overvåking, SSO/RBAC, API, egne angrepsprofiler og support.
- On-Premise: Pris etter avtale — Isolert bedriftsoppsett med funksjoner for organisasjoner som ikke vil bruke driftet tjeneste.
Gratisnivå: Community er gratis og åpen kildekode med lokal kjøring, evalueringsfunksjoner og et månedlig tak på red-team-prober. Enterprise-funksjoner krever avtale. Prisene er hentet fra leverandørens prisside i oktober 2026 og endrer seg ofte — sjekk alltid hos leverandøren før du kjøper.
Norsk språkstøtte
Grensesnitt og dokumentasjon er på engelsk. Norske prompter kan testes dersom den valgte språkmodellen håndterer norsk, men Promptfoo oppgir ikke en egen norsk språkpakke eller norsk support. Dataflyten avhenger av lokale modeller, valgte API-er og om fjernbasert gradering brukes.
Fordeler
- Åpen kildekode og gratis Community-utgave
- Dekker både kvalitetsevaluering og red teaming
- Kan kobles til CI og kjøres lokalt
- Enterprise har rapporter, tilgangsstyring og overvåking
Ulemper
- Krever teknisk oppsett og tolkning av testfunn
- Fjernbasert generering og gradering kan behandle prompter og svar
- Enterprise-pris er ikke offentlig
- Tester gir ikke alene en full sikkerhetsvurdering
Bunnlinje
Promptfoo er et fleksibelt valg for team som vil gjøre AI-sikkerhet til en del av utviklingsløpet. Gratis lokal kjøring gjør terskelen lav, men de mest komplette samarbeids- og overvåkingsfunksjonene krever en Enterprise-avtale, og dataflyten må konfigureres bevisst.
Kilder
Ofte stilte spørsmål om Promptfoo
Hva er Promptfoo?
Promptfoo er et åpen kildekode-verktøy for å evaluere og sikkerhetsteste språkmodeller, RAG-applikasjoner og AI-agenter. Det brukes til å sammenligne modeller og prompter, simulere angrep og finne svakheter før eller etter produksjonssetting.
Er Promptfoo gratis?
Ja. Community-utgaven er gratis, åpen kildekode og kan kjøres lokalt. Den har et dokumentert tak på 10 000 red-team-prober per måned. Dashboard, teamfunksjoner, overvåking, SSO og support ligger i Enterprise, der prisen avtales med leverandøren.
Kan Promptfoo teste norske prompter?
Ja, selve testverktøyet kan sende norske prompter til en modell som støtter norsk. Promptfoo oppgir ikke en egen norsk språkmodul, og kvaliteten på angreps- og graderingsresultatene avhenger derfor av modellen og evalueringsoppsettet du velger.
Hvilke data sender Promptfoo ut av maskinen?
Målmodellen kjører ifølge dokumentasjonen alltid på ditt system, men standard fjernbasert generering og gradering kan sende konfigurasjon, prompter, svar og vurderingskriterier til Promptfoo. Lokal kjøring, egne modeller og on-premise-oppsett kan redusere denne dataflyten.
Er Promptfoo fortsatt aktivt etter oppkjøpet av OpenAI?
Ja. OpenAI kunngjorde oppkjøpet i mars 2026, og Promptfoo hadde fortsatt aktiv dokumentasjon, prisside og Enterprise-funksjoner i september 2026. Et oppkjøp kan likevel endre produktets retning, så større virksomheter bør følge leverandørens videre kunngjøringer.