AI‑funktioner i produktet: det, kunderne spørger til

En assistent, der opsummerer sager, besvarer spørgsmål om kundens egne data eller udfylder felter automatisk, giver kundernes sikkerhedsansvarlige nye spørgsmål. De handler ikke nødvendigvis om modellen i sig selv. De handler om data og adgang: kan funktionen vise noget, brugeren ikke må se, kan den nå en anden kundes oplysninger, og kan den udføre handlinger, ingen har bedt om? En pentest kan svare på de spørgsmål, når AI-funktionen står i omfanget som en del af produktet, med de samme grænser for roller og kunder som resten.

For softwarehuset er pointen, at AI-funktionen ikke er et særskilt produkt, men en ny vej ind til de samme data. Andre spørgsmål, fx om kundernes data bruges til at træne en model, kan en test ikke besvare. De kræver jeres egen dokumentation og jeres aftaler med udbyderen af modellen.

Spørgsmålene, der kommer

Kundernes spørgsmål om AI kan falde i fire grupper:

Adgang · kan funktionen hente og vise data, som brugeren ikke har ret til?
Adskillelse · kan svar eller forslag indeholde oplysninger fra en anden kunde? → Multi-tenant: test af adskillelsen
Handlinger · kan funktionen ændre, sende eller slette noget, og i givet fald med hvis rettigheder?
Data hos udbyderen · hvor sendes kundens data hen, hvor længe gemmes de, og bruges de til andet end svaret?

De tre første er spørgsmål, en pentest kan belyse. Det fjerde besvares med jeres beskrivelse af løsningen og udbyderens vilkår, og udbyderen af modellen hører med på listen over underleverandører. → Underleverandører i skemaet

Hvad testen afprøver

OWASP har en særskilt liste over sikkerhedsrisici for applikationer, der bygger på store sprogmodeller. I udgaven fra 2025 står bl.a. manipulation af modellen gennem input, videregivelse af følsomme oplysninger og funktioner, der har fået for vide rammer at handle inden for. Listen er nyttig som fælles sprog, når en kunde spørger, hvad testen har dækket.

I et SaaS-produkt ser testen på funktionen på begrebsniveau:

Rettigheder · respekterer funktionen de samme grænser for roller som skærmbillederne, også når den spørges på en anden måde end forventet?
Kundegrænsen · kan en bruger hos én kunde få funktionen til at bruge data fra en anden?
Indhold udefra · kan tekst i et dokument, en mail eller et felt, som funktionen læser, få den til at gøre noget, brugeren ikke har bedt om?
Handlinger · hvis funktionen kan udføre handlinger i produktet, sker de så kun med brugerens egne rettigheder?
Svarene · bliver det, funktionen svarer, behandlet sikkert, når det vises eller bruges videre i produktet?

Den præcise fremgangsmåde er testerens. For jer er det vigtigste, at punkterne står i omfanget, så rapporten kan sige noget om dem. → Roller og rettigheder i produktet

Det, I aftaler før testen

AI-funktioner har nogle praktiske forhold, der skal afklares:

Udbyderens vilkår · hvis modellen leveres af en ekstern udbyder, skal det afklares, hvad udbyderen tillader af test, og at testen gælder jeres brug af tjenesten, ikke udbyderens platform.
Testdata · funktionen skal have noget at arbejde med. Brug testkunder med opdigtede data frem for rigtige kunders oplysninger. → Rigtige kundedata i testen
Forbrug · afprøvningen kan give mange forespørgsler til modellen. Aftal en grænse, så testen ikke koster mere end ventet eller påvirker andre kunder.
Versioner · notér, hvilken model og hvilken opsætning der var i brug. En udskiftning af modellen kan ændre funktionens opførsel.

Det sidste punkt betyder, at en AI-funktion ændrer sig, også uden at I selv ændrer koden. Overvej, hvornår en ny model eller nye instruktioner til modellen er en ændring, der kræver en ny test. → Penetrationstest af en ny funktion

Kundegrænsen er den vigtigste

For en kunde i et delt produkt er det mest alvorlige, at AI-funktionen henter oplysninger fra en anden kunde. Det kan ske, hvis funktionen søger i en fælles samling af data, eller hvis den husker noget fra én samtale til en anden. Sørg for, at testeren har mindst to testkunder med forskelligt indhold, så den grænse faktisk kan afprøves.

Kunderne vil spørge direkte til det. Et svar, der henviser til et konkret afsnit i rapporten, hvor adskillelsen i AI-funktionen blev afprøvet, er stærkere end en forsikring om, at data holdes adskilt.

Finder testen et hul i grænsen, er det et fund, der vedrører alle kunder, der har funktionen slået til. Overvej, om funktionen skal slås fra, indtil rettelsen er på plads, og forbered et svar til kunderne, der forklarer, hvilke data der kunne nås, og af hvem. Kunder, der selv har valgt funktionen fra, skal også have besked om, at de ikke var berørt.

Lovgivning, kunderne nævner

Nogle kunder nævner EU’s AI-forordning. Forordningens artikel 15 kræver bl.a., at højrisiko-AI-systemer er modstandsdygtige over for uautoriserede forsøg på at ændre deres anvendelse, output eller ydeevne ved at udnytte sårbarheder. Om en funktion i jeres produkt hører til den kategori, afhænger af, hvad den bruges til, og skal vurderes for sig. Teksten her er ikke juridisk rådgivning, og en pentest kan ikke i sig selv dokumentere, at kravene er opfyldt.

Den generelle side af test af chatbots og AI på en virksomheds hjemmeside er beskrevet på penetrationtest.dk.

Det skal I lade være med

At holde AI-funktionen ude af omfanget, fordi modellen er en andens · jeres brug af den og dens adgang til data er jeres.
At teste med én kunde · så kan rapporten intet sige om kundegrænsen.
At bruge rigtige kunders data som testmateriale · lav testkunder med opdigtet indhold.
At svare på spørgsmål om træning af modeller med henvisning til pentesten · det er et spørgsmål om aftaler og opsætning.
At glemme, at modellen kan skifte · notér version og opsætning i rapporten.
At love, at funktionen ikke kan misbruges · en test viser, hvad der blev fundet, med de forsøg, der blev gjort.

Hvad kan og ikke kan konkluderes

En test af AI-funktionen kan vise, om testeren kunne få den til at overskride grænserne for roller og kunder, eller udføre handlinger uden for brugerens rettigheder, med den model og opsætning, der var i brug. Den siger intet om, hvordan udbyderen af modellen behandler data, og den kan ikke garantere, at funktionen opfører sig ens efter et skift af model.

Tjekliste til AI-funktionen i testen

☐ Står AI-funktionen i omfanget med rettigheder, kundegrænse og handlinger?
☐ Har testeren mindst to testkunder med forskelligt indhold?
☐ Er udbyderens vilkår for test læst?
☐ Er der en grænse for forbrug under testen?
☐ Er model og opsætning noteret?
☐ Har I et særskilt svar på spørgsmål om data hos udbyderen?

Kilder

OWASP Top 10 for LLM Applications: udgaven fra 2025 med bl.a. prompt injection, videregivelse af følsomme oplysninger og for vide rammer for handlinger.
AI-forordningen, forordning (EU) 2024/1689: artikel 15 om nøjagtighed, robusthed og cybersikkerhed for højrisiko-AI-systemer.

Senest gennemgået: oktober 2026.