Erklæringsbrevet fra testeren: hvad det kan og ikke kan sige

Et erklæringsbrev er det dokument, et softwarehus kan sende bredt til kunder som bevis for en penetrationstest, og derfor er det også det dokument, hvor ordlyden betyder mest. Brevet hviler på én forudsætning: det er testerens udsagn om testen, ikke jeres udsagn om produktet. Alt, hvad brevet siger, skal kunne føres tilbage til rapporten og en eventuel efterprøvning.

Dokumentet kaldes også en testerklæring, og på engelsk et attestation letter eller letter of attestation. Nogle kunder bruger de betegnelser i deres krav. Hvilke felter en testerklæring generelt bør have, er beskrevet på penetrationtest.dk. Her handler det om de formuleringer, I som sælger kommer til at stå på mål for, når brevet bliver læst hos kunden.

Brevet kan blive brugt langt fra den, der bestilte testen. Det bliver vedhæftet i en leverandørportal, videresendt til en indkøber og arkiveret hos kundens revisor. Ingen af dem kan spørge jer, hvad en uklar sætning betyder. Derfor skal brevet kunne forstås uden ledsagende forklaring.

Brevet er testerens, ikke jeres

Det er testeren, der underskriver og står inde for brevet. I kan bede om, at det indeholder bestemte oplysninger, og I kan pege på formuleringer, der er uklare, men I kan ikke bestemme konklusionen. Et brev, hvor testeren har skrevet det, I bad om, i stedet for det, testen viste, har ingen værdi for kunden, hvis det bliver opdaget.

Respektér også, at testeren kan sige nej til en ønsket formulering. Hvis testeren ikke vil skrive, at alle kritiske fund er rettet, er det fordi efterprøvningen ikke viser det, og så er det heller ikke noget, kunden skal læse. → Retestbevis: vis kunden, at fundene er rettet

Det, brevet kan og ikke kan bære

Et brev er stærkest, når hver sætning beskriver noget, der er sket. Eksempler på formuleringer, der typisk kan stå på et dokumenteret grundlag:

Om udførelsen · at en penetrationstest af en navngivet del af produktet er udført i en angivet periode.
Om udgangspunktet · at testen blev udført med login som de angivne roller eller uden login.
Om resultatet · hvor mange fund der blev rapporteret i hver alvorlighedsgrad.
Om status · at fund af en bestemt alvor er efterprøvet som rettet på en angivet dato.
Om forbeholdet · at testen beskriver det aftalte omfang på testtidspunktet.

Andre formuleringer siger mere, end en test kan dokumentere, og en kyndig læser hos kunden vil studse over dem:

Produktet er sikkert · ingen test kan konkludere det.
Der er ingen sårbarheder · testen kan kun sige, hvad den fandt inden for omfanget.
Produktet overholder standarden · en pentest er ikke en certificering eller en revision.
Gyldig i et år · en test har ingen indbygget udløbsdato; kundens krav afgør, hvor gammel den må være.

Brevet skal heller ikke rumme detaljer, der kan bruges mod produktet: beskrivelser af enkelte fund, adresser, testkonti, skærmbilleder eller fremgangsmåder. De hører til rapporten, som kun udleveres under fortrolighed.

Det britiske NCSC skriver i sin vejledning, at en penetrationstest kun kan bekræfte, at systemerne ikke var sårbare over for kendte problemer på testdagen. Den forståelse skal brevet afspejle. → Kunden vil have en rapport, der er under et år

Tre datoer, der ikke må blandes sammen

Kunder kan spørge til datoen, og et brev kan indeholde flere:

Testperioden · hvornår testen faktisk blev udført.
Efterprøvningsdatoen · hvornår rettede fund blev efterprøvet, hvis det er sket.
Udstedelsesdatoen · hvornår brevet blev skrevet.

Det er testperioden, kundens krav om alder som udgangspunkt handler om. Et brev, der er udstedt i går om en test fra sidste år, er ikke en ny test, og brevet skal gøre det tydeligt. Hvis I får et nyt brev efter en efterprøvning, skal det fortsat vise den oprindelige testperiode. → Version og testdatoer

Omfanget i én sætning, der holder

Kunden vil kunne se, om brevet dækker det, kunden køber. Omfanget skal derfor stå konkret: hvilket produkt, hvilke moduler, hvilke grænseflader og eventuelt hvilken version. Står der kun produktets navn, bliver brevet let læst som dækkende for alt, også moduler, der ikke var med. Bed testeren nævne væsentlige udeladelser i brevet, så kunden ikke skal finde dem i rapporten. → Rapporten dækker ikke det modul, kunden køber

Hvis produktet sælges i flere udgaver eller pakker, så bed om, at brevet nævner den eller de udgaver, der var testet. En kunde, der køber den store pakke med integrationer, vil ellers med rette spørge, om integrationerne var med, når brevet kun nævner kerneproduktet.

Når brevet skal skrives om

Et brev beskriver en bestemt test og en bestemt status. Bed om et nyt, når status ændrer sig væsentligt, fx efter en efterprøvning, der lukker de alvorlige fund. Når en ny test er gennemført, erstatter dens brev det gamle, og det gamle skal ikke længere sendes. Hold styr på, hvilke kunder der har fået hvilket brev, så I kan sende en opdatering til dem, der har fået et brev med åbne fund. → Log over, hvem der har fået rapporten

Aftal desuden med testeren, hvem I må sende brevet til. Nogle testere ønsker, at brevet kun udleveres til kunder og ikke offentliggøres på en hjemmeside.

Et tænkt eksempel

Et softwarehus med en løsning til medarbejderundersøgelser beder testeren om et brev efter årets test. Udkastet lyder: “Løsningen er testet og fundet sikker.” Testeren skriver i stedet: “Webapplikationen og dens API er penetrationstestet i perioden 3. til 14. marts med login som medarbejder, leder og administrator. Testen resulterede i ét fund af høj og tre af lav alvor. Fundet af høj alvor er efterprøvet som rettet den 2. april. Testen beskriver det aftalte omfang på testtidspunktet.” Det andet brev er længere, men det er det, kundens sikkerhedsfolk kan bruge.

Det skal I lade være med

Diktere konklusionen · Brevet er testerens udsagn.
Bede om ordet sikker · En test kan ikke dokumentere det.
Blande udstedelsesdato og testperiode · Kunden skal kunne se, hvornår der blev testet.
Skrive omfanget som produktets navn alene · Moduler og grænseflader skal stå.
Sende et gammelt brev efter en ny test · Det nyeste brev erstatter det gamle.
Skrive jeres eget brev i testerens navn · Afsenderen skal være den, der testede.
Lægge fundenes detaljer ind i brevet · De hører til rapporten.

Hvad kan og ikke kan konkluderes

Et præcist erklæringsbrev dokumenterer over for kunden, at en navngiven tester har udført en test af et bestemt omfang i en bestemt periode, med et bestemt resultat og en bestemt status. Det kan ikke dokumentere, at produktet er sikkert, at det overholder en standard, eller at forholdene er de samme efter senere ændringer.