Beta eller pilot med rigtige kunder: skal den testes først?

En beta eller pilot er tænkt som en prøve, men for kunderne, der deltager, kan det være rigtig drift med rigtige brugere og rigtige data. Om produktet skal testes, før piloten starter, afhænger derfor ikke af, hvad I kalder fasen, men af, hvad pilotkunderne lægger ind, og hvad de har fået at vide. Lægger de rigtige data ind, bør sikkerheden være vurderet, før de gør det, og testens omfang bør stå i et rimeligt forhold til de data.

En pentest før en pilot behøver ikke være lige så bred som den, der skal bruges over for alle kunder senere. Men den bør dække det, pilotkunderne faktisk udsætter sig for. Og den bør ligge, før de første rigtige oplysninger bliver lagt ind, ikke et par uger inde i forløbet, hvor kunden allerede har vænnet sig til at bruge produktet som en del af sin drift.

Når en prøve bliver til drift

Et pilotforløb kan sagtens starte med testdata og ende med rigtige data, fordi kunden vil se produktet i sit eget arbejde. Det kan være netop formålet. Men så er det ikke længere en prøve set fra kundens side. Kundens medarbejdere logger ind, kundens oplysninger ligger hos jer, og en svaghed i produktet vil ramme en rigtig virksomhed. Pilotkunden har måske heller ikke stillet de spørgsmål om sikkerhed, en almindelig kunde ville stille, fordi det hele føltes foreløbigt. Så er det jer, der skal tænke på det for begge parter.

Det gælder også, når piloten kun omfatter en ny funktion i et eksisterende produkt. Funktionen kører sammen med alt det andet, og en fejl i den kan i værste fald give adgang til mere end den nye funktion. → Funktioner, der kun er slået til for nogle

Tre spørgsmål før piloten

Inden piloten starter, er der tre spørgsmål, der afgør, hvor meget test der er brug for:

Hvilke data kommer ind? · testdata, en kopi af kundens data eller kundens løbende drift.
Hvor mange og hvem? · én kunde med få brugere eller flere kunder, der deler samme løsning.
Hvad er nyt? · en ny funktion på en testet platform eller et helt nyt produkt.

Et nyt produkt med flere kunder og rigtige data er det tilfælde, hvor en test før start giver mest mening. En lille ny funktion hos én kunde med testdata kan ofte vente til den samlede test før lanceringen. → Penetrationstest af en ny funktion før lancering

Flere pilotkunder i samme løsning betyder, at adskillelsen mellem dem allerede er afgørende. Den bør være afprøvet, før kunderne er der. → Multi-tenant

Hvad en test før piloten kan dække

En test før en pilot kan være afgrænset til det vigtigste: login og adgangskontrol, adskillelsen mellem kunderne og de steder, hvor kundernes data kommer ind og ud. Det er de dele, hvor en fejl har størst konsekvens for pilotkunderne.

Piloten kan køre i et miljø, der endnu ikke ligner den endelige drift. Det har betydning for, hvad testen siger. En test af pilotmiljøet siger noget om pilotmiljøet. Flytter produktet senere til et nyt miljø før lancering, skal I vurdere, om testen stadig passer. → Et staging-miljø til testen

Hvad pilotkunderne skal have at vide

Pilotkunder ved, at produktet ikke er færdigt. Men de ved ikke nødvendigvis, hvad det betyder for sikkerheden. Det er rimeligt at fortælle dem, om produktet er testet, hvad testen omfattede, og hvad der endnu mangler. Det er også rimeligt at anbefale, hvilke data de bør og ikke bør bruge i piloten.

Et kort skriftligt notat, der følger med pilotaftalen, kan klare det. Det beskytter både kunden og jer: kunden ved, hvad de går ind til, og I har dokumentation for, hvad der blev sagt. Vil pilotkunden bruge rigtige data, så tag stilling til det i aftalen. → Rigtige kundedata i testen

Pilotkunder kan meget vel blive de første betalende kunder. Hvad de hører om test i piloten, sætter forventningen til, hvad de vil spørge om senere. → Den første store erhvervskunde

Piloten og lanceringsdatoen

En pilot er et godt tidspunkt at teste, fordi produktet er stabilt nok til, at det giver mening, men ikke så færdigt, at rettelser er dyre at lave. Fund fra en test i pilotfasen kan nå at blive rettet, før produktet går bredt ud. Det kan give mere ro i planen end en test, der ligger lige før lanceringen. → Lanceringsdato og testvindue

Til gengæld er en test i pilotfasen ikke nødvendigvis den, I kan vise alle kunder efter lanceringen. Ændrer produktet sig meget efter piloten, kan der være brug for en ny test, før rapporten bruges i salget. Skriv derfor tydeligt på pilottestens rapport, hvilken version og hvilket miljø den gælder, så den ikke senere bliver brugt til mere, end den kan bære.

Et tænkt eksempel

Et softwarehus udvikler et nyt modul til lønindberetning og vil have to kunder med i en pilot. Den ene vil kun bruge testdata. Den anden vil køre sine rigtige lønkørsler i modulet for at se, om det holder.

Softwarehuset vurderer, at den anden kunde gør piloten til drift. De får derfor en afgrænset test af login, rettigheder og adskillelsen mellem de to kunder, før modulet åbnes. Testen finder et fund i rettighederne, som rettes, inden den anden kunde lægger de første lønoplysninger ind. Pilotaftalen får et kort afsnit om, hvad der er testet, og hvad der testes før lanceringen. Den fulde test af modulet ligger inden den brede lancering, og den rapport bliver den, sælgerne bruger.

Det skal I lade være med

Kalde det en prøve, når kunden bruger rigtige data · for kunden er det drift.
Lade pilotkunderne gætte på, om produktet er testet · sig det, også når svaret er nej.
Glemme adskillelsen, fordi der kun er få kunder · to kunder er nok til, at den betyder noget.
Bruge piloten som undskyldning for at springe testen over · fund er billigst at rette nu.
Vise pilottesten som dokumentation efter lanceringen · produktet kan have ændret sig meget.

Hvad kan og ikke kan konkluderes

En test før piloten kan vise, at de vigtigste dele var i orden, da pilotkunderne kom ind. Den kan ikke dokumentere det færdige produkt, og den dækker ikke det, der ændres eller bygges efter piloten.