Hvad er A/B-test?
Et teknologisk produkts succes afhænger direkte af dets evne til konstant
A/B-test kan bruges til at verificerehypoteser af enhver skala. For eksempel besluttede udvikleren at ændre designet af en lille knap: male den igen i en anden farve og i stedet for ordet "Start" skrive "Se" på den. Eller teamet ønskede fuldstændigt at ændre designet af hele webstedets hovedside og i stedet for et statisk billede tilføje interaktive videoelementer til det. I begge tilfælde vil en A/B-test hjælpe dig med at kontrollere, hvor gode disse ideer er.
Udviklere vil vælge to blandt brugernegrupper - A og B. En (gruppe A, også ofte kaldet "kontrolgruppen") vil lade alt være, som det var, og de andre (gruppe B, "testgruppen") vil få vist den opdaterede version. Over tid vil det være nødvendigt at analysere, hvilken forskel der har vist sig i adfærden hos brugere fra disse to grupper, i deres interaktion med platformen. For at forenkle: Hvis det viser sig, at gruppe B bruger mere tid i onlinebiografen, ser indhold oftere og ser det til ende oftere, så vil opdateringen vist til gruppe B i testtilstand gavne hele tjenesten, og denne funktion bør stilles til rådighed for dem alle tilskuere. Hvis opdateringen mere vedrørte platformens "fyldning" og ikke designet, så tages der også hensyn til de tekniske egenskaber ved analyse af testresultaterne: ændrede indholdsindlæsningshastigheden for gruppe B sig, påvirkede den testede funktion bitrate og så videre.
Hvor objektive er sådanne tests?
Som regel rekrutteres personer i gruppe A og Bhenholdsvis tilfældigt er de i gennemsnit plus eller minus ens. Ja, i nogle tilfælde kan udviklere manuelt bestemme, hvem der skal deltage i testen som helhed, men der bør ikke være stor forskel mellem medlemmerne af de to separate grupper, for at resultaterne skal være så objektive som muligt.
Formålet med forsøget er at sammenligne reaktionerbrugere, der ikke adskiller sig fra hinanden på andet end, at nogle har adgang til en ny funktion, mens andre ikke engang kender til dens eksistens endnu. Det er vigtigt, at personer i gruppe A og B i gennemsnit ikke adskiller sig meget i indholdspræferencer, erfaring med at bruge tjenesten og så videre. Stikprøver hjælper med at udvælge grupper, der er så gennemsnitlige og lige som muligt.
Mange kan undre sig over, hvorfor ikke bareudrul opdateringen til alle brugere af platformen og sammenlign ikke indikatorerne efter opdateringen og før den. Men forestil dig situationen: Vi gør en innovation tilgængelig for alle i en uge, sammenligner indikatorerne for denne og den foregående uge, og baseret på resultaterne opdager vi en stigning i seere og en stigning i den gennemsnitlige tid brugt på at se indhold. Det ser ud til, at hypotesen var bevist - de kunne lide funktionen, der var flere mennesker, de begyndte at se indholdet oftere. Men hvad nu hvis en ny sæson af en populær tv-serie blev udgivet i samme uge, eller det regnede udenfor hver dag? Den stigende interesse for platformen og at se tv-serier derhjemme kan meget vel skyldes den højt profilerede premiere, og ikke ændringer i selve tjenesten. Eller et andet eksempel: den foregående uge kan falde på helligdage, og den nye uge kan falde på hverdage, og det kan også påvirke brugernes forhold til onlinebiografen, visningsfrekvensen og endda antallet af nye tilmeldinger.   ;
For objektivt at vurdere værdien af en funktion, du har brug forudføre test mellem to forskellige grupper af mennesker, og reaktionerne fra disse to grupper skal overvåges parallelt i samme periode for at udelukke indflydelsen fra uvedkommende begivenheder på resultaterne - helligdage, premierer på platformen eller endda sociale nyheder relateret til skuespillerne og instruktørerne af serien præsenteret i online biografbiblioteket.
Hvem udfører A/B-tests?
Hos KION varetages A/B tests af en produktchef oganalytiker. De formulerer hypoteser, bestemmer vigtige målinger og beslutter, hvor mange brugere der skal deltage i undersøgelsen, for at ændringen er statistisk signifikant.
Generelt kan test udføres af marketingfolkder ønsker at bestemme de mest effektive værktøjer og metoder til kommunikation med brugerne. Ved at sende for eksempel forskellige push-beskeder til to grupper af brugere og måle effektiviteten af sådanne påmindelser, udfører de også en A/B-test.
For at test skal være effektivt, er det vigtigt i starten at tænke over, hvordan du vil evaluere og analysere resultatet.
Desuden involverer A/B-test næsten altid, at produktdesignere udvikler nye visuelle løsninger - fra hele sider til individuelle knapper - og ændrer platformens grænseflade.
Derudover deltager udviklere naturligvis ofte i sådanne tests, mange nye funktioner vedrørende det tekniske indhold af tjenesten implementeres med deres hænder.
Hvad skal du bruge til A/B-test?
Idé
Det er idéen om innovation, der er primært i A/Bafprøvning. Uanset om det er en idé til et redesign af spilleren, en idé til en ny funktion eller en idé til at ændre en eksisterende platforms funktionalitet, er det med denne "Lad os gøre...", at alle A/B-tests begynder. Hvis du mener, at din idé vil hjælpe tjenesten, forbedre brugeroplevelsen og indikatorer, der er vigtige for din virksomhed (i vores tilfælde antallet af seere, hyppigheden og varigheden af indholdsvisninger osv.), så fortjener ideen at blive en testet hypotese.
Hypotese
En hypotese er et formuleret udsagnformat "Hvis vi gør X, så vil positive ændringer Y ske i driften af platformen." Y's rolle kan være en stigning i antallet af registreringer, en stigning i antallet af film eller afsnit af tv-serier, der ses i træk, en stigning i den tid, brugeren bruger på platformen, og så videre. Ved at formulere en hypotese bestemmer du, hvilken effekt du forventer af innovationen, hvad og hvordan du synes skal ændre sig.
Metrics
For at test skal være effektivt, er det også vigtigti starten skal du tænke over, hvordan du vil evaluere og analysere resultatet. For at gøre dette skal du bestemme, hvilke metrics du vil være opmærksom på. Du kan også gå i den modsatte retning: Forstå først, hvilke målinger der skal øges, og fremsæt derefter en hypotese, som i teorien skulle bidrage til en sådan vækst.
Ud over at definere metrics er det også vigtigtforstå, hvilken ændring du vil betragte som vigtig. Der er altid en statistisk fejl, især når det drejer sig om to tilfældigt rekrutterede grupper af brugere.
Hvor mange mennesker skal der til at teste?Dette er også et vigtigt parameter. Er det værd at sammenligne adfærden på platformen for to grupper på 3-5 personer, eller ville en sådan undersøgelse være urepræsentativ? Er det virkelig værd at involvere 5.000 brugere i testen? Når alle svarene er klar, kan du roligt begynde research.
Læs mere:
Et kraftigt udbrud brød ud på Solen: det har allerede påvirket Jorden
Middelalderfæstning opdaget ved et uheld i skoven: fundet overraskede videnskabsmænd
Forskere har fundet en ny genetisk sygdom hos børn: hvordan den manifesterer sig