A/B-testing: Hvordan teknologi hjelper en utvikler med å kommunisere med et publikum

Hva er A/B-testing? 

Suksessen til et teknologisk produkt avhenger direkte av dets evne til konstant

utvikle seg.Innovasjoner (eller, som utviklerne selv kaller dem, «nye funksjoner») er uunngåelige, men det er ikke alltid mulig å forutsi hvordan plattformbrukere vil reagere på visse endringer. Kanskje vil funksjonen gjøre tjenesten enda mer praktisk og funksjonell, noe som betyr at den vil tiltrekke seg nye seere til plattformen, men det er mulig at oppdateringen ikke vil fungere, og da vil nettkinoen miste seere, visninger og fortjeneste. Det finnes faktisk A/B- eller delte tester for å sjekke om en endring vil være vellykket. Dette er en relativt enkel og rask måte å teste enhver hypotese om utviklere og finne ut hvordan og hvor vellykket brukere samhandler med innovasjonen. Fra et kommunikasjonsperspektiv snakker vi om å samle tilbakemeldinger, som gjør A/B-testing til et kommunikasjonsmiddel mellom plattformen og sluttbrukeren. 

A/B-testing kan brukes til å verifiserehypoteser uansett skala. For eksempel bestemte utvikleren seg for å endre utformingen av en liten knapp: mal den på nytt i en annen farge og i stedet for ordet "Start" skriv "Se" på den. Eller teamet ønsket å fullstendig endre utformingen av hele hovedsiden på nettstedet og i stedet for et statisk bilde legge til interaktive videoelementer til det. I begge tilfeller vil en A/B-test hjelpe deg å sjekke hvor gode disse ideene er. 

Utviklere vil velge to fra brukeregruppe - A og B. En (gruppe A, også ofte kalt "kontrollgruppen") vil la alt være som det var, og de andre (gruppe B, "testgruppen") vil få vist den oppdaterte versjonen. Etter en stund vil det være nødvendig å analysere hvilken forskjell som har vist seg i oppførselen til brukere fra disse to gruppene, i deres interaksjon med plattformen. For å forenkle: Hvis det viser seg at gruppe B bruker mer tid på nettkinoen, ser innhold oftere og ser det til slutten oftere, vil oppdateringen som vises til gruppe B i testmodus være til nytte for hele tjenesten, og denne funksjonen bør gjøres tilgjengelig for alle tilskuere. Hvis oppdateringen dreide seg mer om "fyllingen" av plattformen, og ikke designet, blir de tekniske egenskapene også tatt i betraktning når man analyserer testresultatene: endret innholdshastigheten til gruppe B seg, påvirket den testede funksjonen bitrate og så videre. 

Hvor objektive er slike tester? 

Som regel rekrutteres personer i gruppe A og Btilfeldig, henholdsvis i gjennomsnitt er de pluss eller minus det samme. Ja, i noen tilfeller kan utviklere manuelt bestemme hvem som skal delta i testingen som helhet, men det bør ikke være stor forskjell mellom medlemmene i to separate grupper for at resultatene skal være så objektive som mulig. 

Hensikten med forsøket er å sammenligne reaksjonerbrukere som ikke skiller seg fra hverandre på annet enn at noen har tilgang til en ny funksjon, mens andre ikke engang vet om dens eksistens ennå. Det er viktig at personer i gruppe A og B i gjennomsnitt ikke er store forskjellig i innholdspreferanser, erfaring med å bruke tjenesten og så videre. Tilfeldig prøvetaking bidrar til å velge grupper som er så gjennomsnittlige og like som mulig. 

Mange lurer kanskje på hvorfor ikke barerulle ut oppdateringen til alle brukere av plattformen og ikke sammenlign indikatorene etter oppdateringen og før den. Men forestill deg situasjonen: vi gjør en innovasjon tilgjengelig for alle i en uke, sammenligner indikatorene for denne og forrige uke, og basert på resultatene oppdager vi en økning i seere og en økning i gjennomsnittlig tid brukt på å se innhold. Det ser ut til at hypotesen var bevist - de likte funksjonen, det var flere mennesker, de begynte å se innholdet oftere. Men hva om en ny sesong av en populær TV-serie ble sluppet samme uke eller det regnet ute hver dag? Økningen i interessen for plattformen og å se TV-serier hjemme kan godt skyldes den høyprofilerte premieren, og ikke endringer i selve tjenesten. Eller et annet eksempel: forrige uke kan falle på helligdager, og den nye uken kan falle på ukedager, og dette kan også påvirke brukernes forhold til nettkinoen, visningsfrekvensen og til og med antallet nye registreringer. &nbsp ;

For å objektivt vurdere verdien av en funksjon du trengergjennomføre testing mellom to forskjellige grupper av mennesker, og reaksjonene til disse to gruppene må overvåkes parallelt, i samme periode, for å utelukke påvirkning av fremmede hendelser på resultatene - helligdager, premierer på plattformen eller til og med sosiale nyheter knyttet til skuespillerne og regissørene av serien presentert i nettkinobiblioteket. 

Hvem utfører A/B-testing? 

Hos KION håndteres A/B-tester av en produktsjef oganalytiker. De formulerer hypoteser, bestemmer viktige beregninger og bestemmer hvor mange brukere som skal delta i studien for at en endring skal være statistisk signifikant.

Generelt kan tester utføres av markedsføreresom ønsker å bestemme de mest effektive verktøyene og metodene for kommunikasjon med brukere. Ved å sende for eksempel ulike push-varsler til to grupper brukere og måle effektiviteten til slike påminnelser, gjennomfører de også en A/B-test. 

For at testing skal være effektiv, er det viktig i starten å tenke på hvordan du skal evaluere og analysere resultatet.

Dessuten involverer A/B-tester nesten alltid produktdesignere som utvikler nye visuelle løsninger - fra hele sider til individuelle knapper - og endrer plattformgrensesnittet. 

I tillegg deltar selvfølgelig utviklere ofte i slike tester mange nye funksjoner angående det tekniske innholdet i tjenesten implementeres med hendene. 

Hva trenger du for A/B-testing? 

Idé 

Det er ideen om innovasjon som er primært i A/Btesting. Enten det er en idé for et redesign av spilleren, en idé for en ny funksjon eller en idé for å endre en eksisterende plattformfunksjonalitet, er det med denne «La oss gjøre...» at alle A/B-tester begynner. Hvis du tror at ideen din vil hjelpe tjenesten, forbedre brukeropplevelsen og indikatorer som er viktige for din bedrift (i vårt tilfelle antall seere, frekvensen og varigheten av innholdsvisninger osv.), så fortjener ideen å bli en testet hypotese. 

Hypotese

En hypotese er et formulert utsagnformat "Hvis vi gjør X, vil positive endringer Y skje i driften av plattformen." Rollen til Y kan være en økning i antall registreringer, en økning i antall filmer eller TV-serieepisoder som er sett på rad, en økning i tiden brukeren bruker på plattformen, og så videre. Ved å formulere en hypotese bestemmer du hvilken effekt du forventer av innovasjonen, hva og hvordan du mener bør endres. 

Beregninger 

For at testing skal være effektiv er det også viktigi starten, tenk på hvordan du vil evaluere og analysere resultatet. For å gjøre dette må du bestemme hvilke beregninger du vil ta hensyn til. Du kan også gå i motsatt retning: Forstå først hvilke beregninger som må økes, og fremfør deretter en hypotese som i teorien bør bidra til en slik vekst. 

I tillegg til å definere beregninger, er det også viktigforstå hvilken endring du vil anse som viktig. Det er alltid en statistisk feil, spesielt når det gjelder to tilfeldig rekrutterte brukergrupper. 

Hvor mange personer vil være nødvendig for testing?Dette er også en viktig parameter. Er det verdt å sammenligne oppførselen på plattformen til to grupper på 3-5 personer, eller vil en slik studie være lite representativ? Er det virkelig verdt å involvere 5000 brukere i testen? Når alle svarene er klare, kan du trygt begynne forskningen. 

Les mer:

En kraftig bluss brøt ut på solen: den har allerede påvirket jorden

Middelalderfestning oppdaget ved et uhell i skogen: funnet overrasket forskere

Forskere har funnet en ny genetisk sykdom hos barn: hvordan den manifesterer seg