A/B-testning: Hur teknik hjälper en utvecklare att kommunicera med en publik

Vad är A/B-testning? 

Framgången för en teknisk produkt beror direkt på dess förmåga att ständigt

utvecklas.Innovationer (eller, som utvecklarna själva kallar dem, "nya funktioner") är oundvikliga, men det är inte alltid möjligt att förutse hur plattformsanvändare kommer att reagera på vissa förändringar. Kanske kommer funktionen att göra tjänsten ännu mer bekväm och funktionell, vilket innebär att den kommer att locka nya tittare till plattformen, men det är möjligt att uppdateringen inte kommer att fungera, och då kommer onlinebiografen att förlora tittare, visningar och vinster. För att kontrollera om en förändring kommer att lyckas, finns det A/B- eller delade tester. Detta är ett relativt enkelt och snabbt sätt att testa alla hypoteser om utvecklare och ta reda på hur och hur framgångsrikt användare interagerar med innovationen. Ur ett kommunikationsperspektiv pratar vi om att samla in feedback, vilket gör A/B-testning till ett kommunikationsmedel mellan plattformen och slutanvändaren. 

A/B-testning kan användas för att verifierahypoteser av vilken skala som helst. Till exempel beslutade utvecklaren att ändra designen på en liten knapp: måla om den i en annan färg och istället för ordet "Start" skriv "Titta" på den. Eller så ville teamet helt ändra designen på hela huvudsidan på webbplatsen och istället för en statisk bild lägga till interaktiva videoelement till den. I båda fallen hjälper ett A/B-test dig att kontrollera hur bra dessa idéer är. 

Utvecklare kommer att välja två från användaregrupper - A och B. En (grupp A, även ofta kallad "kontrollgruppen") kommer att lämna allt som det var, och de andra (grupp B, "testgruppen") kommer att visas den uppdaterade versionen. Med tiden kommer det att bli nödvändigt att analysera vilken skillnad som har dykt upp i beteendet hos användare från dessa två grupper, i deras interaktion med plattformen. För att förenkla: om det visar sig att grupp B tillbringar mer tid i onlinebiografen, tittar på innehåll oftare och ser det till slutet oftare, så kommer uppdateringen som visas för grupp B i testläge att gynna hela tjänsten, och denna funktion bör göras tillgängliga för dem alla åskådare. Om uppdateringen mer gällde "fyllningen" av plattformen, och inte designen, så beaktas även de tekniska egenskaperna när man analyserar testresultaten: ändrades innehållsladdningshastigheten för grupp B, påverkade den testade funktionen bithastighet och så vidare. 

Hur objektiva är sådana tester? 

Som regel rekryteras personer i grupp A och Bslumpmässigt är de i genomsnitt plus eller minus desamma. Ja, i vissa fall kan utvecklare manuellt bestämma vem som ska delta i testningen som helhet, men det bör inte vara så stor skillnad mellan medlemmarna i de två separata grupperna för att resultaten ska bli så objektiva som möjligt. 

Syftet med experimentet är att jämföra reaktioneranvändare som inte skiljer sig från varandra i något annat än att vissa har tillgång till en ny funktion, medan andra inte ens vet om dess existens än. Det är viktigt att personer i grupp A och B i genomsnitt inte skiljer sig så mycket åt vad gäller innehållspreferenser, erfarenhet av att använda tjänsten och så vidare. Slumpmässigt urval hjälper till att välja ut grupper som är så genomsnittliga och lika som möjligt. 

Många kanske undrar varför inte bararulla ut uppdateringen till alla användare av plattformen och jämför inte indikatorerna efter uppdateringen och före den. Men föreställ dig situationen: vi gör en innovation tillgänglig för alla under en vecka, jämför indikatorerna för denna och föregående vecka, och baserat på resultaten upptäcker vi en ökning av tittare och en ökning av den genomsnittliga tiden som spenderas på att titta på innehåll. Det verkar som om hypotesen var bevisad - de gillade funktionen, det fanns fler människor, de började titta på innehållet oftare. Men tänk om en ny säsong av en populär tv-serie släpptes samma vecka eller det regnade ute varje dag? Det ökade intresset för plattformen och att se tv-serier hemma kan mycket väl bero på den uppmärksammade premiären, och inte på förändringar i själva tjänsten. Eller ett annat exempel: föregående vecka kan infalla på helgdagar, och den nya veckan kan infalla på vardagar, och detta kan också påverka användarnas förhållande till onlinebiografen, visningsfrekvensen och till och med antalet nyregistreringar. &nbsp ;

För att objektivt bedöma värdet av en funktion du behövergenomföra tester mellan två olika grupper av människor, och reaktionerna från dessa två grupper måste övervakas parallellt, under samma period, för att utesluta påverkan av främmande händelser på resultaten - helgdagar, premiärer på plattformen eller till och med sociala nyheter relaterade till skådespelarna och regissörerna för serien som presenteras i onlinebiografbiblioteket. 

Vem utför A/B-tester? 

På KION hanteras A/B-tester av en produktchef ochanalytiker. De formulerar hypoteser, bestämmer viktiga mätetal och bestämmer hur många användare som ska delta i studien för att en förändring ska vara statistiskt signifikant.

I allmänhet kan tester utföras av marknadsföraresom vill bestämma de mest effektiva verktygen och metoderna för kommunikation med användare. Genom att till exempel skicka olika push-notiser till två grupper av användare och mäta effektiviteten av sådana påminnelser genomför de också ett A/B-test. 

För att testningen ska bli effektiv är det viktigt att i början fundera över hur du ska utvärdera och analysera resultatet.

Dessutom involverar A/B-tester nästan alltid produktdesigners som utvecklar nya visuella lösningar - från hela sidor till enskilda knappar - och ändrar plattformsgränssnittet. 

Dessutom deltar naturligtvis utvecklare ofta i sådana tester, många nya funktioner angående tjänstens tekniska innehåll implementeras med sina händer. 

Vad behöver du för A/B-testning? 

Idé 

Det är idén om innovation som är primärt inom A/Btestning. Oavsett om det är en idé för en ny design av spelaren, en idé för en ny funktion eller en idé för att ändra en befintlig plattformsfunktionalitet, är det med detta "Let's do..." som alla A/B-tester börjar. Om du tror att din idé kommer att hjälpa tjänsten, förbättra användarupplevelsen och indikatorer som är viktiga för ditt företag (i vårt fall antalet tittare, frekvensen och varaktigheten av innehållsvisningar etc.), då förtjänar idén att bli en beprövad hypotes. 

Hypotes

En hypotes är ett formulerat påståendeformat "Om vi ​​gör X, kommer positiva förändringar Y att ske i driften av plattformen." Y:s roll kan vara en ökning av antalet registreringar, en ökning av antalet filmer eller avsnitt av tv-serier som ses i rad, en ökning av tiden användaren tillbringar på plattformen, och så vidare. Genom att formulera en hypotes bestämmer du vilken effekt du förväntar dig av innovationen, vad och hur du tycker bör förändras. 

Mätvärden 

Чтобы тестирование прошло эффективно, важно еще fundera i början på hur du ska utvärdera och analysera resultatet. För att göra detta måste du bestämma vilka mätvärden du kommer att uppmärksamma. Du kan också gå i motsatt riktning: förstå först vilka mått som behöver ökas och lägg sedan fram en hypotes som i teorin borde bidra till en sådan tillväxt. 

Förutom att definiera mätvärden är det också viktigtförstå vilken förändring du anser vara viktig. Det finns alltid ett statistiskt fel, särskilt när det gäller två slumpmässigt rekryterade grupper av användare. 

Hur många personer kommer att behövas för att testa?Detta är också en viktig parameter. Är det värt att jämföra beteendet på plattformen för två grupper om 3-5 personer, eller skulle en sådan studie vara föga representativ? Är det verkligen värt att involvera 5 000 användare i testet? När alla svar är tillgängliga kan du säkert börja efterforska. 

Läs mer:

En kraftig flamma bröt ut på solen: den har redan påverkat jorden

Medeltida fästning upptäcktes av misstag i skogen: fyndet överraskade forskare

Forskare har hittat en ny genetisk sjukdom hos barn: hur den yttrar sig