A/B testiranje: Kako tehnologija pomaže razvojnom programeru u komunikaciji s publikom

Što je A/B testiranje? 

Uspjeh tehnološkog proizvoda izravno ovisi o njegovoj sposobnosti da stalno

razvijati se.Inovacije (ili, kako ih sami programeri nazivaju, "nove značajke") su neizbježne, ali nije uvijek moguće predvidjeti kako će korisnici platforme reagirati na određene promjene. Možda će značajka učiniti uslugu još praktičnijom i funkcionalnijom, što znači da će privući nove gledatelje na platformu, ali moguće je da ažuriranje neće raditi, a tada će internetsko kino izgubiti gledatelje, preglede i profit. Zapravo, A/B ili split testovi postoje kako bi se provjerilo hoće li promjena biti uspješna. Ovo je relativno jednostavan i brz način testiranja bilo koje hipoteze programera i saznanja kako i koliko uspješno korisnici stupaju u interakciju s inovacijom. Iz komunikacijske perspektive, govorimo o prikupljanju povratnih informacija, što A/B testiranje čini sredstvom komunikacije između platforme i krajnjeg korisnika. 

Za provjeru se može koristiti A/B testiranjehipoteze bilo koje razine. Na primjer, programer je odlučio promijeniti dizajn malog gumba: prebojati ga u drugu boju i umjesto riječi "Start" napisati na njemu "Gledaj". Ili je tim želio potpuno promijeniti dizajn cijele glavne stranice stranice i umjesto statične slike dodati joj interaktivne video elemente. U oba slučaja, A/B test će vam pomoći provjeriti koliko su te ideje dobre.

Programeri će izabrati dva među korisnicimagrupe - A i B. Jedna (skupina A, koja se često naziva i "kontrolna grupa") ostavit će sve kako je bilo, a ostalima (skupina B, "testna grupa") bit će prikazana ažurirana verzija. S vremenom će biti potrebno analizirati koja se razlika pojavila u ponašanju korisnika iz ove dvije skupine, u njihovoj interakciji s platformom. Pojednostavljeno: ako se pokaže da grupa B provodi više vremena u online kinu, češće gleda sadržaj i češće ga odgleda do kraja, tada će ažuriranje prikazano grupi B u testnom načinu koristiti cijeloj usluzi, a ova značajka treba im staviti na raspolaganje sve gledatelje. Ako se ažuriranje više odnosilo na "punjenje" platforme, a ne na dizajn, tada se pri analizi rezultata testa uzimaju u obzir i tehničke karakteristike: je li se promijenila brzina učitavanja sadržaja skupine B, je li testirana značajka utjecala na bitrate i tako dalje. 

Koliko su takvi testovi objektivni? 

U pravilu se regrutiraju ljudi iz skupina A i Bnasumično, odnosno, u prosjeku su plus ili minus isti. Da, u nekim slučajevima programeri mogu ručno odrediti tko će sudjelovati u testiranju kao cjelina, ali ne bi trebalo biti velike razlike između članova dviju odvojenih grupa kako bi rezultati bili što objektivniji. 

Svrha eksperimenta je usporediti reakcijekorisnika koji se međusobno ne razlikuju ni po čemu osim po tome što neki imaju pristup novoj značajci, dok drugi još niti ne znaju za njezino postojanje. Važno je da se u prosjeku ljudi u skupinama A i B ne razlikuju jako u preferencijama sadržaja, iskustvu u korištenju usluge i slično. Nasumično uzorkovanje pomaže u odabiru što prosječnijih i jednakijih skupina. 

Mnogi se mogu zapitati zašto ne samouvesti ažuriranje svim korisnicima platforme i ne uspoređivati ​​pokazatelje nakon ažuriranja i prije njega. Ali zamislite situaciju: učinimo inovaciju dostupnom svima na tjedan dana, usporedimo pokazatelje ovog i prethodnog tjedna i na temelju rezultata otkrijemo porast gledanosti i porast prosječnog vremena gledanja sadržaja. Čini se da je hipoteza dokazana - svidjela im se značajka, bilo je više ljudi, počeli su češće gledati sadržaj. Ali što ako je taj isti tjedan izašla nova sezona popularne TV serije ili je vani svaki dan padala kiša? Porast interesa za platformu i gledanje TV serija kod kuće mogao bi biti posljedica velike premijere, a ne promjena u samoj usluzi. Ili drugi primjer: prethodni tjedan može pasti na praznike, a novi tjedan može pasti na radne dane, a to također može utjecati na odnos korisnika prema online kinu, učestalost gledanja, pa čak i broj novih registracija. &nbsp ;

Za objektivnu procjenu vrijednosti značajke koja vam je potrebnaprovoditi testiranje između dvije različite skupine ljudi, a reakcije tih dviju skupina moraju se pratiti paralelno, u istom razdoblju, kako bi se isključio utjecaj vanjskih događaja na rezultate - blagdana, premijera na platformi ili čak društvenih mreža. novosti vezane uz glumce i redatelje serije predstavljene u online kinoteci. 

Tko provodi A/B testiranje? 

U KION-u A/B testovima upravlja voditelj proizvoda ianalitičar. Oni formuliraju hipoteze, određuju važne metrike i odlučuju koliko korisnika treba sudjelovati u studiji da bi promjena bila statistički značajna.

Općenito, testove mogu provoditi trgovcikoji žele odrediti najučinkovitije alate i metode komunikacije s korisnicima. Slanjem, primjerice, različitih push obavijesti dvjema grupama korisnika i mjerenjem učinkovitosti takvih podsjetnika, oni također provode A/B test.

Kako bi testiranje bilo učinkovito, važno je u startu razmisliti kako ćete vrednovati i analizirati rezultat.

Također, A/B testovi gotovo uvijek uključuju dizajnere proizvoda koji razvijaju nova vizualna rješenja - od cijelih stranica do pojedinačnih gumba - i mijenjaju sučelje platforme. 

Osim toga, programeri često sudjeluju u takvim testovima; mnoge nove značajke koje se tiču ​​tehničkog sadržaja usluge implementiraju se vlastitim rukama. 

Što vam je potrebno za A/B testiranje? 

Ideja 

Ideja inovacije je primarna u A/Btestiranje. Bilo da se radi o ideji za redizajn igrača, ideji za novu značajku ili ideji za promjenu postojeće funkcionalnosti platforme, s ovim "Učinimo..." počinju svi A/B testovi. Ako smatrate da će vaša ideja pomoći servisu, poboljšati korisničko iskustvo i pokazatelje bitne za vašu tvrtku (u našem slučaju broj gledatelja, učestalost i trajanje pregledavanja sadržaja i sl.), onda ideja zaslužuje da postati provjerena hipoteza. 

Hipoteza

Hipoteza je formulirana izjavaformat “Ako napravimo X, tada će se dogoditi pozitivne promjene Y u radu platforme.” Uloga Y može biti povećanje broja registracija, povećanje broja gledanih filmova ili epizoda TV serija u nizu, povećanje vremena koje korisnik provodi na platformi i slično. Formuliranjem hipoteze određujete kakav učinak očekujete od inovacije, što i kako mislite da bi trebalo promijeniti. 

Mjerni podaci 

Da bi testiranje bilo učinkovito, također je važnou startu razmislite kako ćete ocijeniti i analizirati rezultat. Da biste to učinili, morate odrediti na koje ćete metrike obratiti pozornost. Možete ići i u suprotnom smjeru: prvo shvatite koje metrike treba povećati, a zatim iznijeti hipotezu koja bi, teoretski, trebala pridonijeti takvom rastu. 

Osim definiranja metrike, također je važnorazumjeti koju ćete promjenu smatrati važnom. Uvijek postoji statistička pogreška, pogotovo kada se radi o dvije nasumično odabrane grupe korisnika. 

Koliko će ljudi biti potrebno za testiranje?Ovo je također važan parametar. Isplati li se uspoređivati ​​ponašanje na platformi dviju grupa od 3-5 ljudi ili bi takvo istraživanje bilo nereprezentativno? Isplati li se doista uključiti 5000 korisnika u testiranje? Kada su svi odgovori u rukama, možete sa sigurnošću započeti istraživanje. 

Čitaj više:

Snažna baklja izbila je na Suncu: već je zahvatila Zemlju

Srednjovjekovna utvrda slučajno otkrivena u šumi: otkriće je iznenadilo znanstvenike

Znanstvenici su pronašli novu genetsku bolest kod djece: kako se manifestira