Ce este testarea A/B?
Succesul unui produs tehnologic depinde direct de capacitatea acestuia de a face în mod constant
Testarea A/B poate fi folosită pentru a verificaipoteze de orice scară. De exemplu, dezvoltatorul a decis să schimbe designul unui buton mic: revopsiți-l într-o culoare diferită și, în loc de cuvântul „Start”, scrieți „Watch” pe el. Sau echipa a vrut să schimbe complet designul întregii pagini principale a site-ului și, în loc de o imagine statică, să adauge elemente video interactive. În ambele cazuri, un test A/B vă va ajuta să verificați cât de bune sunt aceste idei.
Dezvoltatorii vor alege două dintre utilizatorigrupurile - A și B. Unul (grupul A, numit adesea și „grupul de control”) va lăsa totul așa cum a fost, iar celorlalți (grupul B, „grupul de testare”) li se va afișa versiunea actualizată. De-a lungul timpului, va fi necesar să se analizeze ce diferență a apărut în comportamentul utilizatorilor din aceste două grupuri, în interacțiunea acestora cu platforma. Pentru a simplifica: dacă se dovedește că grupul B petrece mai mult timp în cinematograful online, vizionează conținutul mai des și îl urmărește mai des până la sfârșit, atunci actualizarea afișată grupului B în modul de testare va beneficia întregul serviciu, iar această funcție ar trebui puse la dispoziția tuturor spectatorilor. Dacă actualizarea a vizat mai mult „umplerea” platformei și nu designul, atunci când se analizează rezultatele testelor, se iau în considerare și caracteristicile tehnice: viteza de încărcare a conținutului din grupul B s-a modificat, caracteristica testată a afectat rata de biți și așa mai departe.
Cât de obiective sunt astfel de teste?
De regulă, sunt recrutați persoane din grupele A și Baleatoriu, respectiv, în medie, acestea sunt în plus sau în minus la fel. Da, în unele cazuri, dezvoltatorii pot determina manual cine va participa la testare în ansamblu, dar nu ar trebui să existe o mare diferență între membrii celor două grupuri separate pentru ca rezultatele să fie cât mai obiective.
Scopul experimentului este de a compara reacțiileutilizatori care nu se deosebesc între ei prin altceva decât prin faptul că unii au acces la o nouă caracteristică, în timp ce alții nici măcar nu știu despre existența acesteia. Este important ca, în medie, persoanele din grupurile A și B să nu difere foarte mult în ceea ce privește preferințele de conținut, experiența în utilizarea serviciului și așa mai departe. Eșantionarea aleatorie ajută la selectarea unor grupuri cât mai medii și egale posibil.
Mulți s-ar putea întreba de ce nu doarlansați actualizarea tuturor utilizatorilor platformei și nu comparați indicatorii după actualizare și înainte de aceasta. Dar imaginați-vă situația: punem o inovație la dispoziția tuturor timp de o săptămână, comparăm indicatorii acestei săptămâni și a celei precedente, iar pe baza rezultatelor descoperim o creștere a spectatorilor și o creștere a timpului mediu petrecut vizionarea conținutului. S-ar părea că ipoteza a fost dovedită - le-a plăcut caracteristica, erau mai mulți oameni, au început să urmărească conținutul mai des. Dar dacă un nou sezon al unui serial popular a fost lansat în aceeași săptămână sau ploua afară în fiecare zi? Creșterea interesului pentru platformă și vizionarea serialelor TV acasă s-ar putea datora premierei de mare profil și nu schimbărilor în serviciul în sine. Sau un alt exemplu: săptămâna anterioară poate cădea în sărbători, iar noua săptămână poate cădea în zilele lucrătoare, iar acest lucru poate afecta și relația utilizatorilor cu cinematograful online, frecvența vizionărilor și chiar numărul de noi înregistrări.   ;
Pentru a evalua în mod obiectiv valoarea unei caracteristici de care aveți nevoiedesfășurați teste între două grupuri diferite de persoane, iar reacțiile acestor două grupuri trebuie monitorizate în paralel, în aceeași perioadă, pentru a exclude influența unor evenimente străine asupra rezultatelor - sărbători, premiere pe platformă, sau chiar sociale. știri legate de actorii și regizorii serialului prezentat în biblioteca cinematografică online.
Cine efectuează testarea A/B?
La KION, testele A/B sunt gestionate de un manager de produs șianalist. Ei formulează ipoteze, determină valori importante și decid câți utilizatori ar trebui să participe la studiu pentru ca schimbarea să fie semnificativă statistic.
În general, testele pot fi efectuate de marketericare doresc să determine cele mai eficiente instrumente și metode de comunicare cu utilizatorii. Trimițând, de exemplu, diferite notificări push către două grupuri de utilizatori și măsurând eficiența unor astfel de mementouri, aceștia efectuează și un test A/B.
Pentru ca testarea să fie eficientă, este important la început să vă gândiți la modul în care veți evalua și analiza rezultatul.
De asemenea, testele A/B implică aproape întotdeauna designerii de produse care dezvoltă noi soluții vizuale - de la pagini întregi la butoane individuale - și schimbarea interfeței platformei.
În plus, desigur, dezvoltatorii participă adesea la astfel de teste; multe caracteristici noi privind conținutul tehnic al serviciului sunt implementate cu mâinile lor.
De ce aveți nevoie pentru testarea A/B?
Idee
Este ideea de inovație care este primară în A/Btestarea. Fie că este o idee pentru o reproiectare a jucătorului, o idee pentru o nouă caracteristică sau o idee pentru a schimba o funcționalitate a unei platforme existente, cu acest „Hai să facem...” încep toate testele A/B. Dacă credeți că ideea dvs. va ajuta serviciul, va îmbunătăți experiența utilizatorului și indicatorii care sunt importanți pentru compania dvs. (în cazul nostru, numărul de spectatori, frecvența și durata vizualizărilor conținutului etc.), atunci ideea merită să devină o ipoteză testată.
Ipoteză
O ipoteză este o afirmație formulatăformatul „Dacă facem X, atunci vor apărea modificări pozitive Y în funcționarea platformei.” Rolul lui Y poate fi o creștere a numărului de înregistrări, o creștere a numărului de filme sau episoade de seriale TV vizionate la rând, o creștere a timpului petrecut de utilizator pe platformă și așa mai departe. Prin formularea unei ipoteze, determinați ce efect așteptați de la inovație, ce și cum credeți că ar trebui să se schimbe.
Valori
Pentru ca testarea să fie eficientă, este de asemenea importantăla început, gândiți-vă la modul în care veți evalua și analiza rezultatul. Pentru a face acest lucru, trebuie să determinați ce valori veți acorda atenție. De asemenea, puteți merge în direcția opusă: înțelegeți mai întâi ce valori trebuie crescute, apoi prezentați o ipoteză care, teoretic, ar trebui să contribuie la o astfel de creștere.
Pe lângă definirea valorilor, este și importantăînțelegeți ce schimbare veți considera importantă. Există întotdeauna o eroare statistică, mai ales când este vorba de două grupuri de utilizatori recrutate aleatoriu.
Câți oameni vor fi necesare pentru testare?Acesta este, de asemenea, un parametru important. Merită să comparăm comportamentul pe platforma a două grupuri de 3-5 persoane sau ar fi nereprezentativ un astfel de studiu? Chiar merită implicarea a 5.000 de utilizatori în test? Când toate răspunsurile sunt la îndemână, puteți începe în siguranță cercetarea.
Citeste mai mult:
O erupție puternică a izbucnit asupra Soarelui: a afectat deja Pământul
Cetate medievală descoperită accidental în pădure: descoperirea i-a surprins pe oamenii de știință
Oamenii de știință au descoperit o nouă boală genetică la copii: cum se manifestă