A/B tesztelés: Hogyan segíti a technológia a fejlesztőt a közönséggel való kommunikációban

Mi az A/B tesztelés? 

Egy technológiai termék sikere közvetlenül attól függ, hogy képes-e folyamatosan

fejlődik.Az újítások (vagy ahogy a fejlesztők maguk nevezik őket: „új funkciók”) elkerülhetetlenek, de nem mindig lehet előre megjósolni, hogy a platform felhasználói hogyan reagálnak bizonyos változásokra. Talán a szolgáltatás még kényelmesebbé és funkcionálisabbá teszi a szolgáltatást, ami azt jelenti, hogy új nézőket vonz a platformra, de elképzelhető, hogy a frissítés nem fog működni, és akkor az online mozi nézőket, nézettséget és profitot veszít. Valójában annak ellenőrzésére, hogy egy változtatás sikeres lesz-e, vannak A/B vagy osztott tesztek. Ez egy viszonylag egyszerű és gyors módja annak, hogy teszteljük a fejlesztők bármely hipotézisét, és megtudjuk, hogyan és milyen sikeresen lépnek kapcsolatba a felhasználók az innovációval. Kommunikációs szempontból a visszajelzések gyűjtéséről beszélünk, ami az A/B tesztelést a platform és a végfelhasználó közötti kommunikáció egyik eszközévé teszi. 

Az A/B tesztelés segítségével ellenőrizhetőbármilyen léptékű hipotézisek. Például a fejlesztő úgy döntött, hogy megváltoztatja egy kis gomb kialakítását: átfesti egy másik színűre, és a „Start” szó helyett a „Nézni” szót írja rá. Vagy a csapat az oldal teljes főoldalának dizájnját akarta teljesen megváltoztatni, és a statikus kép helyett interaktív videóelemeket fűzni hozzá. Mindkét esetben egy A/B teszt segít ellenőrizni, hogy ezek az ötletek mennyire jók. 

A fejlesztők kettőt választanak a felhasználók közülcsoportok - A és B. Az egyik (A csoport, gyakran "kontrollcsoport"-nak is nevezik) mindent úgy hagy, ahogy volt, a többi (B csoport, "tesztcsoport") pedig a frissített verziót fogja látni. Idővel elemezni kell majd, hogy e két csoport felhasználóinak viselkedésében, a platformmal való interakciójában milyen különbségek jelentek meg. Leegyszerűsítve: ha kiderül, hogy a B csoport több időt tölt az online moziban, gyakrabban néz tartalmat és gyakrabban nézi végig, akkor a teszt módban a B csoportnak megjelenített frissítés az egész szolgáltatás hasznára válik, és ez a funkció minden néző számára elérhetővé kell tenni. Ha a frissítés inkább a platform „kitöltését”, és nem a tervezést érintette, akkor a teszteredmények elemzésekor a műszaki jellemzőket is figyelembe veszik: változott-e a B csoport tartalombetöltési sebessége, befolyásolta-e a tesztelt szolgáltatás a bitráta és így tovább. 

Mennyire objektívek az ilyen tesztek? 

Általános szabály, hogy az A és B csoportba tartozó embereket toborozzákvéletlenszerűen, illetve átlagosan plusz-mínusz azonosak. Igen, bizonyos esetekben a fejlesztők manuálisan is meghatározhatják, hogy kik vesznek részt a tesztelés egészében, de nem szabad nagy különbséget tenni két külön csoport tagjai között, hogy az eredmények a lehető legobjektívebbek legyenek. 

A kísérlet célja a reakciók összehasonlításafelhasználók, akik semmiben nem különböznek egymástól, mint hogy egyesek hozzáférnek egy új funkcióhoz, mások pedig még nem is tudnak a létezéséről. Fontos, hogy az A és B csoportba tartozók átlagosan ne térjenek el nagymértékben a tartalmi preferenciákban, a szolgáltatás használatának tapasztalataiban stb. A véletlenszerű mintavétel segít a lehető legátlagosabb és egyenlőbb csoportok kiválasztásában. 

Sokan csodálkozhatnak, miért nem csakterjessze ki a frissítést a platform összes felhasználója számára, és ne hasonlítsa össze a frissítés utáni és előtti mutatókat. De képzeljük el a helyzetet: egy újítást egy hétre mindenki számára elérhetővé teszünk, összevetjük az idei és az előző hét mutatóit, és az eredmények alapján a nézőszám növekedését és a tartalomnézegetéssel töltött átlagos idő növekedését fedezzük fel. Úgy tűnik, a hipotézis bebizonyosodott - tetszett nekik a funkció, többen voltak, gyakrabban kezdték nézni a tartalmat. De mi van akkor, ha ugyanazon a héten egy népszerű tévésorozat új évada jelenik meg, vagy minden nap esik az eső? A platform és az otthoni tévésorozatok iránti érdeklődés megnövekedése valószínűleg a nagy horderejű premiernek köszönhető, nem pedig magának a szolgáltatásnak a változásainak. Vagy egy másik példa: előfordulhat, hogy az előző hét ünnepnapokra, az új hét pedig hétköznapokra eshet, és ez befolyásolhatja a felhasználók online mozihoz való viszonyát, a megtekintések gyakoriságát, sőt az új regisztrációk számát is. &nbsp ;

A szükséges funkció értékének objektív felmérésekét különböző embercsoport között végezzen tesztelést, és ennek a két csoportnak a reakcióit párhuzamosan, ugyanabban az időszakban kell nyomon követni, hogy kizárják a külső események hatását az eredményekre - ünnepek, premierek a platformon, vagy akár közösségi. az online mozikönyvtárban bemutatott sorozat szereplőivel és rendezőivel kapcsolatos hírek. 

Ki végez A/B tesztelést? 

A KION-nál az A/B teszteket termékmenedzser éselemző. Hipotéziseket fogalmaznak meg, fontos mérőszámokat határoznak meg, és eldöntik, hány felhasználónak kell részt vennie a vizsgálatban, hogy a változás statisztikailag szignifikáns legyen.

A teszteket általában marketingszakemberek is elvégezhetikakik meg akarják határozni a felhasználókkal való kommunikáció leghatékonyabb eszközeit és módszereit. Azáltal, hogy például különböző push értesítéseket küldenek két felhasználói csoportnak, és mérik az ilyen emlékeztetők hatékonyságát, A/B tesztet is végeznek. 

Annak érdekében, hogy a tesztelés eredményes legyen, fontos már az elején átgondolni, hogyan értékeli és elemzi az eredményt.

Ezenkívül az A/B tesztek során szinte mindig a terméktervezők új vizuális megoldások kidolgozásával – a teljes oldalaktól az egyes gombokig – és a platform felületének megváltoztatásával járnak. 

Emellett természetesen a fejlesztők gyakran részt vesznek az ilyen tesztekben a szolgáltatás műszaki tartalmával kapcsolatos számos újdonság saját kezűleg valósul meg. 

Mire van szüksége az A/B teszteléshez? 

Ötlet 

Az A/B-ben az innováció gondolata az elsődlegestesztelés. Legyen szó egy lejátszó újratervezésének ötletéről, egy új funkció ötletéről vagy egy meglévő platformfunkció megváltoztatásáról, az összes A/B teszt ezzel a „Csináljuk…”-val kezdődik. Ha úgy gondolja, hogy ötletével segíti a szolgáltatást, javítja a felhasználói élményt és a cége számára fontos mutatószámokat (esetünkben a nézőszámot, a tartalommegtekintések gyakoriságát, időtartamát stb.), akkor az ötlet megérdemli, hogy váljon tesztelt hipotézissé. 

Hipotézis

A hipotézis egy megfogalmazott állításformátum "Ha X-et teszünk, akkor Y pozitív változások következnek be a platform működésében." Az Y szerepe lehet a regisztrációk számának növekedése, a sorozatban megtekintett filmek vagy tévésorozatok epizódjainak növekedése, a felhasználó által a platformon eltöltött idő növekedése stb. Hipotézis megfogalmazásával meghatározza, hogy milyen hatást vár az innovációtól, mit és hogyan kellene szerinte változtatni. 

Mutatók 

A tesztelés eredményessége érdekében az is fontosaz elején gondolja át, hogyan értékeli és elemzi az eredményt. Ehhez meg kell határoznia, hogy milyen mutatókra fog figyelni. Ellenkezõ irányban is eljárhat: elõször értse meg, milyen mutatókat kell növelni, majd állítson fel egy hipotézist, amely elméletileg hozzájárulhat ehhez a növekedéshez. 

A mérőszámok meghatározása mellett az is fontosmegértse, milyen változást tart fontosnak. Statisztikai hiba mindig előfordul, különösen, ha két véletlenszerűen toborzott felhasználói csoportról van szó. 

Hány emberre lesz szükség a teszteléshez?Ez is fontos paraméter. Érdemes-e összehasonlítani a viselkedést két 3-5 fős csoport platformján, vagy egy ilyen vizsgálat nem lenne reprezentatív? Valóban megéri 5000 felhasználót bevonni a tesztbe? Ha minden válasz kéznél van, nyugodtan elkezdheti a kutatást. 

Olvass tovább:

Erőteljes fáklya tört ki a Napon: már a Földet is érintette

Véletlenül az erdőben fedezték fel a középkori erődöt: a lelet meglepte a tudósokat

A tudósok új genetikai betegséget találtak gyermekekben: hogyan nyilvánul meg