A/B testování: Jak technologie pomáhá vývojářům komunikovat s publikem

Co je A/B testování? 

Úspěch technologického produktu přímo závisí na jeho schopnosti neustále

rozvíjet se.Inovace (nebo, jak je sami vývojáři nazývají „nové funkce“) jsou nevyhnutelné, ale není vždy možné předvídat, jak uživatelé platformy na určité změny zareagují. Možná díky této funkci bude služba ještě pohodlnější a funkčnější, což znamená, že přiláká nové diváky na platformu, ale je možné, že aktualizace nebude fungovat a online kino pak přijde o diváky, zhlédnutí a zisky. Ve skutečnosti existují A/B nebo rozdělené testy, které ověřují, zda bude změna úspěšná. Jde o poměrně jednoduchý a rychlý způsob, jak otestovat jakoukoli hypotézu vývojářů a zjistit, jak a jak úspěšně uživatelé s inovací interagují. Z pohledu komunikace se bavíme o sběru zpětné vazby, díky čemuž je A/B testování prostředkem komunikace mezi platformou a koncovým uživatelem. 

K ověření lze použít A/B testováníhypotéz jakéhokoli rozsahu. Vývojář se například rozhodl změnit design malého tlačítka: přebarvit jej jinou barvou a místo slova „Start“ na něj napsat „Watch“. Nebo chtěl tým kompletně změnit design celé hlavní stránky webu a místo statického obrázku na ni přidat interaktivní video prvky. V obou případech vám A/B test pomůže ověřit, jak dobré jsou tyto nápady.

Vývojáři si z uživatelů vyberou dvaskupiny - A a B. Jedna (skupina A, často nazývaná také "kontrolní skupina") nechá vše tak, jak byla, a ostatním (skupina B, "testovací skupina") se zobrazí aktualizovaná verze. Postupem času bude nutné analyzovat, jaký rozdíl se objevil v chování uživatelů z těchto dvou skupin, v jejich interakci s platformou. Pro zjednodušení: pokud se ukáže, že skupina B tráví více času v online kině, častěji sleduje obsah a častěji jej sleduje až do konce, pak aktualizace zobrazená skupině B v testovacím režimu prospěje celé službě a tato funkce by jim měli být k dispozici všichni diváci. Pokud se aktualizace týkala spíše „naplnění“ platformy, a ne designu, pak se při analýze výsledků testů berou v úvahu také technické vlastnosti: změnila se rychlost načítání obsahu skupiny B, ovlivnila testovaná funkce bitrate atd. 

Jak objektivní jsou takové testy? 

Zpravidla se rekrutují lidé ve skupinách A a Bnáhodně, respektive v průměru jsou plus mínus stejné. Ano, v některých případech mohou vývojáři ručně určit, kdo se zúčastní testování jako celku, ale mezi členy dvou samostatných skupin by neměl být velký rozdíl, aby výsledky byly co nejobjektivnější. 

Účelem experimentu je porovnat reakceuživatelé, kteří se od sebe neliší ničím jiným než tím, že někteří mají přístup k nové funkci, zatímco jiní o její existenci zatím ani nevědí. Je důležité, aby se lidé ve skupinách A a B v průměru příliš nelišili v preferencích obsahu, zkušenostech s používáním služby a podobně. Náhodný výběr pomáhá vybrat skupiny, které jsou pokud možno průměrné a rovnocenné. 

Mnozí se možná diví, proč ne právězaveďte aktualizaci všem uživatelům platformy a neporovnávejte ukazatele po aktualizaci a před ní. Představte si ale situaci: na týden zpřístupníme novinku všem, porovnáme ukazatele tohoto a minulého týdne a na základě výsledků zjistíme nárůst diváků a zvýšení průměrné doby strávené sledováním obsahu. Zdálo by se, že se hypotéza potvrdila – funkce se jim líbila, bylo více lidí, začali častěji sledovat obsah. Co když ale ten samý týden vyjde nová řada oblíbeného televizního seriálu nebo venku každý den prší? Nárůst zájmu o platformu a sledování televizních seriálů doma může být důsledkem vysoké premiéry, nikoli změn v samotné službě. Nebo jiný příklad: předchozí týden může připadnout na svátky a nový týden na všední dny, a to může mít vliv i na vztah uživatelů k online kinu, frekvenci zhlédnutí a dokonce i počet nových registrací. &nbsp ;

K objektivnímu posouzení hodnoty funkce, kterou potřebujeteprovádět testování mezi dvěma různými skupinami lidí a reakce těchto dvou skupin musí být sledovány paralelně, ve stejném období, aby se vyloučil vliv cizích událostí na výsledky - dovolené, premiéry na platformě nebo dokonce sociální novinky související s herci a režiséry seriálu prezentované v online kinotéce. 

Kdo provádí A/B testování? 

V KION jsou A/B testy řešeny produktovým manažerem aanalytik. Formulují hypotézy, určují důležité metriky a rozhodují o tom, kolik uživatelů by se mělo studie zúčastnit, aby změna byla statisticky významná.

Obecně platí, že testy mohou provádět obchodnícikteří chtějí určit nejefektivnější nástroje a způsoby komunikace s uživateli. Zasíláním například různých push notifikací dvěma skupinám uživatelů a měřením účinnosti takových upomínek provádějí také A/B test.

Aby bylo testování efektivní, je důležité si na začátku promyslet, jak budete výsledek vyhodnocovat a analyzovat.

A/B testy také téměř vždy zahrnují produktové designéry, kteří vyvíjejí nová vizuální řešení – od celých stránek až po jednotlivá tlačítka – a mění rozhraní platformy. 

Kromě toho se samozřejmě vývojáři často účastní takových testů, mnoho nových funkcí týkajících se technického obsahu služby je implementováno jejich rukama. 

Co k A/B testování potřebujete? 

Nápad 

Je to myšlenka inovace, která je primární v A/Btestování. Ať už je to nápad na redesign přehrávače, nápad na novou funkci nebo nápad na změnu funkce stávající platformy, všechny A/B testy začínají tímto „Pojďme…“. Pokud věříte, že váš nápad pomůže službě, zlepší uživatelskou zkušenost a ukazatele, které jsou pro vaši společnost důležité (v našem případě počet diváků, frekvence a délka zobrazení obsahu atd.), pak si nápad zaslouží stát se testovanou hypotézou. 

Hypotéza

Hypotéza je formulované tvrzeníformát „Pokud uděláme X, dojde k pozitivním změnám Y ve fungování platformy.“ Role Y může být zvýšení počtu registrací, zvýšení počtu filmů nebo epizod televizních seriálů sledovaných za sebou, zvýšení času, který uživatel stráví na platformě, a tak dále. Formulováním hypotézy určíte, jaký efekt od inovace očekáváte, co a jak by se podle vás mělo změnit. 

Metriky 

Aby bylo testování účinné, je také důležiténa začátku si rozmyslete, jak budete výsledek vyhodnocovat a analyzovat. Chcete-li to provést, musíte určit, kterým metrikám budete věnovat pozornost. Můžete jít i opačným směrem: nejprve pochopte, jaké metriky je třeba zvýšit, a poté předložte hypotézu, která by teoreticky měla k takovému růstu přispět. 

Kromě definování metrik je to také důležitépochopit, jakou změnu budete považovat za důležitou. Vždy se vyskytne statistická chyba, zvláště pokud jde o dvě náhodně rekrutované skupiny uživatelů. 

Kolik lidí bude potřeba na testování?To je také důležitý parametr. Má cenu porovnávat chování na platformě dvou skupin po 3-5 lidech, nebo by taková studie byla nereprezentativní? Opravdu se vyplatí zapojit do testu 5 000 uživatelů? Až budete mít všechny odpovědi po ruce, můžete bezpečně začít s výzkumem. 

Přečtěte si více:

Na Slunci vybuchla silná erupce: už zasáhla Zemi

Středověká pevnost náhodně objevená v lese: nález překvapil vědce

Vědci objevili u dětí nové genetické onemocnění: jak se projevuje