Testy A/B: jak technologia pomaga programistom komunikować się z odbiorcami

Co to są testy A/B? 

Sukces produktu technologicznego zależy bezpośrednio od jego zdolności do ciągłego działania

ewoluować.Innowacje (lub, jak nazywają je sami twórcy, „nowe funkcje”) są nieuniknione, jednak nie zawsze da się przewidzieć, jak użytkownicy platformy zareagują na określone zmiany. Być może funkcja sprawi, że usługa będzie jeszcze wygodniejsza i funkcjonalniejsza, co oznacza, że ​​przyciągnie na platformę nowych widzów, ale możliwe, że aktualizacja nie zadziała, a wtedy kino internetowe straci widzów, widoki i zyski. Właściwie, aby sprawdzić, czy zmiana się powiedzie, stosuje się testy A/B lub testy rozdzielone. Jest to stosunkowo prosty i szybki sposób na przetestowanie dowolnej hipotezy deweloperów oraz dowiedzenie się, jak i z jakim powodzeniem użytkownicy wchodzą w interakcję z innowacją. Z punktu widzenia komunikacji mówimy o zbieraniu informacji zwrotnej, co sprawia, że ​​testy A/B są środkiem komunikacji pomiędzy platformą a użytkownikiem końcowym. 

Do weryfikacji można zastosować testy A/Bhipotezy dowolnej skali. Na przykład programista postanowił zmienić wygląd małego przycisku: przemaluj go na inny kolor i zamiast słowa „Start” napisz na nim „Oglądaj”. Albo zespół chciał całkowicie zmienić projekt całej strony głównej witryny i zamiast statycznego obrazu dodać do niej interaktywne elementy wideo. W obu przypadkach test A/B pomoże Ci sprawdzić, jak dobre są te pomysły. 

Programiści wybiorą dwóch spośród użytkownikówgrupy - A i B. Jedna (grupa A, często nazywana także „grupą kontrolną”) pozostawi wszystko tak, jak było, a pozostałym (grupa B, „grupa testowa”) zostanie wyświetlona zaktualizowana wersja. Z biegiem czasu konieczne będzie przeanalizowanie, jaka różnica pojawiła się w zachowaniu użytkowników z tych dwóch grup, w ich interakcji z platformą. W uproszczeniu: jeśli okaże się, że grupa B spędza więcej czasu w kinie internetowym, częściej ogląda treści i częściej dobija do końca, to aktualizacja pokazana grupie B w trybie testowym przyniesie korzyści całemu serwisowi, a ta funkcja powinny być dostępne dla nich wszystkich widzów. Jeśli aktualizacja dotyczyła bardziej „wypełnienia” platformy, a nie projektu, to przy analizie wyników testów brane są pod uwagę również parametry techniczne: czy zmieniła się prędkość ładowania treści grupy B, czy testowana funkcja miała wpływ na szybkość transmisji bitów i tak dalej. 

Jak obiektywne są takie testy? 

Z reguły rekrutowane są osoby z grup A i Bodpowiednio losowo, średnio są one plus lub minus takie same. Tak, w niektórych przypadkach programiści mogą ręcznie określić, kto będzie brał udział w testowaniu jako całość, ale pomiędzy członkami dwóch oddzielnych grup nie powinna być duża różnica, aby wyniki były jak najbardziej obiektywne. 

Celem doświadczenia jest porównanie reakcjiużytkowników, którzy nie różnią się od siebie niczym poza tym, że jedni mają dostęp do nowej funkcjonalności, a inni nawet jeszcze nie wiedzą o jej istnieniu. Ważne jest, aby przeciętnie osoby z grup A i B nie różniły się zbytnio preferencjami dotyczącymi treści, doświadczeniem w korzystaniu z usługi itp. Próbkowanie losowe pomaga wybrać grupy możliwie najbardziej przeciętne i równe. 

Wielu może się zastanawiać, dlaczego nie tylkowdrażaj aktualizację wszystkim użytkownikom platformy i nie porównuj wskaźników po aktualizacji i przed nią. Ale wyobraźcie sobie sytuację: przez tydzień udostępniamy innowację każdemu, porównujemy wskaźniki tego tygodnia z poprzednim i na podstawie wyników odkrywamy wzrost oglądalności i wzrost średniego czasu spędzanego na oglądaniu treści. Wydawałoby się, że hipoteza została udowodniona – funkcja przypadła im do gustu, było więcej osób, zaczęli częściej oglądać treści. A co by było, gdyby w tym samym tygodniu ukazał się nowy sezon popularnego serialu telewizyjnego lub codziennie padał deszcz? Wzrost zainteresowania platformą i oglądaniem seriali w domu równie dobrze może wynikać z głośnej premiery, a nie ze zmian w samym serwisie. Albo inny przykład: poprzedni tydzień może przypadać na święta, a nowy tydzień może przypadać na dni powszednie, a to też może mieć wpływ na relacje użytkowników z kinem internetowym, częstotliwość wyświetleń, a nawet liczbę nowych rejestracji. &nbsp ;

Aby obiektywnie ocenić wartość potrzebnej funkcjiprzeprowadzać testy pomiędzy dwiema różnymi grupami osób, a reakcje tych dwóch grup należy monitorować równolegle, w tym samym okresie, aby wykluczyć wpływ zewnętrznych wydarzeń na wyniki - wakacji, premier na platformie, czy nawet społecznościowych aktualności związane z aktorami i reżyserami seriali prezentowane w bibliotece kina internetowego. 

Kto przeprowadza testy A/B? 

W KION testy A/B są przeprowadzane przez kierownika produktu ianalityk. Formułują hipotezy, określają ważne wskaźniki i decydują, ilu użytkowników powinno wziąć udział w badaniu, aby zmiana była istotna statystycznie.

Generalnie testy mogą przeprowadzać marketerzyktórzy chcą określić najskuteczniejsze narzędzia i metody komunikacji z użytkownikami. Wysyłając np. różne powiadomienia push do dwóch grup użytkowników i mierząc skuteczność takich przypomnień, przeprowadzają także test A/B. 

Aby testowanie było skuteczne, ważne jest, aby na początku zastanowić się, w jaki sposób będziesz oceniać i analizować wynik.

Ponadto testy A/B prawie zawsze obejmują projektantów produktów opracowujących nowe rozwiązania wizualne – od całych stron po poszczególne przyciski – i zmieniający interfejs platformy. 

Ponadto, oczywiście, programiści często biorą udział w takich testach; wiele nowych funkcji dotyczących zawartości technicznej usługi jest wdrażanych własnymi rękami. 

Czego potrzebujesz do testów A/B? 

Pomysł 

W A/B najważniejsza jest idea innowacjitestowanie. Niezależnie od tego, czy jest to pomysł na przeprojektowanie odtwarzacza, pomysł na nową funkcję, czy pomysł na zmianę istniejącej funkcjonalności platformy, wszystkie testy A/B rozpoczynają się od tego „Zróbmy…”. Jeśli wierzysz, że Twój pomysł pomoże usłudze, poprawi doświadczenie użytkownika i wskaźniki ważne dla Twojej firmy (w naszym przypadku liczba widzów, częstotliwość i czas wyświetlania treści itp.), to pomysł zasługuje na stać się sprawdzoną hipotezą. 

Hipoteza

Hipoteza to sformułowane stwierdzenieformat „Jeśli zrobimy X, to w działaniu platformy zajdą pozytywne zmiany Y.” Rolą Y może być wzrost liczby rejestracji, wzrost liczby obejrzanych z rzędu filmów lub odcinków seriali, wzrost czasu, jaki użytkownik spędza na platformie, i tak dalej. Formułując hipotezę, określasz, jakiego efektu oczekujesz od innowacji, co i jak Twoim zdaniem powinno się zmienić. 

Dane 

Aby testowanie było skuteczne, jest to również ważnena początku zastanów się, jak ocenisz i przeanalizujesz wynik. Aby to zrobić, musisz określić, na jakie metryki będziesz zwracać uwagę. Można też pójść w odwrotnym kierunku: najpierw zrozumieć, jakie wskaźniki wymagają zwiększenia, a następnie postawić hipotezę, która teoretycznie powinna się do tego przyczynić. 

Oprócz zdefiniowania metryk ważne jest równieżzrozum, jaką zmianę uznasz za ważną. Zawsze występuje błąd statystyczny, zwłaszcza jeśli chodzi o dwie losowo wybrane grupy użytkowników. 

Ile osób będzie potrzebnych do testów?To także ważny parametr. Czy warto porównywać zachowania na platformie dwóch grup 3-5 osobowych, czy też takie badanie byłoby niereprezentatywne? Czy naprawdę warto angażować do testu 5000 użytkowników? Kiedy już poznasz wszystkie odpowiedzi, możesz bezpiecznie rozpocząć badania. 

Czytaj więcej:

Potężny rozbłysk wybuchł na Słońcu: już wpłynął na Ziemię

Średniowieczna twierdza przypadkowo odkryta w lesie: znalezisko zaskoczyło naukowców

Naukowcy odkryli nową chorobę genetyczną u dzieci: jak się objawia