Що таке A/B тестування?
Успіх технологічного продукту безпосередньо залежить від його здатності постійно
A/B тестування може застосовуватися для перевіркигіпотез будь-якого масштабу. Наприклад, розробник вирішив змінити дизайн маленької кнопки: перефарбувати її в інший колір і замість слова Старт написати на ній Дивитися. Або команда захотіла повністю поміняти дизайн усієї головної сторінки сайту та замість статичної картинки додати на неї інтерактивні відеоелементи. І в тому, і в іншому випадку перевірити, наскільки це гарні ідеї допоможе A/B-тест.
Розробники виберуть серед користувачів двігрупи - A і B. Одним (групі A, також часто званої "контрольна група") все залишать як було, а іншим (групі B, "тестової групи") покажуть оновлену версію. Через деякий час потрібно буде проаналізувати, яка різниця з'явилася в поведінці користувачів з цих двох груп, в їх взаємодії з платформою. Спрощуючи: якщо виявиться, що група B проводить в онлайн-кінотеатрі більше часу, частіше дивиться контент і частіше доглядає його до кінця, значить, оновлення, показане групі B у тестовому режимі, піде всьому сервісу на користь, і цю фічу варто зробити доступною для глядачів. Якщо оновлення стосувалося більше «начинки» платформи, а не дизайну, то при аналізі результатів тесту враховуються і технічні характеристики: чи змінилася у групи B швидкість завантаження контенту, чи вплинула фіча, що тестується, на бітрейт і так далі.
Наскільки об'єктивними є такі тести?
Як правило, люди в групи A та B набираютьсярандомно, відповідно, у середньому вони плюс-мінус однакові. Так, у ряді випадків розробники можуть вручну визначати, хто братиме участь у тестуванні в цілому, але при цьому між членами двох окремих груп не повинно бути великої різниці, щоб результати були максимально об'єктивними.
Мета експерименту – порівняти реакціїкористувачів, які не відрізняються один від одного нічим, крім того, що одним нова фіча доступна, а інші про її існування поки що навіть не знають. Важливо, щоб у середньому люди в групах A і B не сильно відрізнялися перевагами контенту, стажем користування сервісом і так далі. Рандомна вибірка допомагає підібрати максимально усереднені і зрівняні між собою групи.
Багато хто може замислитися, чому б просто невикотити оновлення на всіх користувачів платформи та не порівняти показники після оновлення та до нього. Але уявіть ситуацію: ми робимо нововведення доступним для всіх на тиждень, порівнюємо показники цього та попереднього тижня та за результатами виявляємо приріст глядачів та підвищення середнього часу перегляду контенту. Здавалося б, гіпотеза доведена — фіча сподобалася, людей побільшало, вони почали дивитися контент частіше. Але що, якщо того ж тижня вийшов новий сезон популярного серіалу чи на вулиці йшла злива щодня? Підвищення інтересу до платформи та перегляду серіалів будинку цілком може бути пов'язане із гучною прем'єрою, а не зі змінами самого сервісу. Або інший приклад: попередній тиждень може випасти на святкові дні, а новий — на будні, а це також може позначитися на взаєминах користувачів з онлайн-кінотеатром, частоті переглядів і навіть кількості нових реєстрацій.
Для об'єктивної оцінки цінності фічі необхіднопроводити тестування між двома різними групами людей, причому відстежувати реакції двох цих груп потрібно паралельно, в той самий період, щоб виключити вплив на результати сторонніх подій — свят, прем'єр на платформі або навіть світських новин, пов'язаних з акторами та режисерами серіалів, представлених у бібліотеці онлайн-кінотеатру.
Хто проводить A/B тестування?
У KION за A/B-тести відповідають продакт-менеджер тааналітик. Вони формулюють гіпотези, визначають важливі метрики і вирішують, скільки користувачів має брати участь у дослідженні, щоб зміна була статистично значущою.
В цілому ж тести можуть проводити маркетологи,які хочуть визначити найефективніші інструменти та способи комунікації з користувачами. Розсилаючи, наприклад, двом групам користувачів різні пуш-повідомлення та заміряючи ефективність таких нагадувань, вони також проводять A/B-тест.
Щоб тестування пройшло ефективно, важливо ще на старті продумати, як ви оцінюватимете та аналізувати результат
Також в A/B-тестах майже завжди задіяні продуктові дизайнери, які розробляють нові візуальні рішення — від цілих сторінок до окремих кнопок — і платформи, що змінюють інтерфейс.
Крім того, звичайно, в таких тестах часто беруть участь розробники, їх руками реалізуються багато нових фіч, що стосуються технічного наповнення сервісу.
Що потрібно для тестування A/B?
Ідея
Саме ідея нововведення первинна в A/Bтестування. Чи це ідея редизайну плеєра, ідея нової фічі або ідея зміни вже існуючого функціонала платформи, саме з цього «А давайте зробимо…» починаються всі A/B-тести. Якщо ви вірите, що ваша ідея допоможе сервісу, покращить користувальницький досвід і важливі для вашої компанії показники (у нашому випадку — кількість глядачів, частоту та тривалість переглядів контенту, тощо), то ідея цілком заслуговує на те, щоб стати тестованою гіпотезою.
Гіпотеза
Гіпотеза – це сформульоване твердженняформату "Якщо ми зробимо X, то в роботі платформи відбудуться позитивні зміни Y". У ролі Y може виступати зростання числа реєстрацій, зростання кількості фільмів або епізодів серіалів, що переглядаються поспіль, збільшення часу знаходження користувача на платформі і так далі. Формулюючи гіпотезу, ви визначаєте, якого ефекту очікуєте від нововведення, що і як, на вашу думку, має змінитися.
Метрики
Щоб тестування пройшло ефективно, важливо щена старті продумати, як ви оцінюватимете і аналізувати результат. Для цього потрібно визначити, на які метрики ви звертатимете увагу. Можна йти і у зворотному напрямку: спочатку зрозуміти, які метрики потрібно наростити, а потім уже висувати гіпотезу, яка, за ідеєю, має сприяти такому зростанню.
Крім того, щоб визначити метрики, важливо ще йзрозуміти, яку зміну ви вважатимете важливою. Завжди існує статистична похибка, особливо коли справа стосується двох рандомно набраних груп користувачів.
А скільки людей знадобиться для тестування?Це також важливий параметр. Чи варто порівнювати поведінку на платформі двох груп із 3–5 осіб, чи таке дослідження буде нерепрезентативно? А чи варто залучати до тесту 5 000 користувачів? Коли всі відповіді будуть на руках, можна сміливо братися за дослідження.
Читати далі:
Потужний спалах вивергся на Сонці: він уже вплинув на Землю
Середньовічні фортеці випадково виявили в лісі: знахідка здивувала вчених
Вчені знайшли нове генетичне захворювання у дітей: як воно проявляється