A/B тестване: Как технологията помага на разработчика да комуникира с публика

Какво е A/B тестване? 

Успехът на един технологичен продукт пряко зависи от способността му да постоянно

развивам се.Иновациите (или както самите разработчици ги наричат ​​„нови функции“) са неизбежни, но не винаги е възможно да се предвиди как потребителите на платформата ще реагират на определени промени. Може би функцията ще направи услугата още по-удобна и функционална, което означава, че ще привлече нови зрители към платформата, но е възможно актуализацията да не работи и тогава онлайн киното да загуби зрители, гледания и печалби. Всъщност, за да проверите дали една промяна ще бъде успешна, има A/B или сплит тестове. Това е сравнително прост и бърз начин да тествате всяка хипотеза на разработчиците и да разберете как и колко успешно потребителите взаимодействат с иновацията. От комуникационна гледна точка говорим за събиране на обратна връзка, което прави A/B тестването средство за комуникация между платформата и крайния потребител. 

A/B тестването може да се използва за проверкахипотези от всякакъв мащаб. Например, разработчикът реши да промени дизайна на малък бутон: пребоядиса го в различен цвят и вместо думата „Старт“ напише „Гледайте“ върху него. Или екипът искаше напълно да промени дизайна на цялата главна страница на сайта и вместо статично изображение да добави интерактивни видео елементи към него. И в двата случая A/B тест ще ви помогне да проверите колко добри са тези идеи. 

Разработчиците ще изберат двама от потребителитегрупи - A и B. Едната (група A, също често наричана "контролна група") ще остави всичко както си беше, а на другите (група B, "тестовата група") ще бъде показана актуализираната версия. След време ще е необходимо да се анализира каква разлика се е появила в поведението на потребителите от тези две групи, във взаимодействието им с платформата. За да опростим: ако се окаже, че група B прекарва повече време в онлайн киното, гледа съдържание по-често и го гледа до края по-често, тогава актуализацията, показана на група B в тестов режим, ще бъде от полза за цялата услуга и тази функция трябва да бъдат предоставени на тяхно разположение на всички зрители. Ако актуализацията се отнасяше повече до „пълненето“ на платформата, а не до дизайна, тогава при анализа на резултатите от теста се вземат предвид и техническите характеристики: промени ли се скоростта на зареждане на съдържанието от група B, повлия ли тестваната функция битрейт и т.н. 

Колко обективни са подобни тестове? 

По правило се набират хора от група А и Бна случаен принцип, съответно, средно те са плюс или минус еднакви. Да, в някои случаи разработчиците могат ръчно да определят кой ще участва в тестването като цяло, но не трябва да има голяма разлика между членовете на двете отделни групи, за да бъдат резултатите възможно най-обективни. 

Целта на експеримента е да се сравнят реакциитепотребители, които не се различават един от друг по нищо друго освен по факта, че някои имат достъп до нова функция, докато други дори не знаят за нейното съществуване. Важно е средно хората в групи А и Б да не се различават много по отношение на предпочитанията за съдържание, опита при използване на услугата и т.н. Произволната извадка помага да се изберат групи, които са възможно най-средни и равни. 

Мнозина може да се чудят защо не простопуснете актуализацията на всички потребители на платформата и не сравнявайте показателите след актуализацията и преди нея. Но представете си ситуацията: ние правим иновация достъпна за всички за една седмица, сравняваме показателите от тази и предходната седмица и въз основа на резултатите откриваме увеличение на зрителите и увеличение на средното време, прекарано в гледане на съдържание. Изглежда, че хипотезата е доказана - харесаха функцията, имаше повече хора, започнаха да гледат съдържанието по-често. Но какво ще стане, ако същата седмица излезе нов сезон на популярен сериал или навън вали всеки ден? Увеличаването на интереса към платформата и гледането на сериали у дома може би се дължи на нашумялата премиера, а не на промени в самата услуга. Или друг пример: предходната седмица може да се падне на празници, а новата седмица може да се падне в делнични дни и това също може да повлияе на връзката на потребителите с онлайн киното, честотата на гледанията и дори броя на новите регистрации. &nbsp ;

За да оцените обективно стойността на дадена функция, от която се нуждаетепровеждат тестове между две различни групи хора, като реакциите на тези две групи трябва да се наблюдават паралелно, през един и същ период, за да се изключи влиянието на странични събития върху резултатите - празници, премиери в платформата или дори социални новини, свързани с актьорите и режисьорите на сериала, представени в библиотеката на онлайн киното. 

Кой провежда A/B тестване? 

В KION A/B тестовете се управляват от продуктов мениджър ианализатор. Те формулират хипотези, определят важни показатели и решават колко потребители трябва да участват в проучването, за да бъде промяната статистически значима.

По принцип тестовете могат да се извършват от търговцикоито искат да определят най-ефективните инструменти и методи за комуникация с потребителите. Изпращайки, например, различни насочени известия до две групи потребители и измервайки ефективността на подобни напомняния, те също провеждат A/B тест. 

За да бъде тестването ефективно, е важно в началото да помислите как ще оцените и анализирате резултата.

Освен това A/B тестовете почти винаги включват продуктови дизайнери, които разработват нови визуални решения – от цели страници до отделни бутони – и променят интерфейса на платформата. 

Освен това, разбира се, разработчиците често участват в такива тестове; много нови функции по отношение на техническото съдържание на услугата се внедряват с техните ръце.

Какво ви е необходимо за A/B тестване? 

Идея 

Идеята за иновация е основната в A/Bтестване. Независимо дали става въпрос за идея за редизайн на плейъра, идея за нова функция или идея за промяна на съществуваща функционалност на платформата, всички A/B тестове започват с това „Да направим…“. Ако смятате, че вашата идея ще помогне на услугата, ще подобри потребителското изживяване и показатели, които са важни за вашата компания (в нашия случай брой зрители, честота и продължителност на гледане на съдържание и т.н.), тогава идеята заслужава да стане проверена хипотеза. 

Хипотеза

Хипотезата е формулирано твърдениеформат „Ако направим X, тогава ще настъпят положителни промени Y в работата на платформата.“ Ролята на Y може да бъде увеличаване на броя на регистрациите, увеличаване на броя на филмите или епизодите от телевизионни сериали, гледани подред, увеличаване на времето, което потребителят прекарва в платформата и т.н. Като формулирате хипотеза, вие определяте какъв ефект очаквате от иновацията, какво и как според вас трябва да се промени. 

Показатели 

За да бъде тестването ефективно, това също е важнов началото помислете как ще оцените и анализирате резултата. За да направите това, трябва да определите на какви показатели ще обърнете внимание. Можете също да отидете в обратната посока: първо разберете кои показатели трябва да бъдат увеличени и след това изложете хипотеза, която на теория трябва да допринесе за такъв растеж. 

В допълнение към определянето на показатели, това също е важноразберете каква промяна ще сметнете за важна. Винаги има статистическа грешка, особено когато става въпрос за две произволно избрани групи потребители. 

Колко души ще са необходими за тестване?Това също е важен параметър. Заслужава ли си да се сравнява поведението в платформата на две групи от по 3-5 души или подобно изследване би било непредставително? Наистина ли си струва да включите 5000 потребители в теста? Когато всички отговори са под ръка, можете спокойно да започнете проучване. 

Прочетете още:

Мощно изригване избухна на Слънцето: вече засегна Земята

Средновековна крепост случайно открита в гората: находката изненада учените

Учените откриха ново генетично заболяване при децата: как се проявява