А/Б тестирање: Како технологија помаже програмеру да комуницира са публиком

Шта је А/Б тестирање?&нбсп;

Успех технолошког производа директно зависи од његове способности да константно

Иновације (или, како их програмери зову, "нове функције") су неизбежне, али није увек могуће предвидети како ће одређене промене реаговатиМожда ће функција учинити услугу још погодном и функционалном, што значи да ће привућинових гледалаца, али је могуће да ажурирање неће функционисати, а затим и онлајн биоскопизгубиће гледаоце, погледе и зараду.Ово је релативно лак и брз начин да тестирате било какву хипотезу програмера и сазнате како и колико успешно је иновација у интеракцији.Са тачке гледишта комуникације, говоримо о прикупљању повратних информација, што чиниА /Б тестирање као средство комуникације између платформе и крајњег корисника.&нбсп;

А/Б тестирање се може користити за верификацијухипотезе било ког обима. На пример, програмер је одлучио да промени дизајн малог дугмета: префарба га у другу боју и уместо речи „Старт“ напише „Гледајте“. Или је тим желео да потпуно промени дизајн целе главне странице сајта и уместо статичне слике јој дода интерактивне видео елементе. У оба случаја, А/Б тест ће вам помоћи да проверите колико су ове идеје добре. 

Програмери ће изабрати два од корисникагрупе - А и Б. Једна (група А, која се често назива и "контролна група") ће оставити све како је било, а осталима (група Б, "тест група") ће бити приказана ажурирана верзија. Временом ће бити потребно анализирати каква се разлика појавила у понашању корисника из ове две групе, у њиховој интеракцији са платформом. Да поједноставимо: ако се испостави да група Б проводи више времена у онлајн биоскопу, чешће гледа садржај и чешће га гледа до краја, онда ће ажурирање које је приказано групи Б у тест режиму користити целој услузи, а ова функција треба им ставити на располагање свим гледаоцима. Ако се ажурирање више односило на „пуњење“ платформе, а не на дизајн, онда се приликом анализе резултата тестирања узимају у обзир и техничке карактеристике: да ли се променила брзина учитавања садржаја групе Б, да ли је тестирана карактеристика утицала на брзина преноса и тако даље.&нбсп;

Колико су такви тестови објективни?&нбсп;

По правилу се регрутују људи из група А и Бнасумично, респективно, у просеку су плус или минус исти. Да, у неким случајевима програмери могу ручно да одреде ко ће учествовати у тестирању у целини, али не би требало да постоји велика разлика између чланова две одвојене групе како би резултати били што објективнији.&нбсп;

Сврха експеримента је упоређивање реакцијакорисници који се не разликују једни од других ни по чему осим по томе што једни имају приступ новој функцији, док други још ни не знају за њено постојање. Важно је да се, у просеку, људи у групама А и Б не разликују много у преференцијама садржаја, искуству коришћења услуге и тако даље. Насумично узорковање помаже да се изаберу групе које су просечне и што је могуће једнакије.&нбсп;

Многи се могу запитати зашто не самопредставите ажурирање свим корисницима платформе и не упоређујте индикаторе након ажурирања и пре њега. Али замислите ситуацију: једну иновацију чинимо доступном свима на недељу дана, упоредимо показатеље ове и претходне недеље и на основу резултата откривамо пораст гледаности и повећање просечног времена проведеног на гледању садржаја. Чини се да је хипотеза доказана - допала им се функција, било је више људи, почели су чешће да гледају садржај. Али шта ако је те исте недеље објављена нова сезона популарне ТВ серије или је напољу падала киша сваки дан? Повећање интересовања за платформу и гледање ТВ серија код куће може бити последица премијере високог профила, а не промена у самом сервису. Или још један пример: претходна недеља може пасти на празнике, а нова недеља на радне дане, а то може утицати и на однос корисника према онлајн биоскопу, на учесталост прегледа, па чак и на број нових регистрација.&нбсп;&нбсп ;

Да бисте објективно проценили вредност функције која вам је потребнаспровести тестирање између две различите групе људи, а реакције ове две групе морају се пратити паралелно, у истом периоду, како би се искључио утицај страних догађаја на резултате – празника, премијера на платформи, или чак друштвених вести везане за глумце и редитеље серије представљене у онлајн биоскопу.&нбсп;

Ко спроводи А/Б тестирање?&нбсп;

У КИОН-у, А/Б тестовима управља менаџер производа ианалитичар. Они формулишу хипотезе, одређују важне метрике и одлучују колико корисника треба да учествује у студији да би промена била статистички значајна.

Генерално, тестове могу да спроводе трговцикоји желе да одреде најефикасније алате и методе комуникације са корисницима. Слањем, на пример, различитих пусх обавештења двема групама корисника и мерењем ефикасности таквих подсетника, они такође спроводе А/Б тест. 

Да би тестирање било ефикасно, важно је на почетку размислити о томе како ћете проценити и анализирати резултат.

Такође, А/Б тестови скоро увек укључују дизајнере производа који развијају нова визуелна решења – од целих страница до појединачних дугмади – и мењају интерфејс платформе.&нбсп;

Уз то, наравно, програмери често учествују у таквим тестовима многе нове функције у вези са техничким садржајем услуге имплементирају се својим рукама.&нбсп;

Шта вам је потребно за А/Б тестирање?&нбсп;

Идеја&нбсп;

Идеја иновације је примарна у А/Бтестирање. Било да је у питању идеја за редизајн играча, идеја за нову функцију или идеја за промену постојеће функционалности платформе, са овим „Хајде да урадимо…“ почињу сви А/Б тестови. Ако верујете да ће ваша идеја помоћи сервису, побољшати корисничко искуство и показатеље који су важни за вашу компанију (у нашем случају број гледалаца, учесталост и трајање прегледа садржаја итд.), онда идеја заслужује да постане тестирана хипотеза.&нбсп;

Хипотеза

Хипотеза је формулисани исказформат „Ако урадимо Кс, тада ће се десити позитивне промене И у раду платформе.“ Улога И може бити повећање броја регистрација, повећање броја филмова или епизода ТВ серија које се гледају у низу, повећање времена које корисник проводи на платформи и тако даље. Формулисањем хипотезе одређујете какав ефекат очекујете од иновације, шта и како мислите да би требало да се промени.&нбсп;

Показатељи&нбсп;

Да би тестирање било ефикасно, такође је важнона почетку размислите како ћете проценити и анализирати резултат. Да бисте то урадили, морате да одредите на које метрике ћете обратити пажњу. Можете ићи и у супротном смеру: прво схватите које метрике треба повећати, а затим изнесите хипотезу која би, у теорији, требало да допринесе таквом расту.&нбсп;

Поред дефинисања метрике, такође је важносхватите коју промену сматрате важном. Увек постоји статистичка грешка, посебно када су у питању две насумично регрутоване групе корисника.&нбсп;

Колико ће људи бити потребно за тестирање?Ово је такође важан параметар. Да ли је вредно поредити понашање на платформи две групе од 3-5 људи или би таква студија била нерепрезентативна? Да ли заиста вреди укључити 5.000 корисника у тест? Када сви одговори буду при руци, можете безбедно да почнете са истраживањем.&нбсп;

Опширније:

Снажна бакља је избила на Сунце: већ је утицала на Земљу

Средњовековна тврђава случајно откривена у шуми: откриће је изненадило научнике

Научници су пронашли нову генетску болест код деце: како се манифестује