A/B testavimas: kaip technologijos padeda kūrėjui bendrauti su auditorija

Kas yra A/B testavimas? 

Technologinio produkto sėkmė tiesiogiai priklauso nuo jo gebėjimo nuolat

vystytis.Naujovės (arba, kaip patys kūrėjai vadina, „naujos funkcijos“) yra neišvengiamos, tačiau ne visada galima numatyti, kaip platformos vartotojai reaguos į tam tikrus pokyčius. Galbūt ši funkcija padarys paslaugą dar patogesnę ir funkcionalesnę, vadinasi, į platformą pritrauks naujų žiūrovų, tačiau gali būti, kad atnaujinimas neveiks, o tuomet internetinis kinas neteks žiūrovų, peržiūrų ir pelno. Tiesą sakant, yra A/B arba padalinti testai, siekiant patikrinti, ar pakeitimas bus sėkmingas. Tai gana paprastas ir greitas būdas patikrinti bet kokias kūrėjų hipotezes ir išsiaiškinti, kaip ir kaip sėkmingai vartotojai sąveikauja su naujove. Žvelgiant iš komunikacijos perspektyvos, kalbame apie grįžtamojo ryšio rinkimą, todėl A/B testavimas yra platformos ir galutinio vartotojo komunikacijos priemonė. 

Patvirtinti galima naudoti A/B testavimąbet kokio masto hipotezės. Pavyzdžiui, kūrėjas nusprendė pakeisti mažo mygtuko dizainą: perdažyti jį kita spalva ir vietoj žodžio „Pradėti“ parašyti „Žiūrėti“. Arba komanda norėjo visiškai pakeisti viso pagrindinio svetainės puslapio dizainą ir vietoj statinio vaizdo pridėti interaktyvių vaizdo elementų. Abiem atvejais A/B testas padės patikrinti, ar šios idėjos geros. 

Kūrėjai pasirinks du iš vartotojųgrupės – A ir B. Vienai (A grupė, dar dažnai vadinama „kontroline grupe“) viskas bus taip, kaip buvo, o kitoms (B grupė, „bandomoji grupė“) bus rodoma atnaujinta versija. Laikui bėgant reikės išanalizuoti, koks skirtumas atsirado šių dviejų grupių vartotojų elgesyje, sąveikoje su platforma. Paprasčiau: jei paaiškės, kad B grupė daugiau laiko praleidžia internetiniame kine, dažniau žiūri turinį ir dažniau žiūri iki galo, tai B grupei bandomuoju režimu rodomas atnaujinimas bus naudingas visai paslaugai, o ši funkcija turėtų būti prieinami visiems žiūrovams. Jei atnaujinimas buvo labiau susijęs su platformos „užpildymu“, o ne su dizainu, tai analizuojant bandymo rezultatus atsižvelgiama ir į technines charakteristikas: ar pasikeitė B grupės turinio įkėlimo greitis, ar išbandyta funkcija turėjo įtakos pralaidumas ir pan. 

Kiek objektyvūs tokie testai? 

Paprastai įdarbinami A ir B grupių žmonėsatsitiktinai, atitinkamai, vidutiniškai jie yra plius minus vienodi. Taip, kai kuriais atvejais kūrėjai gali neautomatiniu būdu nustatyti, kas dalyvaus atliekant testavimą kaip visumą, tačiau tarp dviejų atskirų grupių narių neturėtų būti daug skirtumų, kad rezultatai būtų kuo objektyvesni. 

Eksperimento tikslas – palyginti reakcijasvartotojų, kurie nesiskiria vieni nuo kitų niekuo, išskyrus tai, kad vieni turi prieigą prie naujos funkcijos, o kiti apie jos egzistavimą dar net nežino. Svarbu, kad vidutiniškai A ir B grupių žmonės labai nesiskirtų turinio pageidavimais, patirtimi naudojantis paslauga ir pan. Atsitiktinė atranka padeda atrinkti grupes, kurios būtų kuo vidutiniškesnės ir vienodesnės. 

Daugeliui gali kilti klausimas, kodėl ne tikišleiskite naujinimą visiems platformos vartotojams ir nelyginkite rodiklių po atnaujinimo ir prieš jį. Tačiau įsivaizduokite situaciją: savaitei padarome naujovę prieinamą visiems, palyginame šios ir praėjusios savaitės rodiklius ir pagal rezultatus atrandame žiūrovų pagausėjimą bei vidutinio turinio žiūrėjimo laiko padidėjimą. Atrodytų, hipotezė pasitvirtino – jiems patiko funkcija, atsirado daugiau žmonių, jie pradėjo dažniau žiūrėti turinį. O kas, jei tą pačią savaitę būtų išleistas naujas populiaraus serialo sezonas arba lauke kasdien lyja lietus? Padidėjęs susidomėjimas platforma ir serialų žiūrėjimas namuose gali būti dėl didelio atgarsio sulaukusios premjeros, o ne dėl pačios paslaugos pasikeitimų. Arba kitas pavyzdys: ankstesnė savaitė gali iškristi į šventes, o nauja – darbo dienomis, o tai taip pat gali turėti įtakos vartotojų santykiams su internetiniu kinu, peržiūrų dažnumu ir net naujų registracijų skaičiumi. &nbsp ;

Norėdami objektyviai įvertinti jums reikalingos funkcijos vertęatlikti testavimą tarp dviejų skirtingų žmonių grupių, o šių dviejų grupių reakcijas turi būti stebimos lygiagrečiai, tuo pačiu laikotarpiu, siekiant pašalinti pašalinių įvykių įtaką rezultatams – švenčių, premjerų platformoje ar net socialinių naujienos, susijusios su internetinėje kino bibliotekoje pristatomo serialo aktoriais ir režisieriais. 

Kas atlieka A/B testavimą? 

KION A/B testus atlieka produkto vadovas iranalitikas. Jie formuluoja hipotezes, nustato svarbius rodiklius ir nusprendžia, kiek vartotojų turėtų dalyvauti tyrime, kad pokytis būtų statistiškai reikšmingas.

Apskritai, testus gali atlikti rinkodaros specialistaikurie nori nustatyti efektyviausius bendravimo su vartotojais įrankius ir būdus. Siųsdami, pavyzdžiui, skirtingus tiesioginius pranešimus dviem vartotojų grupėms ir matuodami tokių priminimų efektyvumą, jie taip pat atlieka A/B testą. 

Kad bandymai būtų veiksmingi, pradžioje svarbu apgalvoti, kaip vertinsite ir analizuosite rezultatą.

Be to, atliekant A/B testus beveik visada produktų dizaineriai kuria naujus vizualinius sprendimus – nuo ​​ištisų puslapių iki atskirų mygtukų – ir keičia platformos sąsają. 

Be to, žinoma, kūrėjai dažnai dalyvauja tokiuose bandymuose, daug naujų funkcijų, susijusių su techniniu paslaugos turiniu, įdiegiama savo rankomis. 

Ko reikia A/B testavimui? 

Idėja 

Būtent inovacijų idėja yra pagrindinė A/Btestavimas. Nesvarbu, ar tai būtų žaidėjo perkūrimo idėja, ar naujos funkcijos idėja, ar esamos platformos funkcionalumo keitimo idėja, nuo šio „Darom...“ prasideda visi A/B bandymai. Jeigu manote, kad Jūsų idėja padės paslaugai, pagerins vartotojo patirtį ir Jūsų įmonei svarbius rodiklius (mūsų atveju – žiūrovų skaičių, turinio peržiūrų dažnumą ir trukmę ir pan.), tuomet idėja verta tapti patikrinta hipoteze. 

Hipotezė

Hipotezė yra suformuluotas teiginysformatu „Jei padarysime X, platformos veikloje įvyks teigiami pokyčiai Y“. Y vaidmuo gali būti registracijų skaičiaus padidėjimas, iš eilės žiūrimų filmų ar TV serialų epizodų skaičiaus padidėjimas, vartotojo platformoje praleidžiamo laiko pailgėjimas ir pan. Suformuluodami hipotezę nustatote, kokio poveikio tikitės iš naujovės, kas ir kaip, jūsų nuomone, turėtų pasikeisti. 

Metrika 

Kad bandymai būtų veiksmingi, tai taip pat svarbupradžioje pagalvokite, kaip įvertinsite ir analizuosite rezultatą. Norėdami tai padaryti, turite nustatyti, į kokius rodiklius atkreipsite dėmesį. Galite eiti ir priešinga kryptimi: iš pradžių suprasti, kokius rodiklius reikia padidinti, o tada iškelti hipotezę, kuri teoriškai turėtų prisidėti prie tokio augimo. 

Be metrikų apibrėžimo, tai taip pat svarbusuprasti, kokį pakeitimą laikysite svarbiu. Visada yra statistinė klaida, ypač kai kalbama apie dvi atsitiktinai suburtas vartotojų grupes. 

Kiek žmonių reikės tyrimams?Tai taip pat svarbus parametras. Ar verta lyginti elgesį dviejų 3-5 žmonių grupių platformoje, ar toks tyrimas būtų nereprezentatyvus? Ar tikrai verta į testą įtraukti 5000 vartotojų? Kai rasite visus atsakymus, galite saugiai pradėti tyrimą. 

Skaityti daugiau:

Saulėje išsiveržė galingas blyksnis: jis jau paveikė Žemę

Viduramžių tvirtovė atsitiktinai aptikta miške: radinys nustebino mokslininkus

Mokslininkai nustatė naują genetinę vaikų ligą: kaip ji pasireiškia