A/B testēšana: kā tehnoloģijas palīdz izstrādātājam sazināties ar auditoriju

Kas ir A/B testēšana? 

Tehnoloģiskā produkta panākumi ir tieši atkarīgi no tā spējas pastāvīgi

attīstīties.Inovācijas (vai, kā paši izstrādātāji tos sauc, “jaunās iespējas”) ir neizbēgamas, taču ne vienmēr ir iespējams paredzēt, kā platformas lietotāji reaģēs uz noteiktām izmaiņām. Iespējams, šī funkcija padarīs pakalpojumu vēl ērtāku un funkcionālāku, kas nozīmē, ka tas piesaistīs platformai jaunus skatītājus, taču iespējams, ka atjauninājums nedarbosies, un tad tiešsaistes kinoteātris zaudēs skatītājus, skatījumus un peļņu. Faktiski pastāv A/B vai sadalītie testi, lai pārbaudītu, vai izmaiņas būs veiksmīgas. Tas ir salīdzinoši vienkāršs un ātrs veids, kā pārbaudīt jebkuru izstrādātāju hipotēzi un noskaidrot, kā un cik veiksmīgi lietotāji mijiedarbojas ar jauninājumu. No komunikācijas viedokļa mēs runājam par atsauksmju vākšanu, kas padara A/B testēšanu par saziņas līdzekli starp platformu un gala lietotāju. 

Lai pārbaudītu, var izmantot A/B testēšanujebkura mēroga hipotēzes. Piemēram, izstrādātājs nolēma mainīt nelielas pogas dizainu: pārkrāsojiet to citā krāsā un vārda “Start” vietā uzrakstiet uz tās “Skatīties”. Vai arī komanda vēlējās pilnībā mainīt visas vietnes galvenās lapas dizainu un statiska attēla vietā pievienot tai interaktīvus video elementus. Abos gadījumos A/B tests palīdzēs pārbaudīt, cik labas ir šīs idejas. 

Izstrādātāji izvēlēsies divus no lietotājiemgrupas — A un B. Viena (A grupa, bieži saukta arī par "kontroles grupu") atstās visu kā bijis, bet pārējām (B grupa, "pārbaudes grupa") tiks parādīta atjauninātā versija. Laika gaitā būs jāanalizē, kāda atšķirība ir parādījusies šo divu grupu lietotāju uzvedībā, viņu mijiedarbībā ar platformu. Vienkāršojot: ja izrādīsies, ka B grupa vairāk laika pavada tiešsaistes kinoteātrī, biežāk skatās saturu un biežāk noskatās līdz galam, tad B grupai testa režīmā rādītais atjauninājums nāks par labu visam pakalpojumam, un šī funkcija jāpadara pieejama visiem skatītājiem. Ja atjauninājums vairāk attiecās uz platformas “piepildīšanu”, nevis dizainu, tad, analizējot testa rezultātus, tiek ņemti vērā arī tehniskie parametri: vai mainījās B grupas satura ielādes ātrums, vai pārbaudītā funkcija ietekmēja bitu pārraides ātrumu. un tā tālāk. 

Cik objektīvi ir šādi testi? 

Parasti tiek pieņemti darbā A un B grupas cilvēkinejauši, attiecīgi, vidēji tie ir plus mīnus vienādi. Jā, dažos gadījumos izstrādātāji var manuāli noteikt, kurš testēšanā piedalīsies kopumā, taču nevajadzētu būt lielām atšķirībām starp abu atsevišķo grupu dalībniekiem, lai rezultāti būtu pēc iespējas objektīvāki. 

Eksperimenta mērķis ir salīdzināt reakcijaslietotāji, kuri ne ar ko neatšķiras cits no cita, kā tikai ar to, ka vieniem ir pieejama jauna funkcija, bet citi par tās esamību vēl pat nezina. Svarīgi, lai vidēji A un B grupas cilvēki īpaši neatšķirtos satura preferencēs, servisa lietošanas pieredzē utt. Nejauša izlase palīdz atlasīt pēc iespējas vidējās un vienlīdzīgākas grupas. 

Daudzi var brīnīties, kāpēc ne tikaiizlaidiet atjauninājumu visiem platformas lietotājiem un nesalīdziniet rādītājus pēc atjaunināšanas un pirms tā. Taču iedomājieties situāciju: uz nedēļu padarām inovāciju pieejamu ikvienam, salīdzinām šīs un iepriekšējās nedēļas rādītājus un pēc rezultātiem atklājam skatītāju skaita pieaugumu un vidējā satura skatīšanās laika pieaugumu. Šķiet, ka hipotēze tika pierādīta - viņiem patika funkcija, bija vairāk cilvēku, viņi sāka skatīties saturu biežāk. Bet ko darīt, ja tajā pašā nedēļā tiktu izdota jauna populāra seriāla sezona vai ārā katru dienu lītu lietus? Intereses palielināšanās par platformu un seriālu skatīšanos mājās, iespējams, ir saistīta ar skaļo pirmizrādi, nevis ar izmaiņām pašā pakalpojumā. Vai cits piemērs: iepriekšējā nedēļa var iekrist brīvdienās, bet jaunā nedēļa var iekrist darba dienās, un tas var ietekmēt arī lietotāju attiecības ar tiešsaistes kino, skatījumu biežumu un pat jaunu reģistrāciju skaitu. &nbsp ;

Lai objektīvi novērtētu vajadzīgās funkcijas vērtībuveikt testēšanu starp divām dažādām cilvēku grupām, un šo divu grupu reakcijas ir jāuzrauga paralēli, tajā pašā laika posmā, lai izslēgtu svešu notikumu ietekmi uz rezultātiem - brīvdienām, pirmizrādēm platformā vai pat sociālajiem jaunumi saistībā ar tiešsaistes kinoteātra bibliotēkā prezentētā seriāla aktieriem un režisoriem. 

Kas veic A/B testēšanu? 

Uzņēmumā KION A/B testus veic produktu menedžeris unanalītiķis. Viņi formulē hipotēzes, nosaka svarīgus rādītājus un izlemj, cik lietotāju vajadzētu piedalīties pētījumā, lai izmaiņas būtu statistiski nozīmīgas.

Parasti testus var veikt tirgotājikuri vēlas noteikt efektīvākos rīkus un metodes saziņai ar lietotājiem. Nosūtot, piemēram, dažādus push paziņojumus divām lietotāju grupām un mērot šādu atgādinājumu efektivitāti, viņi veic arī A/B testu. 

Lai testēšana būtu efektīva, sākumā ir svarīgi padomāt, kā jūs novērtēsiet un analizēsiet rezultātu.

Turklāt A/B testos gandrīz vienmēr tiek iesaistīti produktu dizaineri, kuri izstrādā jaunus vizuālos risinājumus — no veselām lapām līdz atsevišķām pogām — un maina platformas saskarni. 

Turklāt, protams, šādos testos bieži piedalās arī daudzas jaunas funkcijas saistībā ar pakalpojuma tehnisko saturu. 

Kas nepieciešams A/B testēšanai? 

Ideja 

Tā ir inovācijas ideja, kas ir primārā A/B jomātestēšana. Neatkarīgi no tā, vai tā ir ideja par atskaņotāja pārprojektēšanu, ideja par jaunu funkciju vai ideja mainīt esošās platformas funkcionalitāti, visi A/B testi sākas ar šo “Let’s do…”. Ja uzskatāt, ka jūsu ideja palīdzēs pakalpojumam, uzlabos lietotāja pieredzi un jūsu uzņēmumam svarīgus rādītājus (mūsu gadījumā skatītāju skaitu, satura skatījumu biežumu un ilgumu utt.), tad ideja ir pelnījusi kļūt par pārbaudītu hipotēzi. 

Hipotēze

Hipotēze ir formulēts apgalvojumsformāts “Ja mēs izdarīsim X, tad platformas darbībā notiks pozitīvas izmaiņas Y.” Y loma var būt reģistrāciju skaita palielināšanās, pēc kārtas skatīto filmu vai seriālu sēriju skaita palielināšanās, lietotāja platformā pavadītā laika palielināšanās utt. Formulējot hipotēzi, jūs nosakāt, kādu efektu jūs sagaidāt no inovācijas, kas un kā, jūsuprāt, būtu jāmaina. 

Metrika 

Lai testēšana būtu efektīva, tas ir arī svarīgisākumā padomā, kā vērtēsi un analizēsi rezultātu. Lai to izdarītu, jums ir jānosaka, kādiem rādītājiem jūs pievērsīsit uzmanību. Varat arī iet pretējā virzienā: vispirms saprast, kādi rādītāji ir jāpalielina, un pēc tam izvirzīt hipotēzi, kam teorētiski būtu jāveicina šāda izaugsme. 

Papildus metriku noteikšanai tas ir arī svarīgisaprast, kādas izmaiņas uzskatīsit par svarīgām. Vienmēr pastāv statistikas kļūda, it īpaši, ja runa ir par divām nejauši pieņemtām lietotāju grupām. 

Cik cilvēku būs nepieciešams testēšanai?Tas ir arī svarīgs parametrs. Vai ir vērts salīdzināt uzvedību uz divu 3-5 cilvēku grupu platformas, vai arī šāds pētījums būtu nereprezentatīvs? Vai tiešām ir vērts testā iesaistīt 5000 lietotāju? Kad visas atbildes būs pieejamas, varat droši sākt izpēti. 

Lasīt vairāk:

Saulē izcēlās spēcīgs uzliesmojums: tas jau ir skāris Zemi

Viduslaiku cietoksnis nejauši atklāts mežā: atradums pārsteidza zinātniekus

Zinātnieki atklājuši jaunu bērnu ģenētisku slimību: kā tā izpaužas