A/B-testaus: Kuinka tekniikka auttaa kehittäjää kommunikoimaan yleisön kanssa

Mitä A/B-testaus on? 

Teknologisen tuotteen menestys riippuu suoraan sen kyvystä jatkuvasti

kehittyä.Innovaatiot (tai, kuten kehittäjät itse niitä kutsuvat, "uudet ominaisuudet") ovat väistämättömiä, mutta aina ei ole mahdollista ennustaa, kuinka alustan käyttäjät reagoivat tiettyihin muutoksiin. Ehkä ominaisuus tekee palvelusta entistä kätevämmän ja toimivamman, mikä tarkoittaa, että se houkuttelee uusia katsojia alustalle, mutta on mahdollista, että päivitys ei toimi, ja sitten verkkoelokuva menettää katsojia, katselukertoja ja voittoja. Itse asiassa on olemassa A/B- tai split-testejä sen tarkistamiseksi, onnistuuko muutos. Tämä on suhteellisen yksinkertainen ja nopea tapa testata kehittäjien hypoteeseja ja selvittää, kuinka ja kuinka onnistuneesti käyttäjät ovat vuorovaikutuksessa innovaation kanssa. Viestinnän näkökulmasta puhumme palautteen keräämisestä, mikä tekee A/B-testauksesta viestintävälineen alustan ja loppukäyttäjän välillä. 

A/B-testausta voidaan käyttää todentamiseenminkä tahansa mittakaavan hypoteeseja. Esimerkiksi kehittäjä päätti muuttaa pienen painikkeen muotoilua: maalata se uudelleen eri värillä ja kirjoittaa sanan "Aloita" sijaan "Katso". Tai tiimi halusi muuttaa kokonaan sivuston koko pääsivun ulkoasun ja lisätä siihen staattisen kuvan sijaan interaktiivisia videoelementtejä. Molemmissa tapauksissa A/B-testi auttaa sinua tarkistamaan, kuinka hyviä nämä ideat ovat.

Kehittäjät valitsevat käyttäjistä kaksiryhmät - A ja B. Yksi (ryhmä A, jota usein kutsutaan myös "vertailuryhmäksi") jättää kaiken entisellään, ja muille (ryhmä B, "testiryhmä") näytetään päivitetty versio. Ajan myötä on tarpeen analysoida, mitä eroa näiden kahden ryhmän käyttäjien käyttäytymisessä on ilmennyt heidän vuorovaikutuksessaan alustan kanssa. Yksinkertaistuksena: jos osoittautuu, että ryhmä B viettää enemmän aikaa online-elokuvassa, katsoo sisältöä useammin ja katsoo sen loppuun useammin, niin ryhmälle B testitilassa näytettävä päivitys hyödyttää koko palvelua, ja tämä ominaisuus olisi asetettava kaikkien katsojien saataville. Jos päivitys koski enemmän alustan "täyttöä" eikä suunnittelua, niin testituloksia analysoitaessa otetaan huomioon myös tekniset ominaisuudet: muuttuiko B-ryhmän sisällön latausnopeus, vaikuttiko testattu ominaisuus bittinopeus ja niin edelleen. 

Kuinka objektiivisia tällaiset testit ovat? 

Pääsääntöisesti A- ja B-ryhmiin rekrytoidaan ihmisiäsatunnaisesti, vastaavasti, ne ovat keskimäärin plus tai miinus samat. Kyllä, joissain tapauksissa kehittäjät voivat määrittää manuaalisesti, ketkä osallistuvat testaukseen kokonaisuutena, mutta kahden erillisen ryhmän jäsenten välillä ei pitäisi olla paljon eroja, jotta tulokset olisivat mahdollisimman objektiivisia. 

Kokeen tarkoituksena on vertailla reaktioitakäyttäjät, jotka eivät eroa toisistaan ​​millään muulla kuin siinä, että toisilla on pääsy uuteen ominaisuuteen, kun taas toiset eivät edes tiedä sen olemassaolosta vielä. On tärkeää, että keskimäärin A- ja B-ryhmien ihmiset eivät eroa suuresti sisältömieltymyksistä, kokemuksesta palvelun käytöstä jne. Satunnaisotannalla voidaan valita mahdollisimman keskimääräisiä ja tasa-arvoisia ryhmiä. 

Monet saattavat ihmetellä, miksi ei vainOta päivitys käyttöön kaikille alustan käyttäjille äläkä vertaa indikaattoreita päivityksen jälkeen ja ennen sitä. Mutta kuvittele tilanne: laitamme innovaation viikon ajan kaikkien saataville, vertaamme tämän ja edellisen viikon mittareita, ja tulosten perusteella havaitsemme katsojamäärän kasvun ja sisällön katseluajan keskimääräisen kasvun. Vaikuttaa siltä, ​​​​että hypoteesi todistettiin - he pitivät ominaisuudesta, ihmisiä oli enemmän, he alkoivat katsoa sisältöä useammin. Mutta entä jos suositun tv-sarjan uusi kausi julkaistaan ​​samalla viikolla tai ulkona satoi joka päivä? Kiinnostuksen kasvu alustaa ja tv-sarjojen katselua kohtaan kotona saattaa hyvinkin johtua korkean profiilin ensi-illasta, ei itse palvelun muutoksista. Tai toinen esimerkki: edellinen viikko voi pudota vapaapäiviin ja uusi viikko arkipäiviin, mikä voi myös vaikuttaa käyttäjien suhteeseen verkkoelokuvaan, katselutiheyteen ja jopa uusien ilmoittautumisten määrään. &nbsp ;

Arvioidaksesi objektiivisesti tarvitsemasi ominaisuuden arvonsuorittaa testejä kahden eri ihmisryhmän välillä, ja näiden kahden ryhmän reaktioita on seurattava rinnakkain, saman ajanjakson aikana, jotta ulkopuolisten tapahtumien vaikutus tuloksiin suljetaan pois - lomat, ensi-illat alustalla tai jopa sosiaaliset nettielokuvakirjastossa esitellyn sarjan näyttelijöihin ja ohjaajiin liittyviä uutisia. 

Kuka suorittaa A/B-testauksen? 

KIONissa A/B-testejä hoitaa tuotepäällikkö jaanalyytikko. He muotoilevat hypoteeseja, määrittävät tärkeitä mittareita ja päättävät, kuinka monen käyttäjän tulisi osallistua tutkimukseen, jotta muutos olisi tilastollisesti merkittävä.

Yleensä markkinoijat voivat suorittaa testejäjotka haluavat määrittää tehokkaimmat välineet ja menetelmät kommunikoida käyttäjien kanssa. Lähettämällä esimerkiksi erilaisia ​​push-ilmoituksia kahdelle käyttäjäryhmälle ja mittaamalla tällaisten muistutusten tehokkuutta he tekevät myös A/B-testin.

Jotta testaus olisi tehokasta, on tärkeää miettiä alussa, miten arvioit ja analysoit tuloksen.

Lisäksi A/B-testeissä tuotesuunnittelijat kehittävät lähes aina uusia visuaalisia ratkaisuja – kokonaisista sivuista yksittäisiin painikkeisiin – ja muuttavat alustan käyttöliittymää. 

Lisäksi tietysti kehittäjät osallistuvat usein tällaisiin testeihin, monet palvelun tekniseen sisältöön liittyvät uudet ominaisuudet toteutetaan heidän käsin. 

Mitä tarvitset A/B-testaukseen? 

Idea 

Innovaatioidea on ensisijainen A/B:ssätestaus. Olipa kyseessä idea soittimen uudelleensuunnittelusta, idea uudesta ominaisuudesta tai idea olemassa olevan alustan toiminnallisuuden muuttamisesta, kaikki A/B-testit alkavat tällä ”Tehdään…” -toiminnolla. Jos uskot, että ideasi auttaa palvelua, parantaa käyttökokemusta ja yrityksellesi tärkeitä indikaattoreita (tapauksessamme katsojamäärää, sisällön katselutiheyttä ja kestoa jne.), niin idea ansaitsee toteuttaa testattu hypoteesi. 

Hypoteesi

Hypoteesi on muotoiltu lausuntomuoto "Jos teemme X, niin positiivisia muutoksia Y tapahtuu alustan toiminnassa." Y:n rooli voi olla rekisteröitymismäärän kasvu, peräkkäin katsottujen elokuvien tai TV-sarjojen jaksojen määrän kasvu, käyttäjän alustalla viettämän ajan lisääminen ja niin edelleen. Muotoilemalla hypoteesin määrität, minkä vaikutuksen odotat innovaatiolta, mitä ja miten sen pitäisi mielestäsi muuttua. 

Mittarit 

Jotta testaus olisi tehokasta, se on myös tärkeääMieti alussa, kuinka arvioit ja analysoit tuloksen. Tätä varten sinun on määritettävä, mihin mittareihin kiinnität huomiota. Voit myös mennä päinvastaiseen suuntaan: ymmärrä ensin, mitä mittareita on lisättävä, ja esitä sitten hypoteesi, jonka pitäisi teoriassa edistää tällaista kasvua. 

Mittareiden määrittämisen lisäksi se on myös tärkeääymmärtää, mitä muutosta pidät tärkeänä. Tilastollinen virhe on aina olemassa, varsinkin kun on kyse kahdesta satunnaisesti rekrytoidusta käyttäjäryhmästä. 

Kuinka monta henkilöä testaukseen tarvitaan?Tämä on myös tärkeä parametri. Kannattaako kahden 3-5 hengen ryhmän käyttäytymistä verrata, vai olisiko tällainen tutkimus epäedustava? Kannattaako todella ottaa 5000 käyttäjää mukaan testiin? Kun kaikki vastaukset ovat käsillä, voit turvallisesti aloittaa tutkimuksen. 

Lue lisää:

Voimakas leimahdus puhkesi Auringossa: se on jo vaikuttanut Maahan

Metsästä vahingossa löydetty keskiaikainen linnoitus: löytö yllätti tutkijat

Tutkijat ovat löytäneet lapsille uuden geneettisen sairauden: miten se ilmenee