Che cos'è il test A/B?
Il successo di un prodotto tecnologico dipende direttamente dalla sua capacità di
Per verificare è possibile utilizzare il test A/Bipotesi di qualsiasi portata. Ad esempio, lo sviluppatore ha deciso di cambiare il design di un piccolo pulsante: ridipingerlo di un colore diverso e invece della parola "Avvia" scriverci sopra "Guarda". Oppure il team voleva cambiare completamente il design dell'intera pagina principale del sito e aggiungere elementi video interattivi invece di un'immagine statica. In entrambi i casi, un test A/B ti aiuterà a verificare quanto sono buone queste idee.
Gli sviluppatori ne sceglieranno due tra gli utentigruppi - A e B. Uno (il gruppo A, spesso chiamato anche "gruppo di controllo") lascerà tutto com'era e agli altri (gruppo B, il "gruppo di prova") verrà mostrata la versione aggiornata. Nel tempo bisognerà analizzare quale differenza è apparsa nel comportamento degli utenti di questi due gruppi, nella loro interazione con la piattaforma. Per semplificare: se si scopre che il gruppo B trascorre più tempo nel cinema online, guarda i contenuti più spesso e li guarda fino alla fine più spesso, allora l'aggiornamento mostrato al gruppo B in modalità test andrà a vantaggio dell'intero servizio, e questa funzionalità Dovrebbero essere messi a loro disposizione tutti gli spettatori. Se l'aggiornamento riguardava più il "riempimento" della piattaforma, e non il design, allora quando si analizzano i risultati del test, vengono prese in considerazione anche le caratteristiche tecniche: è cambiata la velocità di caricamento dei contenuti del gruppo B, la funzionalità testata ha influenzato bitrate e così via.
Quanto sono oggettivi tali test?
Di norma vengono reclutate persone dei gruppi A e Bin modo casuale, rispettivamente, in media sono più o meno uguali. Sì, in alcuni casi, gli sviluppatori possono determinare manualmente chi parteciperà ai test nel loro complesso, ma non dovrebbe esserci molta differenza tra i membri dei due gruppi separati affinché i risultati siano quanto più oggettivi possibile.
Lo scopo dell'esperimento è confrontare le reazioniutenti che non differiscono tra loro se non per il fatto che alcuni hanno accesso a una nuova funzionalità, mentre altri non ne sanno nemmeno l'esistenza. È importante che, in media, le persone dei gruppi A e B non differiscano molto nelle preferenze sui contenuti, nell'esperienza nell'utilizzo del servizio e così via. Il campionamento casuale aiuta a selezionare gruppi quanto più medi e uguali possibile.
Molti potrebbero chiedersi perché non solodistribuire l'aggiornamento a tutti gli utenti della piattaforma e non confrontare gli indicatori dopo l'aggiornamento e prima. Ma immaginiamo la situazione: mettiamo a disposizione di tutti un'innovazione per una settimana, confrontiamo gli indicatori di questa settimana con quelli della settimana precedente, e in base ai risultati scopriamo un aumento degli spettatori e un aumento del tempo medio trascorso nella visione dei contenuti. Sembrerebbe che l'ipotesi sia stata dimostrata: la funzionalità è piaciuta, c'erano più persone, hanno iniziato a guardare il contenuto più spesso. Ma cosa succederebbe se quella stessa settimana uscisse una nuova stagione di una popolare serie TV o fuori piovesse tutti i giorni? L'aumento dell'interesse per la piattaforma e la visione delle serie TV a casa potrebbe essere dovuto alla prima di alto profilo e non ai cambiamenti nel servizio stesso. Oppure un altro esempio: la settimana precedente potrebbe cadere in un giorno festivo, e la nuova settimana potrebbe cadere in un giorno feriale, e questo può influenzare anche il rapporto degli utenti con il cinema online, la frequenza delle visualizzazioni e persino il numero di nuove registrazioni.   ;
Per valutare oggettivamente il valore di una funzionalità di cui hai bisognocondurre test tra due diversi gruppi di persone e le reazioni di questi due gruppi devono essere monitorate in parallelo, durante lo stesso periodo, per escludere l'influenza di eventi estranei sui risultati - vacanze, anteprime sulla piattaforma o anche social notizie relative agli attori e ai registi delle serie presentate nella libreria del cinema online.
Chi conduce i test A/B?
In KION, i test A/B sono gestiti da un product manager eanalista. Formulano ipotesi, determinano metriche importanti e decidono quanti utenti dovrebbero partecipare allo studio affinché un cambiamento sia statisticamente significativo.
In generale, i test possono essere eseguiti dagli esperti di marketingche vogliono determinare gli strumenti e i metodi di comunicazione più efficaci con gli utenti. Inviando, ad esempio, diverse notifiche push a due gruppi di utenti e misurando l'efficacia di tali promemoria, viene effettuato anche un test A/B.
Affinché il test sia efficace, è importante all'inizio pensare a come valutare e analizzare il risultato.
Inoltre, i test A/B coinvolgono quasi sempre i designer di prodotto che sviluppano nuove soluzioni visive, da intere pagine a singoli pulsanti, e modificano l'interfaccia della piattaforma.
Inoltre, ovviamente, gli sviluppatori partecipano spesso a tali test e molte nuove funzionalità relative al contenuto tecnico del servizio vengono implementate con le loro mani.
Di cosa hai bisogno per i test A/B?
Idea
È l’idea di innovazione ad essere primaria in A/Btest. Che si tratti di un'idea per la riprogettazione di un giocatore, un'idea per una nuova funzionalità o un'idea per modificare la funzionalità di una piattaforma esistente, è con questo "Facciamo..." che iniziano tutti i test A/B. Se ritieni che la tua idea aiuterà il servizio, migliorerà l'esperienza dell'utente e gli indicatori importanti per la tua azienda (nel nostro caso, il numero di spettatori, la frequenza e la durata delle visualizzazioni dei contenuti, ecc.), allora l'idea merita di essere diventare un'ipotesi verificata.
Ipotesi
Un'ipotesi è un'affermazione formulataformato "Se facciamo X, si verificheranno cambiamenti positivi Y nel funzionamento della piattaforma." Il ruolo di Y può essere un aumento del numero di registrazioni, un aumento del numero di film o episodi di serie TV guardati di seguito, un aumento del tempo che l'utente trascorre sulla piattaforma e così via. Formulando un'ipotesi, determini quale effetto ti aspetti dall'innovazione, cosa e come pensi che dovrebbe cambiare.
Metriche
Affinché i test siano efficaci, è anche importanteall'inizio, pensa a come valuterai e analizzerai il risultato. Per fare ciò, devi determinare a quali metriche presterai attenzione. Puoi anche andare nella direzione opposta: prima capire quali parametri devono essere aumentati e poi avanzare un'ipotesi che, in teoria, dovrebbe contribuire a tale crescita.
Oltre a definire le metriche, è anche importantecapire quale cambiamento considererai importante. C'è sempre un errore statistico, soprattutto quando si tratta di due gruppi di utenti reclutati casualmente.
Quante persone saranno necessarie per i test?Anche questo è un parametro importante. Vale la pena confrontare il comportamento sulla piattaforma di due gruppi di 3-5 persone, oppure uno studio del genere non sarebbe rappresentativo? Vale davvero la pena coinvolgere 5.000 utenti nel test? Quando tutte le risposte sono a portata di mano, puoi iniziare la ricerca in tutta sicurezza.
Leggi di più:
Un potente bagliore è esploso sul Sole: ha già colpito la Terra
Fortezza medievale scoperta per caso nella foresta: il ritrovamento ha sorpreso gli scienziati
Gli scienziati hanno scoperto una nuova malattia genetica nei bambini: come si manifesta