O que são testes A/B?
O sucesso de um produto tecnológico depende diretamente da sua capacidade de
O teste A/B pode ser usado para verificarhipóteses de qualquer escala. Por exemplo, o desenvolvedor decidiu mudar o design de um pequeno botão: repintá-lo com uma cor diferente e em vez da palavra “Iniciar” escrever “Assistir” nele. Ou a equipe queria mudar completamente o design de toda a página principal do site e adicionar elementos de vídeo interativos em vez de uma imagem estática. Em ambos os casos, um teste A/B irá ajudá-lo a verificar se essas ideias são boas.
Os desenvolvedores escolherão dois dos usuáriosgrupos - A e B. Um (grupo A, também chamado de "grupo de controle") deixará tudo como estava, e os demais (grupo B, o "grupo de teste") verão a versão atualizada. Com o tempo, será necessário analisar que diferença apareceu no comportamento dos usuários desses dois grupos, na sua interação com a plataforma. Para simplificar: se acontecer que o grupo B passa mais tempo no cinema online, assiste ao conteúdo com mais frequência e assiste até o fim com mais frequência, então a atualização mostrada ao grupo B em modo de teste beneficiará todo o serviço, e esse recurso devem ser disponibilizados a todos os espectadores. Se a atualização dizia respeito mais ao “preenchimento” da plataforma, e não ao design, então na análise dos resultados dos testes também são levadas em consideração as características técnicas: a velocidade de carregamento do conteúdo do grupo B mudou, o recurso testado afetou o taxa de bits e assim por diante.
Quão objetivos são esses testes?
Via de regra, as pessoas dos grupos A e B são recrutadasaleatoriamente, respectivamente, em média eles são mais ou menos iguais. Sim, em alguns casos, os desenvolvedores podem determinar manualmente quem participará dos testes como um todo, mas não deve haver muita diferença entre os membros dos dois grupos separados para que os resultados sejam tão objetivos quanto possível.
O objetivo do experimento é comparar reaçõesusuários que não diferem entre si em nada além do fato de alguns terem acesso a um novo recurso, enquanto outros ainda nem sabem de sua existência. É importante que, em média, as pessoas dos grupos A e B não difiram muito nas preferências de conteúdo, na experiência de utilização do serviço e assim por diante. A amostragem aleatória ajuda a selecionar grupos tão médios e iguais quanto possível.
Muitos podem se perguntar por que não apenasdistribuir a atualização para todos os usuários da plataforma e não comparar os indicadores após a atualização e antes dela. Mas imagine a situação: disponibilizamos uma inovação para todos durante uma semana, comparamos os indicadores desta e da semana anterior, e com base nos resultados descobrimos um aumento de espectadores e um aumento no tempo médio de visualização de conteúdos. Parece que a hipótese foi comprovada - gostaram do recurso, havia mais gente, passaram a assistir o conteúdo com mais frequência. Mas e se uma nova temporada de uma série de TV popular fosse lançada na mesma semana ou estivesse chovendo lá fora todos os dias? O aumento do interesse pela plataforma e por assistir séries de TV em casa pode muito bem ser devido à estreia de destaque, e não a mudanças no serviço em si. Ou outro exemplo: a semana anterior pode cair em feriados, e a nova semana pode cair em dias úteis, e isso também pode afetar a relação dos usuários com o cinema online, a frequência de visualizações e até o número de novas inscrições.   ;
Para avaliar objetivamente o valor de um recurso que você precisarealizar testes entre dois grupos diferentes de pessoas, e as reações desses dois grupos devem ser monitoradas em paralelo, durante o mesmo período, de forma a excluir a influência de eventos estranhos nos resultados - feriados, estreias na plataforma, ou mesmo sociais notícias relacionadas aos atores e diretores das séries apresentadas na biblioteca online de cinema.
Quem conduz os testes A/B?
Na KION, os testes A/B são feitos por um gerente de produto eanalista. Eles formulam hipóteses, determinam métricas importantes e decidem quantos usuários devem participar do estudo para que a mudança seja estatisticamente significativa.
Em geral, os testes podem ser realizados por profissionais de marketingque desejam determinar as ferramentas e métodos mais eficazes de comunicação com os usuários. Ao enviar, por exemplo, diferentes notificações push para dois grupos de usuários e medir a eficácia de tais lembretes, eles também realizam um teste A/B.
Para que o teste seja eficaz, é importante, no início, pensar em como você avaliará e analisará o resultado.
Além disso, os testes A/B quase sempre envolvem designers de produtos desenvolvendo novas soluções visuais - de páginas inteiras a botões individuais - e alterando a interface da plataforma.
Além disso, é claro, os desenvolvedores frequentemente participam desses testes: muitos novos recursos relacionados ao conteúdo técnico do serviço são implementados com as próprias mãos.
O que você precisa para testes A/B?
Ideia
É a ideia de inovação que é primordial em A/Btestando. Seja uma ideia para redesenhar um player, uma ideia para um novo recurso ou uma ideia para alterar uma funcionalidade existente da plataforma, é com esse “Vamos fazer…” que todos os testes A/B começam. Se você acredita que sua ideia vai ajudar o serviço, melhorar a experiência do usuário e indicadores importantes para sua empresa (no nosso caso, o número de visualizadores, a frequência e duração das visualizações do conteúdo, etc.), então a ideia merece se tornar uma hipótese testada.
Hipótese
Uma hipótese é uma afirmação formuladaformato “Se fizermos X, então ocorrerão mudanças positivas Y na operação da plataforma.” O papel de Y pode ser aumentar o número de inscrições, aumentar o número de filmes ou episódios de séries de TV assistidos consecutivos, aumentar o tempo que o usuário passa na plataforma e assim por diante. Ao formular uma hipétese, você determina qual efeito espera da inovação, o que e como você acha que deveria mudar.
Métricas
Para que os testes sejam eficazes, também é importanteno início, pense em como você avaliará e analisará o resultado. Para fazer isso, você precisa determinar em quais métricas prestará atenção. Você também pode ir na direção oposta: primeiro entender quais métricas precisam ser aumentadas e depois apresentar uma hipótese que, em tese, deveria contribuir para esse crescimento.
Além de definir métricas, também é importanteentenda qual mudança você considerará importante. Sempre há um erro estatístico, especialmente quando se trata de dois grupos de usuários recrutados aleatoriamente.
Quantas pessoas serão necessárias para os testes?Este também é um parâmetro importante. Vale a pena comparar o comportamento na plataforma de dois grupos de 3 a 5 pessoas, ou tal estudo não seria representativo? Vale mesmo a pena envolver 5.000 usuários no teste? Quando todas as respostas estiverem em mãos, você poderá começar a pesquisar com segurança.
Consulte Mais informação:
Uma explosão poderosa irrompeu no Sol: já afetou a Terra
Fortaleza medieval descoberta acidentalmente na floresta: o achado surpreendeu os cientistas
Cientistas descobriram uma nova doença genética em crianças: como ela se manifesta