Qu'est-ce que les tests A/B ?
Le succès d'un produit technologique dépend directement de sa capacité à constamment
Les tests A/B peuvent être utilisés pour vérifierhypothèses de toute envergure. Par exemple, le développeur a décidé de modifier le design d'un petit bouton : repeignez-le d'une couleur différente et au lieu du mot « Démarrer », écrivez dessus « Regarder ». Ou bien l'équipe souhaitait changer complètement la conception de toute la page principale du site et, au lieu d'une image statique, y ajouter des éléments vidéo interactifs. Dans les deux cas, un test A/B vous aidera à vérifier la qualité de ces idées.
Les développeurs en choisiront deux parmi les utilisateursgroupes - A et B. L'un (le groupe A, aussi souvent appelé "groupe de contrôle") laissera tout tel qu'il était, et les autres (le groupe B, le "groupe de test") verront la version mise à jour. Au fil du temps, il faudra analyser quelle différence est apparue dans le comportement des utilisateurs de ces deux groupes, dans leur interaction avec la plateforme. Pour simplifier : s'il s'avère que le groupe B passe plus de temps dans le cinéma en ligne, regarde plus souvent le contenu et le regarde jusqu'au bout plus souvent, alors la mise à jour présentée au groupe B en mode test profitera à l'ensemble du service, et cette fonctionnalité devrait être mis à la disposition de tous les spectateurs. Si la mise à jour concernait davantage le « remplissage » de la plateforme, et non le design, alors lors de l'analyse des résultats des tests, les caractéristiques techniques sont également prises en compte : la vitesse de chargement du contenu du groupe B a-t-elle changé, la fonctionnalité testée a-t-elle affecté le débit binaire, etc.
Dans quelle mesure ces tests sont-ils objectifs ?
En règle générale, les personnes des groupes A et B sont recrutéesau hasard, respectivement, en moyenne, ils sont plus ou moins identiques. Oui, dans certains cas, les développeurs peuvent déterminer manuellement qui participera aux tests dans leur ensemble, mais il ne devrait pas y avoir beaucoup de différence entre les membres des deux groupes distincts afin que les résultats soient aussi objectifs que possible.
Le but de l'expérience est de comparer les réactionsdes utilisateurs qui ne diffèrent les uns des autres que par le fait que certains ont accès à une nouvelle fonctionnalité, tandis que d'autres ne connaissent même pas encore son existence. Il est important qu'en moyenne, les personnes des groupes A et B ne diffèrent pas beaucoup en termes de préférences de contenu, d'expérience dans l'utilisation du service, etc. L'échantillonnage aléatoire permet de sélectionner des groupes aussi moyens et égaux que possible.
Beaucoup peuvent se demander pourquoi ne pas simplementdéployer la mise à jour auprès de tous les utilisateurs de la plateforme et ne comparer pas les indicateurs après et avant la mise à jour. Mais imaginez la situation : nous mettons une innovation à la disposition de tous pendant une semaine, comparons les indicateurs de cette semaine et de la semaine précédente, et sur la base des résultats nous découvrons une augmentation du nombre de téléspectateurs et une augmentation du temps moyen passé à regarder le contenu. Il semblerait que l'hypothèse ait été prouvée : ils ont aimé la fonctionnalité, il y avait plus de monde, ils ont commencé à regarder le contenu plus souvent. Mais que se passerait-il si une nouvelle saison d’une série télévisée populaire sortait la même semaine ou s’il pleuvait dehors tous les jours ? L'intérêt croissant pour la plateforme et le visionnage de séries télévisées à la maison pourrait bien être dû à la première très médiatisée, et non à des changements dans le service lui-même. Ou un autre exemple : la semaine précédente peut tomber un jour férié, et la nouvelle semaine peut tomber un jour de semaine, et cela peut également affecter la relation des utilisateurs avec le cinéma en ligne, la fréquence des visionnages et même le nombre de nouvelles inscriptions.   ;
Pour évaluer objectivement la valeur d’une fonctionnalité dont vous avez besoineffectuer des tests entre deux groupes de personnes différents, et les réactions de ces deux groupes doivent être surveillées en parallèle, pendant la même période, afin d'exclure l'influence d'événements extérieurs sur les résultats - vacances, premières sur la plateforme, ou même sociales l'actualité liée aux acteurs et réalisateurs de la série présentée dans la cinémathèque en ligne.
Qui effectue les tests A/B ?
Chez KION, les tests A/B sont gérés par un chef de produit etanalyste. Ils formulent des hypothèses, déterminent des paramètres importants et décident du nombre d'utilisateurs qui doivent participer à l'étude pour que le changement soit statistiquement significatif.
En général, les tests peuvent être effectués par les marketeursqui souhaitent déterminer les outils et méthodes de communication les plus efficaces avec les utilisateurs. En envoyant par exemple différentes notifications push à deux groupes d’utilisateurs et en mesurant l’efficacité de ces rappels, ils réalisent également un test A/B.
Pour que le test soit efficace, il est important de réfléchir dès le départ à la manière dont vous allez évaluer et analyser le résultat.
De plus, les tests A/B impliquent presque toujours que les concepteurs de produits développent de nouvelles solutions visuelles (des pages entières aux boutons individuels) et modifient l'interface de la plateforme.
De plus, bien entendu, les développeurs participent souvent à de tels tests et de nombreuses nouvelles fonctionnalités concernant le contenu technique du service sont implémentées de leurs propres mains.
De quoi avez-vous besoin pour les tests A/B ?
Idée
C'est l'idée d'innovation qui est primordiale en A/Bessai. Qu’il s’agisse d’une idée de refonte d’un lecteur, d’une idée de nouvelle fonctionnalité, ou d’une idée de modification d’une fonctionnalité de plateforme existante, c’est par ce « Faisons… » que commencent tous les tests A/B. Si vous pensez que votre idée aidera le service, améliorera l'expérience utilisateur et les indicateurs importants pour votre entreprise (dans notre cas, le nombre de téléspectateurs, la fréquence et la durée des vues du contenu, etc.), alors l'idée mérite de devenir une hypothèse testée.
Hypothèse
Une hypothèse est un énoncé formuléformat "Si nous faisons X, alors des changements positifs Y se produiront dans le fonctionnement de la plateforme." Le rôle de Y peut être une augmentation du nombre d’inscriptions, une augmentation du nombre de films ou d’épisodes de séries TV regardés d’affilée, une augmentation du temps que l’utilisateur passe sur la plateforme, etc. En formulant une hypothèse, vous déterminez quel effet vous attendez de l'innovation, quoi et comment, selon vous, devrait changer.
Métriques
Pour que les tests soient efficaces, il est également importantau début, réfléchissez à la manière dont vous allez évaluer et analyser le résultat. Pour ce faire, vous devez déterminer à quelles mesures vous prêterez attention. Vous pouvez également aller dans la direction opposée : comprendre d'abord quels paramètres doivent être augmentés, puis émettre une hypothèse qui, en théorie, devrait contribuer à une telle croissance.
En plus de définir des mesures, il est également importantcomprenez quel changement vous considérerez comme important. Il y a toujours une erreur statistique, surtout lorsqu'il s'agit de deux groupes d'utilisateurs recrutés au hasard.
Combien de personnes seront nécessaires pour les tests ?C'est aussi un paramètre important. Vaut-il la peine de comparer le comportement sur la plateforme de deux groupes de 3 à 5 personnes, ou une telle étude ne serait-elle pas représentative ? Vaut-il vraiment la peine d’impliquer 5 000 utilisateurs dans le test ? Lorsque toutes les réponses sont en main, vous pouvez commencer vos recherches en toute sécurité.
Lire la suite:
Une puissante éruption a éclaté sur le Soleil : elle a déjà affecté la Terre
Forteresse médiévale découverte accidentellement dans la forêt : la découverte a surpris les scientifiques
Des scientifiques ont découvert une nouvelle maladie génétique chez les enfants : comment elle se manifeste