Was ist A/B-Testing?
Der Erfolg eines technologischen Produkts hängt direkt von seiner Fähigkeit ab, ständig zu funktionieren
Zur Verifizierung können A/B-Tests eingesetzt werdenHypothesen jeder Größenordnung. Zum Beispiel hat der Entwickler beschlossen, das Design eines kleinen Knopfes zu ändern: ihn in einer anderen Farbe neu zu lackieren und statt des Wortes „Start“ „Watch“ darauf zu schreiben. Oder das Team wollte das Design der gesamten Hauptseite der Website komplett ändern und anstelle eines statischen Bildes interaktive Videoelemente hinzufügen. In beiden Fällen hilft Ihnen ein A/B-Test dabei, zu überprüfen, wie gut diese Ideen sind.
Entwickler wählen zwei aus den Benutzern ausGruppen - A und B. Eine (Gruppe A, oft auch „Kontrollgruppe“ genannt) lässt alles so, wie es war, und den anderen (Gruppe B, die „Testgruppe“) wird die aktualisierte Version angezeigt. Im Laufe der Zeit wird es notwendig sein, zu analysieren, welche Unterschiede sich im Verhalten der Benutzer dieser beiden Gruppen bei ihrer Interaktion mit der Plattform ergeben haben. Vereinfacht gesagt: Wenn sich herausstellt, dass Gruppe B mehr Zeit im Online-Kino verbringt, sich Inhalte häufiger ansieht und diese häufiger zu Ende schaut, dann kommt das der Gruppe B im Testmodus angezeigte Update dem gesamten Dienst und dieser Funktion zugute sollten allen Zuschauern zur Verfügung gestellt werden. Wenn es bei dem Update eher um das „Füllen“ der Plattform und nicht um das Design ging, werden bei der Analyse der Testergebnisse auch die technischen Merkmale berücksichtigt: Hat sich die Ladegeschwindigkeit von Inhalten der Gruppe B geändert, hat sich die getestete Funktion auf die? Bitrate usw.
Wie objektiv sind solche Tests?
In der Regel werden Personen der Gruppen A und B rekrutiertzufällig bzw. im Durchschnitt sind sie plus oder minus gleich. Ja, in manchen Fällen können Entwickler manuell bestimmen, wer als Ganzes an den Tests teilnimmt, aber zwischen den Mitgliedern der beiden separaten Gruppen sollte es keinen großen Unterschied geben, damit die Ergebnisse so objektiv wie möglich sind.
Der Zweck des Experiments besteht darin, Reaktionen zu vergleichenBenutzer, die sich in nichts anderem als der Tatsache unterscheiden, dass einige Zugriff auf eine neue Funktion haben, während andere noch nicht einmal von deren Existenz wissen. Es ist wichtig, dass sich die Personen in den Gruppen A und B im Durchschnitt nicht stark in Bezug auf Inhaltspräferenzen, Erfahrung bei der Nutzung des Dienstes usw. unterscheiden. Durch Zufallsstichproben können möglichst durchschnittliche und gleiche Gruppen ausgewählt werden.
Viele fragen sich vielleicht, warum nicht einfachFühren Sie das Update für alle Benutzer der Plattform aus und vergleichen Sie nicht die Indikatoren nach dem Update und davor. Aber stellen Sie sich die Situation vor: Wir stellen eine Innovation eine Woche lang allen zur Verfügung, vergleichen die Indikatoren dieser und der Vorwoche und stellen anhand der Ergebnisse einen Anstieg der Zuschauerzahlen und einen Anstieg der durchschnittlichen Zeit, die wir mit dem Betrachten von Inhalten verbringen, fest. Es scheint, dass die Hypothese bewiesen wurde – ihnen gefiel das Feature, es gab mehr Leute, sie begannen, sich den Inhalt häufiger anzusehen. Aber was wäre, wenn in derselben Woche eine neue Staffel einer beliebten TV-Serie veröffentlicht würde oder es jeden Tag draußen regnete? Das gestiegene Interesse an der Plattform und dem Ansehen von Fernsehserien zu Hause ist möglicherweise auf die hochkarätige Premiere zurückzuführen und nicht auf Änderungen im Dienst selbst. Oder ein anderes Beispiel: Die vorherige Woche kann auf Feiertage fallen, und die neue Woche kann auf Wochentage fallen, und dies kann sich auch auf die Beziehung der Benutzer zum Online-Kino, die Häufigkeit der Aufrufe und sogar die Anzahl der Neuanmeldungen auswirken.   ;
Um den Wert einer Funktion objektiv zu beurteilen, benötigen SieFühren Sie Tests zwischen zwei verschiedenen Personengruppen durch, und die Reaktionen dieser beiden Gruppen müssen im gleichen Zeitraum parallel überwacht werden, um den Einfluss von Fremdereignissen auf die Ergebnisse auszuschließen – Feiertage, Premieren auf der Plattform oder sogar soziale Ereignisse Neuigkeiten rund um die Schauspieler und Regisseure der in der Online-Kinobibliothek präsentierten Serie.
Wer führt A/B-Tests durch?
Bei KION werden A/B-Tests von einem Produktmanager durchgeführt undAnalytiker. Sie formulieren Hypothesen, ermitteln wichtige Metriken und entscheiden, wie viele Nutzer an der Studie teilnehmen sollen, damit die Veränderung statistisch signifikant ist.
Generell können Tests durch Vermarkter durchgeführt werdendie die effektivsten Tools und Methoden zur Kommunikation mit Benutzern ermitteln möchten. Indem sie beispielsweise unterschiedliche Push-Benachrichtigungen an zwei Benutzergruppen versenden und die Wirksamkeit solcher Erinnerungen messen, führen sie auch einen A/B-Test durch.
Damit das Testen effektiv ist, ist es wichtig, sich zu Beginn Gedanken darüber zu machen, wie Sie das Ergebnis auswerten und analysieren.
Außerdem sind bei A/B-Tests fast immer Produktdesigner dabei, neue visuelle Lösungen zu entwickeln – von ganzen Seiten bis hin zu einzelnen Schaltflächen – und die Plattformoberfläche zu ändern.
Darüber hinaus beteiligen sich Entwickler natürlich häufig an solchen Tests; viele neue Features hinsichtlich des technischen Inhalts des Dienstes werden mit ihren Händen umgesetzt.
Was benötigen Sie für A/B-Tests?
Idee
Es ist der Innovationsgedanke, der bei A/B im Vordergrund stehttesten. Ob es sich um eine Idee für ein Player-Redesign, eine Idee für eine neue Funktion oder eine Idee für die Änderung einer bestehenden Plattformfunktionalität handelt, mit diesem „Lass uns machen…“ beginnen alle A/B-Tests. Wenn Sie glauben, dass Ihre Idee dem Service hilft, das Benutzererlebnis und die für Ihr Unternehmen wichtigen Indikatoren verbessert (in unserem Fall die Anzahl der Zuschauer, die Häufigkeit und Dauer der Inhaltsaufrufe usw.), dann ist dies der Fall zu einer getesteten Hypothese werden.
Hypothese
Eine Hypothese ist eine formulierte AussageFormat „Wenn wir X machen, dann werden positive Veränderungen Y im Betrieb der Plattform eintreten.“ Die Rolle von Y kann eine Erhöhung der Anzahl der Registrierungen, eine Erhöhung der Anzahl der nacheinander angesehenen Filme oder Episoden von Fernsehserien, eine Erhöhung der Zeit, die der Benutzer auf der Plattform verbringt, usw. sein. Durch die Formulierung einer Hypothese legen Sie fest, welche Wirkung Sie von der Innovation erwarten, was und wie sich Ihrer Meinung nach ändern sollte.
Metriken
Damit das Testen effektiv ist, ist es auch wichtigÜberlegen Sie sich zu Beginn, wie Sie das Ergebnis auswerten und analysieren. Dazu müssen Sie festlegen, auf welche Kennzahlen Sie achten möchten. Sie können auch in die entgegengesetzte Richtung gehen: Verstehen Sie zunächst, welche Kennzahlen erhöht werden müssen, und stellen Sie dann eine Hypothese auf, die theoretisch zu einem solchen Wachstum beitragen sollte.
Neben der Definition von Metriken ist es auch wichtigVerstehen Sie, welche Änderung Sie für wichtig halten. Es gibt immer einen statistischen Fehler, insbesondere wenn es um zwei zufällig rekrutierte Benutzergruppen geht.
Wie viele Personen werden zum Testen benötigt?Auch das ist ein wichtiger Parameter. Lohnt es sich, das Verhalten zweier Gruppen von 3-5 Personen auf der Plattform zu vergleichen, oder wäre eine solche Studie nicht repräsentativ? Lohnt es sich wirklich, 5.000 Nutzer in den Test einzubeziehen? Wenn alle Antworten vorliegen, können Sie bedenkenlos mit der Recherche beginnen.
Weiter lesen:
Auf der Sonne ist eine mächtige Eruption ausgebrochen: Sie hat bereits die Erde getroffen
Mittelalterliche Festung zufällig im Wald entdeckt: Der Fund überraschte Wissenschaftler
Wissenschaftler haben eine neue genetische Krankheit bei Kindern gefunden: wie sie sich manifestiert