A/Bテストとは?
技術製品の成功は、常に次の能力に直接依存します
A/B テストを使用して検証できるあらゆる規模の仮説。たとえば、開発者は小さなボタンのデザインを変更することにしました。別の色に再ペイントし、「スタート」という文字の代わりに「ウォッチ」と書きます。あるいは、チームはサイトのメイン ページ全体のデザインを完全に変更し、静止画像の代わりにインタラクティブなビデオ要素を追加したいと考えていました。どちらの場合も、A/B テストは、アイデアがどれほど優れているかを確認するのに役立ちます。
開発者がユーザーの中から2名を選ぶグループ - A と B。1 つ (グループ A、「コントロール グループ」とも呼ばれる) はすべてをそのままにし、他のグループ (グループ B、「テスト グループ」) には更新されたバージョンが表示されます。時間の経過とともに、これら 2 つのグループのユーザーの行動、プラットフォームとのインタラクションにどのような違いが現れたのかを分析する必要があります。単純化すると、グループ B がオンライン シネマでより多くの時間を費やし、より頻繁にコンテンツを視聴し、より頻繁に最後まで視聴することが判明した場合、テスト モードでグループ B に表示される更新はサービス全体に利益をもたらし、この機能が役立ちます。すべての観客が利用できるようにする必要があります。アップデートが設計ではなくプラットフォームの「充填」に関係している場合、テスト結果を分析する際には、技術的特性も考慮されます。グループ B のコンテンツ読み込み速度は変更されましたか、テストされた機能はグループ B に影響を与えましたかビットレートなど。
このようなテストはどの程度客観的ですか?
原則としてA、Bグループの人材を募集します。ランダムに、それぞれ、平均すると、プラスまたはマイナスで同じになります。はい、場合によっては、開発者がテスト全体に誰が参加するかを手動で決定できますが、結果を可能な限り客観的にするには、2 つの別々のグループのメンバー間に大きな違いがあってはなりません。
実験の目的は反応を比較することですユーザーは、新機能にアクセスできるユーザーもいれば、まだその存在すら知らないユーザーもいます。平均して、グループ A とグループ B の人々は、コンテンツの好みやサービスの使用経験などにおいて大きな違いがないことが重要です。ランダム サンプリングは、可能な限り平均的で等しいグループを選択するのに役立ちます。
なぜそうしないのかと疑問に思う人も多いかもしれません。アップデートをプラットフォームのすべてのユーザーに展開し、アップデート後とアップデート前のインジケーターを比較しないでください。しかし状況を想像してみてください。1 週間誰もが利用できるイノベーションを作成し、今週と前週の指標を比較します。その結果に基づいて、視聴者数の増加とコンテンツの平均視聴時間の増加がわかります。仮説は証明されたようです。彼らはその機能が好きで、より多くの人がいて、コンテンツをより頻繁に視聴するようになりました。しかし、同じ週に人気テレビシリーズの新シーズンがリリースされた場合、または外が毎日雨だった場合はどうなるでしょうか?このプラットフォームや自宅でのテレビシリーズ視聴への関心の高まりは、サービス自体の変更ではなく、注目を集めたプレミア公開によるものである可能性があります。または別の例: 前の週が休日で、次の週が平日になる可能性があります。これは、オンライン シネマとユーザーの関係、視聴頻度、さらには新規登録数にも影響を与える可能性があります。   ;
必要な機能の価値を客観的に評価するには2 つの異なる人々のグループ間でテストを実施し、休日、プラットフォームでのプレミア公開、さらにはソーシャルイベントなど、無関係なイベントの結果への影響を排除するために、これら 2 つのグループの反応を同じ期間に並行して監視する必要があります。オンライン シネマ ライブラリで提供されるシリーズの俳優や監督に関連するニュース。
A/B テストは誰が実施しますか?
KION では、A/B テストはプロダクト マネージャーによって処理され、アナリスト。彼らは仮説を立て、重要な指標を決定し、変化が統計的に有意であるために調査に参加する必要があるユーザーの数を決定します。
一般に、テストはマーケティング担当者が実行できます。ユーザーとのコミュニケーションに最も効果的なツールや方法を決定したいと考えている人。たとえば、2 つのユーザー グループに異なるプッシュ通知を送信し、そのようなリマインダーの効果を測定することで、A/B テストも実施します。
テストを効果的に行うためには、最初に結果をどのように評価して分析するかを考えることが重要です。
また、A/B テストには、ほとんどの場合、製品デザイナーがページ全体から個々のボタンに至るまで、新しいビジュアル ソリューションを開発し、プラットフォーム インターフェースを変更することが含まれます。
さらに、当然のことながら、開発者はそのようなテストに参加することが多く、サービスの技術的な内容に関する多くの新機能は自らの手で実装されます。
A/B テストには何が必要ですか?
アイデア
A/Bにおいて重要なのはイノベーションの考え方ですテスト中。プレーヤーの再設計のアイデアでも、新機能のアイデアでも、既存のプラットフォームの機能を変更するアイデアでも、すべての A/B テストはこの「やってみましょう」から始まります。あなたのアイデアがサービスに役立ち、ユーザーエクスペリエンスとあなたの会社にとって重要な指標（私たちの場合、視聴者数、コンテンツの視聴頻度と継続時間など）を改善すると信じている場合、そのアイデアは価値があります。検証された仮説になります。
仮説
仮説とは定式化された声明ですフォーマット 「X を実行すると、プラットフォームの運用にプラスの変化 Y が発生します。」 Y の役割は、登録数の増加、連続して視聴する映画やテレビ シリーズのエピソードの数の増加、ユーザーがプラットフォームで費やす時間の増加などです。仮説を立てることで、イノベーションからどのような効果が期待できるか、何をどのように変更する必要があると考えるかを決定します。
指標
テストを効果的に行うためには、次のことも重要です最初に、結果をどのように評価および分析するかを考えてください。これを行うには、どの指標に注目するかを決定する必要があります。逆の方向に進むこともできます。まず、どの指標を増やす必要があるかを理解し、次に、理論的にはそのような成長に寄与するはずであるという仮説を立てます。
指標の定義に加えて、次のことも重要です。どのような変化が重要だと考えるかを理解します。特にランダムに採用された 2 つのユーザー グループの場合は、常に統計エラーが発生します。
テストには何人必要ですか?これも重要なパラメータです。 3 ～ 5 人からなる 2 つのグループのプラットフォーム上での行動を比較する価値はあるのでしょうか、それともそのような研究は代表的ではないでしょうか? 5,000 人のユーザーをテストに参加させる価値は本当にあるのでしょうか?すべての答えが手に入ったら、安全に調査を開始できます。
続きを読む：
太陽で強力なフレアが発生しました。すでに地球に影響を与えています
森の中で偶然発見された中世の要塞：科学者を驚かせた発見
科学者は子供の新しい遺伝病を発見しました：それがどのように現れるか