ما هو اختبار أ/ب؟
يعتمد نجاح المنتج التكنولوجي بشكل مباشر على قدرته على العمل باستمرار
يمكن استخدام اختبار A/B للتحققفرضيات مهما كان حجمها. على سبيل المثال، قرر المطور تغيير تصميم زر صغير: إعادة طلاءه بلون مختلف وبدلاً من كلمة "ابدأ" اكتب "شاهد" عليه. أو أراد الفريق تغيير تصميم الصفحة الرئيسية للموقع بالكامل وبدلاً من الصورة الثابتة أضف عناصر فيديو تفاعلية إليها. في كلتا الحالتين، سيساعدك اختبار أ/ب على التحقق من مدى جودة هذه الأفكار.
سيختار المطورون اثنين من المستخدمينالمجموعتان - A وB. ستترك إحدى المجموعتين (المجموعة A، والتي تسمى أيضًا "مجموعة التحكم") كل شيء كما كان، وسيتم عرض الإصدار المحدث للمجموعات الأخرى (المجموعة B، "مجموعة الاختبار"). وبمرور الوقت، سيكون من الضروري تحليل الاختلاف الذي ظهر في سلوك المستخدمين من هاتين المجموعتين، في تفاعلهم مع المنصة. للتبسيط: إذا اتضح أن المجموعة ب تقضي وقتًا أطول في السينما عبر الإنترنت، وتشاهد المحتوى كثيرًا وتشاهده حتى النهاية كثيرًا، فإن التحديث الذي يظهر للمجموعة ب في وضع الاختبار سيفيد الخدمة بأكملها، وهذه الميزة يجب أن تكون متاحة لهم جميع المتفرجين. إذا كان التحديث يتعلق أكثر بـ "ملء" النظام الأساسي، وليس التصميم، فعند تحليل نتائج الاختبار، يتم أيضًا أخذ الخصائص التقنية في الاعتبار: هل تغيرت سرعة تحميل محتوى المجموعة ب، هل أثرت الميزة التي تم اختبارها على معدل البت، وما إلى ذلك.
ما مدى موضوعية مثل هذه الاختبارات؟
كقاعدة عامة، يتم تجنيد الأشخاص في المجموعتين (أ) و (ب).بشكل عشوائي، على التوالي، في المتوسط، يكونون زائد أو ناقص نفس الشيء. نعم، في بعض الحالات، يمكن للمطورين تحديد من سيشارك في الاختبار ككل يدويًا، ولكن لا ينبغي أن يكون هناك اختلاف كبير بين أعضاء المجموعتين المنفصلتين حتى تكون النتائج موضوعية قدر الإمكان.
الغرض من التجربة هو مقارنة ردود الفعلمستخدمون لا يختلفون عن بعضهم البعض في أي شيء سوى أن البعض لديه إمكانية الوصول إلى ميزة جديدة، بينما لا يعرف البعض الآخر عن وجودها حتى الآن. من المهم، في المتوسط، ألا يختلف الأشخاص في المجموعتين (أ) و(ب) بشكل كبير في تفضيلات المحتوى، والخبرة في استخدام الخدمة، وما إلى ذلك. يساعد أخذ العينات العشوائية على اختيار مجموعات متوسطة ومتساوية قدر الإمكان.
قد يتساءل الكثيرون لماذا ليس فقطقم بطرح التحديث لجميع مستخدمي المنصة ولا تقارن المؤشرات بعد التحديث وقبله. لكن تخيل الوضع: نجعل الابتكار متاحًا للجميع لمدة أسبوع، ونقارن مؤشرات هذا الأسبوع والأسبوع السابق، وبناءً على النتائج نكتشف زيادة في عدد المشاهدين وزيادة في متوسط الوقت المستغرق في مشاهدة المحتوى. يبدو أن الفرضية قد تم إثباتها - لقد أعجبتهم الميزة، وكان هناك عدد أكبر من الأشخاص، وبدأوا في مشاهدة المحتوى في كثير من الأحيان. ولكن ماذا لو تم إصدار موسم جديد من مسلسل تلفزيوني شهير في نفس الأسبوع أو كانت السماء تمطر في الخارج كل يوم؟ قد يكون السبب في زيادة الاهتمام بالمنصة ومشاهدة المسلسلات في المنزل هو العرض الأول رفيع المستوى، وليس بسبب التغييرات في الخدمة نفسها. أو مثال آخر: قد يقع الأسبوع السابق في أيام العطلات، وقد يقع الأسبوع الجديد في أيام الأسبوع، ويمكن أن يؤثر ذلك أيضًا على علاقة المستخدمين بالسينما عبر الإنترنت، وتكرار المشاهدات وحتى عدد التسجيلات الجديدة.   ;
لتقييم قيمة الميزة التي تحتاجها بشكل موضوعيإجراء اختبار بين مجموعتين مختلفتين من الأشخاص، ويجب مراقبة ردود أفعال هاتين المجموعتين بالتوازي، خلال نفس الفترة، من أجل استبعاد تأثير الأحداث الدخيلة على النتائج - العطلات، أو العروض الأولى على المنصة، أو حتى وسائل التواصل الاجتماعي. الأخبار المتعلقة بممثلي ومخرجي المسلسل المعروض في مكتبة السينما الإلكترونية.
من يقوم بإجراء اختبار A/B؟
في KION ، يتم التعامل مع اختبارات A / B بواسطة مدير المنتج والمحلل. يصيغون الفرضيات ، ويحددون المقاييس المهمة ، ويقررون عدد المستخدمين الذين يجب أن يشاركوا في الدراسة حتى يكون التغيير ذا دلالة إحصائية.
بشكل عام، يمكن إجراء الاختبارات من قبل المسوقينالذين يرغبون في تحديد الأدوات والأساليب الأكثر فعالية للتواصل مع المستخدمين. من خلال إرسال، على سبيل المثال، إشعارات دفع مختلفة إلى مجموعتين من المستخدمين وقياس فعالية مثل هذه التذكيرات، فإنهم يقومون أيضًا بإجراء اختبار أ/ب.
لكي يكون الاختبار فعالاً ، من المهم في البداية التفكير في كيفية تقييم وتحليل النتيجة.
بالإضافة إلى ذلك، تتضمن اختبارات A/B دائمًا تقريبًا مصممي المنتجات الذين يطورون حلولًا مرئية جديدة - بدءًا من الصفحات الكاملة وحتى الأزرار الفردية - وتغيير واجهة النظام الأساسي.
بالإضافة إلى ذلك، بالطبع، غالبًا ما يشارك المطورون في مثل هذه الاختبارات ويتم تنفيذ العديد من الميزات الجديدة المتعلقة بالمحتوى الفني للخدمة بأيديهم.
ما الذي تحتاجه لاختبار A/B؟
فكرة
إنها فكرة الابتكار التي تعتبر أساسية في A/Bاختبارات. سواء كانت فكرة لإعادة تصميم اللاعب، أو فكرة لميزة جديدة، أو فكرة لتغيير وظيفة النظام الأساسي الحالية، فمن خلال "دعونا نفعل..." تبدأ جميع اختبارات A/B. إذا كنت تعتقد أن فكرتك ستساعد الخدمة، وتحسن تجربة المستخدم والمؤشرات المهمة لشركتك (في حالتنا، عدد المشاهدين، وتكرار ومدة مشاهدات المحتوى، وما إلى ذلك)، فإن الفكرة تستحق أن تصبح فرضية مجربة.
فرضية
الفرضية هي عبارة مصاغةالتنسيق "إذا قمنا بـ X، فستحدث تغييرات إيجابية Y في تشغيل النظام الأساسي." يمكن أن يكون دور Y هو زيادة في عدد التسجيلات، أو زيادة في عدد الأفلام أو حلقات المسلسلات التلفزيونية التي يتم مشاهدتها على التوالي، أو زيادة في الوقت الذي يقضيه المستخدم على المنصة، وما إلى ذلك. من خلال صياغة فرضية، يمكنك تحديد التأثير الذي تتوقعه من الابتكار، وما الذي تعتقد أنه يجب أن يتغير وكيف.
المقاييس
ولكي يكون الاختبار فعالا، فمن المهم أيضافي البداية، فكر في كيفية تقييم وتحليل النتيجة. للقيام بذلك، تحتاج إلى تحديد المقاييس التي سوف تولي اهتماما لها. ويمكنك أيضاً أن تسير في الاتجاه المعاكس: أولاً عليك أن تفهم المقاييس التي تحتاج إلى زيادتها، ثم تطرح فرضية من شأنها من الناحية النظرية أن تساهم في مثل هذا النمو.
بالإضافة إلى تحديد المقاييس، فمن المهم أيضاافهم التغيير الذي ستعتبره مهمًا. هناك دائمًا خطأ إحصائي، خاصة عندما يتعلق الأمر بمجموعتين من المستخدمين تم تعيينهما بشكل عشوائي.
كم عدد الأشخاص الذين ستكون هناك حاجة للاختبار؟وهذه أيضًا معلمة مهمة. هل يستحق مقارنة السلوك على المنصة لمجموعتين من 3-5 أشخاص، أم أن مثل هذه الدراسة ستكون غير ممثلة؟ هل يستحق الأمر حقًا إشراك 5000 مستخدم في الاختبار؟ عندما تكون جميع الإجابات في متناول يدك، يمكنك بدء البحث بأمان.
قراءة المزيد:
اندلع توهج قوي على الشمس: لقد أثر بالفعل على الأرض
تم اكتشاف قلعة من القرون الوسطى مصادفة في الغابة: فاجأ الاكتشاف العلماء
اكتشف العلماء مرضًا وراثيًا جديدًا عند الأطفال: كيف يتجلى ذلك