בדיקות A/B: כיצד הטכנולוגיה עוזרת למפתח לתקשר עם קהל

מהי בדיקת A/B? 

הצלחתו של מוצר טכנולוגי תלויה ישירות ביכולתו להתמשך

לְהִתְפַּתֵחַ.חידושים (או כפי שהמפתחים עצמם מכנים אותם "פיצ'רים חדשים") הם בלתי נמנעים, אך לא תמיד ניתן לחזות כיצד יגיבו משתמשי הפלטפורמה לשינויים מסוימים. אולי הפיצ'ר יהפוך את השירות לעוד יותר נוח ופונקציונלי, מה שאומר שהוא ימשוך צופים חדשים לפלטפורמה, אבל ייתכן שהעדכון לא יעבוד, ואז הקולנוע המקוון יפסיד צופים, צפיות ורווחים. למעשה, קיימות בדיקות A/B או מפוצלות כדי לבדוק אם השינוי יצליח. זוהי דרך פשוטה ומהירה יחסית לבחון כל השערה של מפתחים ולגלות כיצד וכיצד מצליחים משתמשים באינטראקציה עם החדשנות. מנקודת מבט של תקשורת, אנחנו מדברים על איסוף משוב, מה שהופך את בדיקת A/B לאמצעי תקשורת בין הפלטפורמה למשתמש הקצה. 

ניתן להשתמש בבדיקת A/B לאימותהשערות בכל קנה מידה. לדוגמה, היזם החליט לשנות את עיצובו של כפתור קטן: לצבוע אותו מחדש בצבע אחר ובמקום המילה "התחל" לכתוב עליו "שעון". או שהצוות רצה לשנות לחלוטין את העיצוב של כל העמוד הראשי של האתר ובמקום תמונה סטטית להוסיף לו אלמנטים של וידאו אינטראקטיביים. בשני המקרים, מבחן A/B יעזור לך לבדוק עד כמה הרעיונות האלה טובים.

המפתחים יבחרו שניים מבין המשתמשיםקבוצות - א' וב'. אחת (קבוצה א', המכונה לעתים קרובות גם "קבוצת הביקורת") תשאיר הכל כפי שהיה, ולאחרות (קבוצה ב', "קבוצת הבדיקה") תוצג הגרסה המעודכנת. עם הזמן, יהיה צורך לנתח איזה הבדל הופיע בהתנהגות המשתמשים משתי הקבוצות הללו, באינטראקציה שלהם עם הפלטפורמה. לפשטות: אם יתברר שקבוצה ב' מבלה יותר זמן בקולנוע המקוון, צופה בתכנים בתדירות גבוהה יותר וצפייה בו עד הסוף בתדירות גבוהה יותר, אז העדכון המוצג לקבוצה ב' במצב בדיקה יועיל לכל השירות, והתכונה הזו. צריך להעמיד לרשותם של כל הצופים. אם העדכון עסק יותר ב"מילוי" הפלטפורמה, ולא בעיצוב, אז בניתוח תוצאות הבדיקה, נלקחים בחשבון גם המאפיינים הטכניים: האם מהירות טעינת התוכן של קבוצה B השתנתה, האם התכונה שנבדקה השפיעה על קצב סיביות וכן הלאה. 

עד כמה בדיקות כאלה אובייקטיביות? 

ככלל מגייסים אנשים בקבוצות א' ו-ב'באופן אקראי, בהתאמה, בממוצע הם זהים פלוס או מינוס. כן, במקרים מסוימים, מפתחים יכולים לקבוע ידנית מי ישתתף בבדיקה בכללותה, אך לא אמור להיות הבדל רב בין חברי שתי הקבוצות הנפרדות על מנת שהתוצאות יהיו אובייקטיביות ככל האפשר. 

מטרת הניסוי היא להשוות תגובותמשתמשים שאינם שונים זה מזה בשום דבר מלבד העובדה שלחלקם יש גישה לתכונה חדשה, בעוד שאחרים אפילו לא יודעים על קיומו עדיין. חשוב שבממוצע אנשים בקבוצות א' ו-ב' לא יהיו שונים מאוד בהעדפות התוכן, הניסיון בשימוש בשירות וכדומה. דגימה אקראית עוזרת לבחור קבוצות ממוצעות ושוות ככל האפשר. 

רבים עשויים לתהות מדוע לא סתםלהפיץ את העדכון לכל משתמשי הפלטפורמה ולא להשוות את האינדיקטורים לאחר העדכון ולפניו. אבל תארו לעצמכם את המצב: אנחנו מעמידים חידוש לרשות כולם למשך שבוע, משווים את האינדיקטורים של השבוע הזה ושל השבוע הקודם, ועל סמך התוצאות אנחנו מגלים עלייה בצופים ועלייה בזמן הממוצע בצפייה בתכנים. נראה שההשערה הוכחה - הם אהבו את התכונה, היו יותר אנשים, הם התחילו לצפות בתכנים לעתים קרובות יותר. אבל מה אם עונה חדשה של סדרת טלוויזיה פופולרית שוחררה באותו שבוע או שירד גשם בחוץ כל יום? העלייה בעניין בפלטפורמה ובצפייה בסדרות טלוויזיה בבית עשויה בהחלט לנבוע מהבכורה המתוקשרת, ולא משינויים בשירות עצמו. או דוגמה אחרת: השבוע הקודם עשוי לחול על חגים, והשבוע החדש עשוי ליפול בימי חול, וזה יכול להשפיע גם על מערכת היחסים של המשתמשים עם הקולנוע המקוון, על תדירות הצפיות ואפילו על מספר ההרשמות החדשות. &nbsp ;

כדי להעריך באופן אובייקטיבי את הערך של תכונה שאתה צריךלערוך בדיקות בין שתי קבוצות שונות של אנשים, ויש לעקוב אחר התגובות של שתי הקבוצות הללו במקביל, באותה תקופה, על מנת למנוע השפעת אירועים זרים על התוצאות - חגים, בכורות בפלטפורמה, או אפילו חברתיות חדשות הקשורות לשחקני ולבמאים של הסדרה המוצגת בספריית הקולנוע המקוונת. 

מי עורך בדיקות A/B? 

ב-KION מבחני A/B מטופלים על ידי מנהל מוצר ומְנַתֵחַ. הם מנסחים השערות, קובעים מדדים חשובים ומחליטים כמה משתמשים צריכים להשתתף במחקר כדי שהשינוי יהיה מובהק סטטיסטית.

באופן כללי, בדיקות יכולות להתבצע על ידי משווקיםשרוצים לקבוע את הכלים והשיטות היעילים ביותר לתקשורת עם משתמשים. על ידי שליחת, למשל, הודעות פוש שונות לשתי קבוצות משתמשים ומדידת האפקטיביות של תזכורות כאלה, הם גם עורכים בדיקת A/B.

על מנת שהבדיקה תהיה אפקטיבית, חשוב בהתחלה לחשוב כיצד תעריך ותנתח את התוצאה.

כמו כן, מבחני A/B כוללים כמעט תמיד מעצבי מוצר המפתחים פתרונות חזותיים חדשים - מדפים שלמים ועד לחצנים בודדים - ושינוי ממשק הפלטפורמה. 

בנוסף, כמובן, מפתחים משתתפים לעתים קרובות בבדיקות כאלה; תכונות חדשות רבות בנוגע לתוכן הטכני של השירות מיושמות בידיהם. 

מה אתה צריך עבור בדיקת A/B? 

רעיון 

רעיון החדשנות הוא העיקרי ב-A/Bבדיקה. בין אם זה רעיון לעיצוב מחדש של שחקן, רעיון לתכונה חדשה, או רעיון לשינוי פונקציונליות פלטפורמה קיימת, זה עם "בוא נעשה..." זה שכל מבחני A/B מתחילים. אם אתה מאמין שהרעיון שלך יעזור לשירות, ישפר את חווית המשתמש ואינדיקטורים החשובים לחברה שלך (במקרה שלנו, מספר הצופים, תדירות ומשך הצפיות בתוכן וכו'), אז הרעיון ראוי להפוך השערה בדוקה. 

הַשׁעָרָה

השערה היא אמירה מנוסחתפורמט "אם נעשה X, אז יתרחשו שינויים חיוביים Y בתפעול הפלטפורמה." התפקיד של Y יכול להיות גידול במספר ההרשמות, גידול במספר הסרטים או פרקי סדרות הטלוויזיה הנצפים ברצף, גידול בזמן שהמשתמש מבלה בפלטפורמה וכדומה. על ידי ניסוח השערה, אתה קובע איזו השפעה אתה מצפה מהחדשנות, מה וכיצד לדעתך צריך להשתנות. 

מדדים 

כדי שהבדיקה תהיה יעילה, היא גם חשובהבהתחלה, חשבו כיצד תעריכו ותנתחו את התוצאה. כדי לעשות זאת, עליך לקבוע לאילו מדדים תשים לב. אתה יכול גם ללכת בכיוון ההפוך: תחילה להבין אילו מדדים יש להגדיל, ולאחר מכן להעלות השערה שבתיאוריה, אמורה לתרום לצמיחה כזו. 

בנוסף להגדרת מדדים, זה גם חשובלהבין איזה שינוי תחשב כחשוב. תמיד יש שגיאה סטטיסטית, במיוחד כשמדובר בשתי קבוצות משתמשים שגויסו באקראי. 

כמה אנשים יידרש לבדיקה?זה גם פרמטר חשוב. האם כדאי להשוות את ההתנהגות בפלטפורמה של שתי קבוצות של 3-5 אנשים, או שמחקר כזה יהיה לא מייצג? האם באמת כדאי לערב 5,000 משתמשים בבדיקה? כשכל התשובות ביד, תוכל להתחיל בבטחה מחקר. 

קרא עוד:

התלקחות עוצמתית פרצה על השמש: היא כבר השפיעה על כדור הארץ

מבצר מימי הביניים התגלה בטעות ביער: הממצא הפתיע את המדענים

מדענים מצאו מחלה גנטית חדשה בילדים: איך היא באה לידי ביטוי