การทดสอบ A/B คืออะไร
ความสำเร็จของผลิตภัณฑ์ทางเทคโนโลยีโดยตรงขึ้นอยู่กับความสามารถในการดำเนินการอย่างต่อเนื่อง
สามารถใช้การทดสอบ A/B เพื่อยืนยันได้สมมติฐานทุกขนาด ตัวอย่างเช่น นักพัฒนาตัดสินใจเปลี่ยนการออกแบบปุ่มเล็กๆ: ทาสีใหม่เป็นสีอื่นและแทนที่จะเขียนคำว่า "เริ่ม" ให้เขียนว่า "ดู" หรือทีมงานต้องการเปลี่ยนการออกแบบหน้าหลักทั้งหมดของเว็บไซต์โดยสมบูรณ์ และแทนที่จะใช้ภาพนิ่งก็เพิ่มองค์ประกอบวิดีโอแบบโต้ตอบลงไป ในทั้งสองกรณี การทดสอบ A/B จะช่วยให้คุณตรวจสอบได้ว่าแนวคิดเหล่านี้ดีเพียงใด
นักพัฒนาจะเลือกสองรายการจากผู้ใช้กลุ่ม - A และ B กลุ่มหนึ่ง (กลุ่ม A หรือมักเรียกว่า "กลุ่มควบคุม") จะปล่อยให้ทุกอย่างเหมือนเดิม และกลุ่มอื่นๆ (กลุ่ม B "กลุ่มทดสอบ") จะแสดงเวอร์ชันที่อัปเดต เมื่อเวลาผ่านไป จำเป็นต้องวิเคราะห์ความแตกต่างที่เกิดขึ้นในพฤติกรรมของผู้ใช้จากทั้งสองกลุ่มนี้ในการโต้ตอบกับแพลตฟอร์ม เพื่อให้ง่ายขึ้น: หากปรากฎว่ากลุ่ม B ใช้เวลาดูหนังออนไลน์มากขึ้น ดูเนื้อหาบ่อยขึ้นและดูจนจบบ่อยขึ้น การอัปเดตที่แสดงต่อกลุ่ม B ในโหมดทดสอบจะเป็นประโยชน์ต่อบริการทั้งหมดและฟีเจอร์นี้ ควรจัดให้มีแก่ผู้ชมทุกคน หากการอัปเดตเกี่ยวข้องกับ "การเติม" ของแพลตฟอร์มมากกว่าไม่ใช่การออกแบบ เมื่อวิเคราะห์ผลการทดสอบจะคำนึงถึงคุณลักษณะทางเทคนิคด้วย: ความเร็วในการโหลดเนื้อหาของกลุ่ม B เปลี่ยนไปหรือไม่ คุณลักษณะที่ทดสอบส่งผลต่อ บิตเรต และอื่นๆ
การทดสอบดังกล่าวมีวัตถุประสงค์เพียงใด?
ตามกฎแล้วจะมีการคัดเลือกคนในกลุ่ม A และ Bโดยเฉลี่ยแล้วพวกมันจะบวกหรือลบเท่ากันตามลำดับ ใช่ ในบางกรณี นักพัฒนาสามารถกำหนดได้ด้วยตนเองว่าใครจะมีส่วนร่วมในการทดสอบโดยรวม แต่สมาชิกของทั้งสองกลุ่มไม่ควรมีความแตกต่างกันมากนัก เพื่อให้ผลลัพธ์เป็นไปตามวัตถุประสงค์มากที่สุด
วัตถุประสงค์ของการทดลองคือเพื่อเปรียบเทียบปฏิกิริยาผู้ใช้ที่ไม่แตกต่างกันในเรื่องอื่นใดนอกเหนือจากข้อเท็จจริงที่ว่าบางคนสามารถเข้าถึงคุณลักษณะใหม่ได้ ในขณะที่คนอื่นๆ ยังไม่รู้ด้วยซ้ำเกี่ยวกับการมีอยู่ของมัน สิ่งสำคัญคือโดยเฉลี่ยแล้ว คนในกลุ่ม A และ B จะไม่แตกต่างกันมากนักในด้านการตั้งค่าเนื้อหา ประสบการณ์ในการใช้บริการ และอื่นๆ การสุ่มตัวอย่างช่วยในการเลือกกลุ่มที่มีค่าเฉลี่ยและเท่ากันมากที่สุด
หลายคนอาจสงสัยว่าทำไมไม่เพียงแค่เปิดตัวการอัปเดตให้กับผู้ใช้แพลตฟอร์มทุกคนและอย่าเปรียบเทียบตัวบ่งชี้หลังการอัปเดตและก่อนหน้า แต่ลองจินตนาการถึงสถานการณ์: เราสร้างนวัตกรรมให้กับทุกคนเป็นเวลาหนึ่งสัปดาห์ เปรียบเทียบตัวบ่งชี้ของสัปดาห์นี้กับสัปดาห์ก่อนหน้า และจากผลลัพธ์ เราพบว่ามีผู้ดูเพิ่มขึ้นและมีเวลาเฉลี่ยในการดูเนื้อหาเพิ่มขึ้น ดูเหมือนว่าสมมติฐานได้รับการพิสูจน์แล้ว - พวกเขาชอบฟีเจอร์นี้ มีผู้คนมากขึ้น พวกเขาเริ่มดูเนื้อหาบ่อยขึ้น แต่จะเกิดอะไรขึ้นถ้าซีรีย์ยอดนิยมซีซั่นใหม่ออกฉายในสัปดาห์เดียวกันนั้นหรือข้างนอกมีฝนตกทุกวัน? ความสนใจที่เพิ่มขึ้นในแพลตฟอร์มและการดูซีรีย์ทีวีที่บ้านอาจเกิดจากการเปิดตัวรอบปฐมทัศน์ที่มีชื่อเสียงและไม่เปลี่ยนแปลงในบริการ หรืออีกตัวอย่างหนึ่ง สัปดาห์ก่อนอาจตรงกับวันหยุด และสัปดาห์ใหม่อาจตรงกับวันธรรมดา และอาจส่งผลต่อความสัมพันธ์ของผู้ใช้บริการกับภาพยนตร์ออนไลน์ ความถี่ในการดู และแม้แต่จำนวนการลงทะเบียนใหม่ด้วย   ;
เพื่อประเมินคุณค่าของคุณสมบัติที่คุณต้องการอย่างเป็นกลางทำการทดสอบระหว่างคนสองกลุ่มที่แตกต่างกัน และปฏิกิริยาของทั้งสองกลุ่มจะต้องได้รับการตรวจสอบพร้อมกันในช่วงเวลาเดียวกัน เพื่อที่จะแยกอิทธิพลของเหตุการณ์ภายนอกที่มีต่อผลลัพธ์ - วันหยุด รอบปฐมทัศน์บนแพลตฟอร์ม หรือแม้แต่โซเชียล ข่าวที่เกี่ยวข้องกับนักแสดงและผู้กำกับซีรีส์ที่นำเสนอในห้องสมุดภาพยนตร์ออนไลน์
ใครเป็นผู้ดำเนินการทดสอบ A/B
ที่ KION การทดสอบ A/B จะได้รับการจัดการโดยผู้จัดการผลิตภัณฑ์และนักวิเคราะห์ พวกเขากำหนดสมมติฐาน กำหนดเมตริกที่สำคัญ และตัดสินใจว่าผู้ใช้จำนวนเท่าใดควรเข้าร่วมในการศึกษานี้เพื่อให้การเปลี่ยนแปลงมีนัยสำคัญทางสถิติ
โดยทั่วไปแล้ว นักการตลาดสามารถทำการทดสอบได้ที่ต้องการกำหนดเครื่องมือและวิธีการสื่อสารกับผู้ใช้ที่มีประสิทธิภาพสูงสุด ตัวอย่างเช่น การส่งการแจ้งเตือนแบบพุชที่แตกต่างกันไปยังผู้ใช้สองกลุ่มและการวัดประสิทธิภาพของการแจ้งเตือนดังกล่าว พวกเขายังดำเนินการทดสอบ A/B อีกด้วย
เพื่อให้การทดสอบมีประสิทธิภาพ เป็นสิ่งสำคัญในตอนเริ่มต้นที่จะคิดเกี่ยวกับวิธีที่คุณจะประเมินและวิเคราะห์ผลลัพธ์
นอกจากนี้ การทดสอบ A/B มักเกี่ยวข้องกับนักออกแบบผลิตภัณฑ์ในการพัฒนาโซลูชันภาพใหม่ๆ ตั้งแต่ทั้งหน้าไปจนถึงแต่ละปุ่ม และการเปลี่ยนอินเทอร์เฟซของแพลตฟอร์ม
นอกจากนี้ แน่นอน นักพัฒนามักจะมีส่วนร่วมในการทดสอบดังกล่าว คุณลักษณะใหม่ ๆ มากมายเกี่ยวกับเนื้อหาทางเทคนิคของบริการถูกนำมาใช้ด้วยมือของพวกเขาเอง
สิ่งที่คุณต้องการสำหรับการทดสอบ A/B
ไอเดีย
เป็นแนวคิดเรื่องนวัตกรรมที่เป็นปฐมภูมิใน A/Bการทดสอบ ไม่ว่าจะเป็นแนวคิดสำหรับการออกแบบผู้เล่นใหม่ แนวคิดเกี่ยวกับคุณลักษณะใหม่ หรือแนวคิดในการเปลี่ยนแปลงฟังก์ชันการทำงานของแพลตฟอร์มที่มีอยู่ การทดสอบ A/B ทั้งหมดจะเริ่มต้นขึ้นด้วย "เริ่มกันเลย..." หากคุณเชื่อว่าแนวคิดของคุณจะช่วยบริการ ปรับปรุงประสบการณ์ผู้ใช้และตัวบ่งชี้ที่สำคัญสำหรับบริษัทของคุณ (ในกรณีของเรา จำนวนผู้ดู ความถี่และระยะเวลาในการดูเนื้อหา ฯลฯ) แนวคิดนี้สมควรที่จะ กลายเป็นสมมติฐานที่ถูกทดสอบแล้ว
สมมติฐาน
สมมติฐานคือคำสั่งที่กำหนดขึ้นรูปแบบ “ถ้าเราทำ X การเปลี่ยนแปลงเชิงบวก Y จะเกิดขึ้นในการทำงานของแพลตฟอร์ม” บทบาทของ Y สามารถเพิ่มจำนวนการลงทะเบียน เพิ่มจำนวนภาพยนตร์หรือตอนของซีรีส์ทีวีที่ดูติดต่อกัน เพิ่มเวลาที่ผู้ใช้ใช้บนแพลตฟอร์ม และอื่นๆ ด้วยการกำหนดสมมติฐาน คุณจะกำหนดได้ว่าผลกระทบใดที่คุณคาดหวังจากนวัตกรรม อะไรและสิ่งที่คุณคิดว่าควรเปลี่ยนแปลง
เมตริก
เพื่อให้การทดสอบมีประสิทธิผลก็เป็นสิ่งสำคัญเช่นกันในตอนเริ่มต้น ให้คิดว่าคุณจะประเมินและวิเคราะห์ผลลัพธ์อย่างไร ในการดำเนินการนี้ คุณจะต้องกำหนดเมตริกที่คุณจะให้ความสนใจ คุณยังสามารถไปในทิศทางตรงกันข้ามได้: ขั้นแรกให้ทำความเข้าใจว่าตัวชี้วัดใดที่ต้องเพิ่ม จากนั้นจึงตั้งสมมติฐานว่าในทางทฤษฎีแล้ว ควรมีส่วนทำให้เกิดการเติบโตดังกล่าว
นอกจากการกำหนดเมตริกแล้ว ยังมีความสำคัญอีกด้วยทำความเข้าใจว่าการเปลี่ยนแปลงใดที่คุณจะถือว่าสำคัญ มีข้อผิดพลาดทางสถิติอยู่เสมอ โดยเฉพาะอย่างยิ่งเมื่อมีกลุ่มผู้ใช้สองกลุ่มที่ได้รับการคัดเลือกแบบสุ่ม
ต้องใช้คนทดสอบกี่คน?นี่เป็นพารามิเตอร์ที่สำคัญเช่นกัน มันคุ้มไหมที่จะเปรียบเทียบพฤติกรรมบนแพลตฟอร์มของสองกลุ่ม 3-5 คน หรือการศึกษาดังกล่าวจะไม่เป็นตัวแทน? มันคุ้มไหมที่จะให้ผู้ใช้ 5,000 คนเข้าร่วมการทดสอบ? เมื่อคำตอบทั้งหมดอยู่ในมือแล้ว คุณก็สามารถเริ่มค้นคว้าได้อย่างปลอดภัย
อ่านเพิ่มเติม:
เปลวไฟอันทรงพลังปะทุขึ้นบนดวงอาทิตย์: มันส่งผลกระทบต่อโลกแล้ว
ป้อมปราการยุคกลางถูกค้นพบโดยบังเอิญในป่า: การค้นพบนี้ทำให้นักวิทยาศาสตร์ประหลาดใจ
นักวิทยาศาสตร์พบโรคทางพันธุกรรมใหม่ในเด็ก: มันแสดงออกอย่างไร