A/B Testi: Teknoloji, Bir Geliştiricinin Kitleyle İletişim Kurmasına Nasıl Yardımcı Olur?

A/B testi nedir? 

Teknolojik bir ürünün başarısı doğrudan onun sürekli

evrim geçirmek.Yenilikler (veya geliştiricilerin kendilerinin dediği gibi "yeni özellikler") kaçınılmazdır, ancak platform kullanıcılarının belirli değişikliklere nasıl tepki vereceğini tahmin etmek her zaman mümkün değildir. Belki de bu özellik hizmeti daha kullanışlı ve işlevsel hale getirecek, bu da platforma yeni izleyiciler çekeceği anlamına geliyor, ancak güncellemenin işe yaramaması ve ardından çevrimiçi sinemanın izleyicileri, görüntülemeleri ve karları kaybetmesi mümkündür. Aslında bir değişikliğin başarılı olup olmayacağını kontrol etmek için A/B veya split testleri mevcuttur. Bu, geliştiricilerin herhangi bir hipotezini test etmenin ve kullanıcıların yenilikle nasıl ve ne kadar başarılı bir şekilde etkileşime girdiğini bulmanın nispeten basit ve hızlı bir yoludur. İletişim açısından bakıldığında, A/B testini platform ile son kullanıcı arasında bir iletişim aracı haline getiren geri bildirim toplamaktan bahsediyoruz. 

Doğrulamak için A/B testi kullanılabilirHer ölçekteki hipotezler. Örneğin, geliştirici küçük bir düğmenin tasarımını değiştirmeye karar verdi: onu farklı bir renge boyayın ve üzerine "Başlat" kelimesi yerine "İzle" yazın. Veya ekip, sitenin tüm ana sayfasının tasarımını tamamen değiştirmek ve statik bir görüntü yerine etkileşimli video öğeleri eklemek istedi. Her iki durumda da A/B testi bu fikirlerin ne kadar iyi olduğunu kontrol etmenize yardımcı olacaktır. 

Geliştiriciler kullanıcılar arasından iki tanesini seçecekgruplar - A ve B. Biri (grup A, aynı zamanda "kontrol grubu" olarak da adlandırılır) her şeyi olduğu gibi bırakacak ve diğerlerine (grup B, "test grubu") güncellenmiş sürüm gösterilecektir. Zamanla, bu iki gruptaki kullanıcıların platformla etkileşimlerinde davranışlarında ne gibi bir farkın ortaya çıktığını analiz etmek gerekecektir. Basitleştirmek gerekirse: B grubunun çevrimiçi sinemada daha fazla zaman geçirdiği, içeriği daha sık izlediği ve sonuna kadar daha sık izlediği ortaya çıkarsa, test modunda B grubuna gösterilen güncelleme tüm hizmete fayda sağlayacaktır ve bu özellik tüm seyircilerin kullanımına sunulmalıdır. Güncelleme tasarımdan ziyade platformun "doldurulması" ile ilgiliyse, test sonuçları analiz edilirken teknik özellikler de dikkate alınır: B grubunun içerik yükleme hızı değişti mi, test edilen özellik performansı etkiledi mi? bit hızı vb.

Bu tür testler ne kadar objektiftir? 

Kural olarak A ve B gruplarındaki kişiler işe alınırsırasıyla rastgele, ortalama olarak artı veya eksi aynıdır. Evet, bazı durumlarda geliştiriciler bir bütün olarak teste kimin katılacağını manuel olarak belirleyebilir, ancak sonuçların mümkün olduğu kadar objektif olması için iki ayrı grubun üyeleri arasında çok fazla fark olmamalıdır. 

Deneyin amacı reaksiyonları karşılaştırmaktır.Bazılarının yeni bir özelliğe erişebilmesi, bazılarının ise henüz varlığından haberi bile olmaması dışında birbirlerinden hiçbir farkı olmayan kullanıcılar. A ve B grubundaki kişilerin ortalama olarak içerik tercihleri, hizmeti kullanma deneyimleri vb. açısından çok farklı olmaması önemlidir. Rastgele örnekleme, mümkün olduğunca ortalama ve eşit grupların seçilmesine yardımcı olur. 

Birçoğu neden sadece olmadığını merak edebilirGüncellemeyi platformun tüm kullanıcılarına yayınlayın ve güncelleme sonrası ve öncesi göstergeleri karşılaştırmayın. Ancak durumu hayal edin: Bir yeniliği bir hafta boyunca herkesin kullanımına sunuyoruz, bu haftanın ve önceki haftanın göstergelerini karşılaştırıyoruz ve sonuçlara göre izleyici sayısında ve içeriği izlemek için harcanan ortalama sürede bir artış olduğunu keşfediyoruz. Görünüşe göre hipotez kanıtlanmıştı - özelliği beğendiler, daha fazla insan vardı, içeriği daha sık izlemeye başladılar. Peki ya aynı hafta popüler bir dizinin yeni sezonu çıksa ya da dışarıda her gün yağmur yağsa? Platforma ve evde dizi izlemeye olan ilginin artması, hizmetin kendisindeki değişikliklerden değil, yüksek profilli prömiyerden kaynaklanıyor olabilir. Veya başka bir örnek: Bir önceki hafta tatil gününe denk gelebilir, yeni hafta ise hafta içi günlerine denk gelebilir ve bu durum kullanıcıların çevrimiçi sinemayla ilişkisini, izlenme sıklığını ve hatta yeni kayıt sayısını da etkileyebilir. &nbsp ;

İhtiyacınız olan bir özelliğin değerini objektif olarak değerlendirmek içiniki farklı insan grubu arasında test yapılması ve tatiller, platformdaki prömiyerler ve hatta sosyal medya gibi yabancı olayların sonuçlar üzerindeki etkisini dışlamak için bu iki grubun tepkileri aynı dönemde paralel olarak izlenmelidir. Dizinin oyuncuları ve yönetmenleriyle ilgili haberler online sinema kütüphanesinde sunuluyor. 

A/B testini kim yürütür? 

KION'da A/B testleri bir ürün yöneticisi tarafından yapılır veanalist. Hipotezler formüle ederler, önemli ölçümleri belirlerler ve değişikliğin istatistiksel olarak anlamlı olması için çalışmaya kaç kullanıcının katılması gerektiğine karar verirler.

Genel olarak testler pazarlamacılar tarafından yapılabilir.Kullanıcılarla iletişimin en etkili araç ve yöntemlerini belirlemek isteyen. Örneğin iki kullanıcı grubuna farklı anlık bildirimler göndererek ve bu hatırlatmaların etkinliğini ölçerek aynı zamanda bir A/B testi de yürütüyorlar. 

Testin etkili olabilmesi için, başlangıçta sonucu nasıl değerlendireceğinizi ve analiz edeceğinizi düşünmek önemlidir.

Ayrıca, A/B testleri neredeyse her zaman ürün tasarımcılarının sayfaların tamamından tek tek düğmelere kadar yeni görsel çözümler geliştirmesini ve platform arayüzünü değiştirmesini içerir. 

Ayrıca elbette geliştiriciler de bu tür testlere sıklıkla katılıyor; hizmetin teknik içeriğine ilişkin birçok yeni özellik kendi elleriyle uygulanıyor.

A/B testi için neye ihtiyacınız var? 

Fikir 

A/B'de öncelikli olan inovasyon fikridirtest yapmak. İster bir oyuncunun yeniden tasarlanması fikri, ister yeni bir özellik fikri ya da mevcut bir platform işlevselliğini değiştirme fikri olsun, tüm A/B testleri bu "Hadi yapalım..." ile başlar. Fikrinizin hizmete yardımcı olacağına, kullanıcı deneyimini iyileştireceğine ve şirketiniz için önemli olan göstergeleri (bizim durumumuzda izleyici sayısı, içerik görüntüleme sıklığı ve süresi vb.) test edilmiş bir hipotez haline gelir. 

Hipotez

Bir hipotez formüle edilmiş bir ifadedirformatı “Eğer X yaparsak platformun işleyişinde Y olumlu değişiklikler meydana gelecektir.” Y'nin rolü kayıt sayısında artış, art arda izlenen film veya dizi bölüm sayısında artış, kullanıcının platformda geçirdiği sürenin artması vb. olabilir. Hipotez kurarak yeniliğin nasıl bir etki beklediğinizi, nelerin ve nasıl değişmesi gerektiğini düşündüğünüzü belirlersiniz. 

Metrikler 

Testin etkili olabilmesi için ayrıca önemlidirBaşlangıçta sonucu nasıl değerlendireceğinizi ve analiz edeceğinizi düşünün. Bunun için hangi metriklere dikkat edeceğinizi belirlemeniz gerekiyor. Ayrıca ters yöne de gidebilirsiniz: Öncelikle hangi ölçümlerin artırılması gerektiğini anlayın ve ardından teoride bu büyümeye katkıda bulunması gereken bir hipotez öne sürün. 

Metrikleri tanımlamanın yanı sıra, aynı zamanda önemlidir.Hangi değişikliğin önemli olduğunu düşündüğünüzü anlayın. Özellikle rastgele seçilmiş iki kullanıcı grubu söz konusu olduğunda her zaman istatistiksel bir hata vardır. 

Test için kaç kişiye ihtiyaç olacak?Bu da önemli bir parametredir. Davranışları 3-5 kişiden oluşan iki grup platformunda karşılaştırmaya değer mi, yoksa böyle bir çalışma temsili olmaz mı? Gerçekten 5.000 kullanıcıyı teste dahil etmeye değer mi? Tüm yanıtlar elinizde olduğunda güvenle araştırmaya başlayabilirsiniz. 

Daha fazla oku:

Güneş'te güçlü bir parlama patladı: Dünya'yı çoktan etkiledi

Ormanda yanlışlıkla keşfedilen ortaçağ kalesi: Buluntu bilim adamlarını şaşırttı

Bilim adamları çocuklarda yeni bir genetik hastalık buldu: kendini nasıl gösteriyor?