A/B 테스트란 무엇입니까?
기술 제품의 성공은 제품의 지속적인 능력에 직접적으로 달려 있습니다.
A/B 테스트를 통해 검증할 수 있습니다.모든 규모의 가설. 예를 들어, 개발자는 작은 버튼의 디자인을 변경하기로 결정했습니다. 버튼을 다른 색상으로 다시 칠하고 "시작"이라는 단어 대신 "Watch"라고 적었습니다. 또는 팀은 사이트의 전체 메인 페이지 디자인을 완전히 변경하고 정적 이미지 대신 대화형 비디오 요소를 추가하기를 원했습니다. 두 경우 모두 A/B 테스트는 이러한 아이디어가 얼마나 좋은지 확인하는 데 도움이 됩니다.
개발자는 사용자 중에서 두 명을 선택합니다.그룹 - A 및 B. 하나(그룹 A, 종종 "대조 그룹"이라고도 함)는 모든 것을 그대로 두고 나머지 그룹(그룹 B, "테스트 그룹")에는 업데이트된 버전이 표시됩니다. 시간이 지남에 따라 플랫폼과의 상호 작용에서 이 두 그룹의 사용자 행동에 어떤 차이가 나타났는지 분석해야 합니다. 단순화하자면, 그룹 B가 온라인 영화관에서 더 많은 시간을 보내고, 콘텐츠를 더 자주 시청하고, 끝까지 시청하는 경우가 많다면, 테스트 모드에서 그룹 B에 표시되는 업데이트는 전체 서비스에 도움이 될 것이며 이 기능은 모든 관중이 볼 수 있도록 해야 합니다. 업데이트가 디자인이 아닌 플랫폼의 "채우기"에 더 관심이 있는 경우 테스트 결과를 분석할 때 기술적 특성도 고려됩니다. 그룹 B의 콘텐츠 로딩 속도가 변경되었는지, 테스트된 기능이 영향을 미쳤는지 비트 전송률 등.
그러한 테스트는 얼마나 객관적입니까?
원칙적으로 A그룹과 B그룹의 인원을 모집합니다.무작위로 각각 평균적으로 플러스 또는 마이너스가 동일합니다. 예, 어떤 경우에는 개발자가 테스트에 전체적으로 참여할 사람을 수동으로 결정할 수 있지만 결과가 최대한 객관적이 되도록 하려면 별도의 두 그룹 구성원 간에 큰 차이가 없어야 합니다.
실험의 목적은 반응을 비교하는 것입니다.일부는 새로운 기능에 액세스할 수 있고 다른 일부는 아직 해당 기능의 존재조차 알지 못한다는 점을 제외하면 서로 다르지 않은 사용자입니다. 평균적으로 A그룹과 B그룹의 사람들은 콘텐츠 선호도, 서비스 이용 경험 등에 큰 차이가 없는 것이 중요합니다. 무작위 샘플링은 최대한 평균적이고 동일한 그룹을 선택하는 데 도움이 됩니다.
많은 사람들이 왜 그렇지 않은지 궁금해 할 것입니다.플랫폼의 모든 사용자에게 업데이트를 배포하고 업데이트 후와 업데이트 전의 지표를 비교하지 마십시오. 그러나 상황을 상상해 보십시오. 우리는 일주일 동안 모든 사람이 사용할 수 있는 혁신을 만들고 이번 주와 지난 주의 지표를 비교한 다음 결과에 따라 시청자 수가 증가하고 콘텐츠를 시청하는 데 소요되는 평균 시간이 증가한 것을 발견했습니다. 가설이 입증된 것 같습니다. 기능이 마음에 들었고, 사람이 많았으며, 콘텐츠를 더 자주 보기 시작했습니다. 하지만 같은 주에 인기 TV 시리즈의 새 시즌이 공개되거나 매일 밖에 비가 내린다면 어떻게 될까요? 플랫폼에 대한 관심이 높아지고 집에서 TV 시리즈를 시청하는 것은 서비스 자체의 변화가 아니라 주목받는 초연 때문일 수 있습니다. 또는 또 다른 예: 이전 주가 휴일일 수 있고 새 주가 평일일 수 있으며 이는 사용자와 온라인 영화관의 관계, 조회 빈도, 심지어 신규 등록 수에도 영향을 미칠 수 있습니다.   ;
필요한 기능의 가치를 객관적으로 평가하려면서로 다른 두 그룹의 사람들 사이에서 테스트를 수행하고 휴일, 플랫폼 초연, 소셜 미디어 등 외부 이벤트가 결과에 미치는 영향을 배제하기 위해 같은 기간 동안 이 두 그룹의 반응을 동시에 모니터링해야 합니다. 온라인 영화 라이브러리에 게시된 시리즈의 배우 및 감독과 관련된 뉴스
A/B 테스트는 누가 수행합니까?
KION에서는 A/B 테스트를 프로덕트 매니저가 담당하고,분석자. 그들은 가설을 세우고, 중요한 메트릭을 결정하고, 변화가 통계적으로 유의미하도록 연구에 참여해야 하는 사용자 수를 결정합니다.
일반적으로 테스트는 마케팅 담당자가 수행할 수 있습니다.사용자와 소통하는 가장 효과적인 도구와 방법을 결정하려는 사람. 예를 들어 두 그룹의 사용자에게 서로 다른 푸시 알림을 보내고 그러한 알림의 효과를 측정함으로써 A/B 테스트도 수행합니다.
테스트가 효과적이기 위해서는 처음부터 결과를 평가하고 분석하는 방법에 대해 생각하는 것이 중요합니다.
또한 A/B 테스트에는 거의 항상 제품 디자이너가 전체 페이지에서 개별 버튼에 이르기까지 새로운 시각적 솔루션을 개발하고 플랫폼 인터페이스를 변경하는 과정이 포함됩니다.
또한, 물론 이러한 테스트에는 개발자가 참여하는 경우가 많으며, 서비스의 기술적 내용과 관련된 많은 새로운 기능이 개발자의 손으로 구현됩니다.
A/B 테스트에는 무엇이 필요합니까?
아이디어
A/B에서 가장 중요한 것은 혁신이라는 아이디어입니다.테스트. 플레이어 재설계 아이디어, 새로운 기능 아이디어, 기존 플랫폼 기능 변경 아이디어 등 모든 A/B 테스트는 "하자..."에서 시작됩니다. 귀하의 아이디어가 서비스에 도움이 되고 사용자 경험과 회사에 중요한 지표(저희 경우에는 시청자 수, 콘텐츠 조회 빈도 및 기간 등)를 개선할 것이라고 믿는다면 해당 아이디어는 가치가 있습니다. 검증된 가설이 됩니다.
가설
가설은 공식화된 진술이다.“X를 하면 플랫폼 운영에 긍정적인 변화 Y가 일어날 것입니다.” Y의 역할은 등록 수 증가, 연속 시청하는 영화 또는 TV 시리즈 에피소드 수 증가, 사용자가 플랫폼에서 보내는 시간 증가 등이 될 수 있습니다. 가설을 세움으로써 혁신을 통해 기대하는 효과가 무엇인지, 무엇을 어떻게 변화시켜야 한다고 생각하는지 결정합니다.
측정항목
효과적인 테스트를 위해서는 다음도 중요합니다.처음에는 결과를 어떻게 평가하고 분석할지 생각해 보세요. 이를 위해서는 어떤 지표에 주의를 기울일지 결정해야 합니다. 반대 방향으로 갈 수도 있습니다. 먼저 어떤 측정항목을 늘려야 하는지 이해한 다음 이론적으로 그러한 성장에 기여해야 한다는 가설을 제시합니다.
측정항목을 정의하는 것 외에도 다음이 중요합니다.어떤 변화가 중요하다고 생각하는지 이해하십시오. 특히 무작위로 모집된 두 사용자 그룹의 경우 항상 통계 오류가 있습니다.
테스트에는 몇 명이 필요합니까?이것은 또한 중요한 매개 변수입니다. 3~5명으로 구성된 두 그룹의 플랫폼에서의 행동을 비교할 가치가 있습니까? 아니면 그러한 연구가 대표성이 없습니까? 테스트에 5,000명의 사용자를 참여시키는 것이 정말 가치가 있습니까? 모든 답을 얻으면 안전하게 연구를 시작할 수 있습니다.
더 읽어보기 :
강력한 플레어가 태양에서 폭발했습니다. 이미 지구에 영향을 미쳤습니다.
숲에서 우연히 발견된 중세 요새: 놀란 과학자 발견
과학자들은 어린이에게서 새로운 유전병을 발견했습니다. 그것이 어떻게 나타나는지