미디에이션 그룹 페이지의 데이터는 정기적으로 업데이트됩니다. 90일 동안 언제든지 데이터를 토대로 결정을 내리고 대안을 활용할 수 있습니다. 대안을 활용한다는 것은 사용자 100%를 대상으로 대안 중 하나를 미디에이션 그룹 구성으로 사용한다는 것입니다.
A/B 테스트에 액세스하여 모니터링하려면 다음 단계를 따르세요.
- https://admob.google.com에서 AdMob 계정에 로그인합니다.
- 사이드바에서 미디에이션을 클릭합니다.
- A/B 테스트를 통해 확인하려는 미디에이션 그룹을 선택합니다.
A/B 테스트 결과를 분석하는 데 도움이 되도록 AdMob에서는 대안 A와 대안 B의 조정 월 수입을 표시합니다. 조정된 월 수입은 사용자의 100%에 이 대안을 적용할 경우 28일 동안 확보할 수 있을 것으로 추정되는 금액입니다. 이를 통해 타당하게 비교하고 각 대안의 실적을 보다 정확하게 파악할 수 있습니다.
A/B 테스트 페이지 상단에서 조정 월 수입 차이를 확인하여 대안 간에 얼마나 차이가 나는지 파악할 수 있습니다.
차트에는 각 대안의 광고 소스별 실적이 표시됩니다. 이를 통해 두 대안의 광고 소스 실적을 손쉽게 비교할 수 있습니다. 이 차트를 사용하면 실험 결과를 더 명확하고 쉽게 해석할 수 있습니다. 요약 차트에는 주요 측정항목이 개괄적으로 표시됩니다. 요약 차트에서 측정항목 위로 마우스를 가져가면 각 대안이 해당 주요 측정항목에서 어떤 실적을 내고 있는지 확인할 수 있습니다.
대안 A와 대안 B의 조정 수익, eCPM, 일치율, 조정 노출수가 표시되며, 이는 테스트 과정 내내 업데이트됩니다. 각 측정항목의 탭을 클릭하여 선 차트를 자세히 검토할 수 있습니다. 각 선 차트에는 일일 데이터와 대안 A 대비 대안 B의 변경율이 표시됩니다.
결과 이해하기
테스트가 시작되면 실적이 더 우수한 대안을 파악하기 위해 두 대안의 조정 월 수입을 비교하는 과정이 진행됩니다. 특정 대안이 다른 대안보다 지속적으로 월등히 높은 실적을 보이는 것으로 확인되면 A/B 테스트 페이지에 최우수 대안이 표시됩니다. '원본 유지'(대안 A의 실적이 더 좋은 경우) 또는 '대안 적용'(대안 B의 실적이 더 좋은 경우)과 같은 조치도 제안됩니다.
테스트가 진행 중일 때 테스트를 조정하려면 테스트 수정을 클릭합니다. 이 경우 현재 테스트가 종료되고 수정이 가능한 동일한 설정의 테스트 초안이 새로 생성됩니다. 테스트 결과와 추천의 정확도를 높이기 위해 테스트는 실시간으로 수정할 수 없습니다. 결과를 얻는 데는 시간이 걸리므로 초기 결과만 보고 테스트를 조기 종료하지 마세요.
AdMob은 다음 기준에 따라 최우수 대안과 예상 확률을 판단합니다.
- 최우수 대안의 실적이 다른 대안보다 지속적으로 우수한지 여부
- 두 대안 간 실적 차이의 정도
- 사용 가능한 데이터의 양. 테스트 기간에 사용 가능한 데이터의 양을 늘리려면 테스트 중에 충분한 트래픽이 발생하는 광고 단위를 선택하는 것이 좋습니다. AdMob에서 결과를 판단할 수 있으려면 테스트에서 최소 10,000회의 광고 요청을 수신해야 합니다.
데이터가 많은 것도 중요하지만 실적이 일관되게 높고 실적 차이가 클수록 예상 확률이 높아집니다.
이러한 기준 중 하나라도 충족하지 못할 경우 최우수 대안을 판단할 수 없습니다. 이 경우 A/B 테스트 페이지에 확실한 결과가 표시되지 않습니다. 그러나 테스트에서 각 대안의 측정항목은 계속 볼 수 있습니다.
대안 B의 사용자 할당 설정에 대한 정보
사용자 할당이 50% 미만으로 설정되면 대안 B의 데이터가 이에 맞게 조정되어 계산됩니다. 즉, AdMob에서 대안 B의 데이터를 동일한 사용자 분할이 발생한 것처럼 계산하므로 데이터가 공정하게 비교됩니다.
예를 들어 대안 B의 사용자 할당이 10%로 설정되면 예상 수입이 9씩 조정되어 대안 A(사용자 할당 90%)와 공정하게 비교할 수 있습니다. 즉, 대안 B의 수입이 1만원이면 대안 B의 조정 수입은 9만원으로 조정되어 계산됩니다.
조치 취하기
조치를 취하기 전에 최소 2주 동안 테스트를 실행하는 것이 좋습니다.90일 동안 언제든지 대안을 활용할 수 있습니다. 대안을 활용한다는 것은 사용자 100%를 대상으로 대안 중 하나를 미디에이션 그룹 구성으로 사용한다는 것입니다. 대안을 활용하려면 예상 수입과 예상 확률의 차이를 고려하세요.
대안 A를 유지하거나 대안 B를 적용할 수 있습니다.
- 대안 A를 선택하려면 대안 A 유지를 클릭합니다. 즉, 기존의 미디에이션 그룹 구성이 유지됩니다.
- 대안 B를 선택하려면 대안 B 적용을 클릭합니다. 즉, 대안 B의 설정이 계정에 적용됩니다.
90일이 끝날 때까지 대안을 활용하지 않으면 테스트가 중지되고 테스트 결과 최우수 대안이 아니더라도 대안 A가 100%의 사용자를 대상으로 게재됩니다.
실험 종료 후 30일 이내에 대안을 선택해야 합니다. 이후에는 테스트가 만료되고 대안 B가 삭제됩니다.