Дані регулярно оновлюються на сторінці вашої групи агрегації. Проаналізувавши їх, можна будь-коли протягом 90 днів застосувати один із протестованих варіантів. Коли ви вибираєте варіант, це означає, що він використовуватиметься як конфігурація групи агрегації для 100% ваших користувачів.
Нижче описано, як переглянути A/B-тестування й відстежувати його результати.
- Увійдіть в обліковий запис AdMob на сторінці https://admob.google.com.
- На бічній панелі натисніть Агрегація.
- Виберіть групу агрегації з A/B-тестуванням, яке хочете переглянути.
Щоб вам було простіше аналізувати результати A/B-тестування, AdMob надає розрахований щомісячний дохід для варіантів А й Б. Розрахований щомісячний дохід – це прогноз того, скільки ви заробите за 28 днів, якщо застосуєте цей варіант для всіх своїх користувачів. Він дає змогу точно порівняти варіанти й оцінити ефективність кожного з них.
Щоб порівняти результати варіантів, перегляньте різницю в розрахованих щомісячних доходах угорі сторінки A/B-тестування.
За допомогою діаграм можна порівняти ефективність будь-якого джерела оголошень в обох варіантах. Так вам буде легше аналізувати результати експерименту. На діаграмі "Підсумок" представлено огляд ключових показників. Ви можете навести курсор на будь-який із показників і дізнатися його значення для кожного варіанта.
Показники включають розрахований дохід, eCPM, коефіцієнт збігу й розраховану кількість показів для варіантів А й Б. Їх значення оновлюватимуться протягом тестування. Натиснувши вкладку для певного показника, ви зможете переглянути детальну лінійну діаграму. Вона містить щоденні дані й графік зміни варіанта Б порівняно з варіантом А у відсотках.
Як тлумачити результати
Після початку тестування AdMob порівнює значення розрахованих щомісячних доходів для обох варіантів, щоб визначити, який із них буде ефективнішим. Щойно система AdMob визначить, що один із варіантів стабільно демонструє значно вищу ефективність, ніж інший, вона відобразить його як найкращий на сторінці A/B-тестування. Також вона запропонує рекомендовану дію: "Залишити оригінальну конфігурацію" (якщо варіант А виявиться ефективнішим) або "Застосувати варіант" (якщо варіант Б покаже кращі результати).
Щоб внести зміни в активне тестування, натисніть Редагувати тест. Так ви завершите поточне тестування й створите нове з такими самими налаштуваннями, які можна буде змінити. Щоб результати й рекомендації були точними, вносити зміни в тестування в реальному часі не можна. Для досягнення результатів потрібен час, тому не варто поспішно завершувати тестування на основі початкових результатів.
AdMob визначає найкращий варіант і прогнозований показник вірогідності за такими критеріями:
- наскільки стабільно кращий варіант демонструє вищу ефективність;
- як сильно відрізняються результати варіантів;
- доступний обсяг даних. Рекомендуємо вибрати рекламний блок зі значною кількістю трафіку, щоб мати більше даних під час тестування. Зверніть увагу, що протягом тестування необхідно отримати принаймні 10 000 запитів оголошень, щоб система AdMob могла визначити результати.
Стабільніші показники ефективності й більша різниця між ними, а також великий обсяг даних сприяють вищому прогнозованому показнику вірогідності, який надає AdMob.
Якщо принаймні один із цих критеріїв не виконується, AdMob не зможе визначити найкращий варіант і на сторінці A/B-тестування не з’являться статистично значущі результати. Проте ви все одно зможете переглянути показники кожного з варіантів.
Про розподіл користувачів для варіанта Б
Якщо частка користувачів становить менше ніж 50%, дані для варіанта Б розраховуються за допомогою коефіцієнта. Тобто порівняння об’єктивне, бо AdMob розраховує дані для варіанта Б так, ніби він отримав таку саму частку трафіку.
Наприклад, якщо розподіл користувачів для варіанта Б встановлено на 10%, приблизний дохід буде помножено на 9. Це дає змогу правильно порівняти його результати з варіантом А (що має частку трафіку 90%). Отже, якщо для варіанта Б дохід становить 10 дол. США, значення доходу для варіанта Б з урахуванням коефіцієнта становитиме 90 дол. США.
Дійте з огляду на результати експерименту
Рекомендуємо проводити тестування протягом принаймні двох тижнів, і тільки потім вживати заходів. Ви можете застосувати один із варіантів будь-коли впродовж 90 днів. Коли ви вибираєте варіант, це означає, що він використовуватиметься як конфігурація групи агрегації для 100% ваших користувачів. Вирішуючи, який варіант вибрати, враховуйте різницю в приблизних доходах і відсоток прогнозованого показника вірогідності.
Ви можете залишити варіант А або застосувати варіант Б.
- Щоб вибрати варіант А, натисніть Залишити варіант А. Тоді буде збережено початкову конфігурацію групи агрегації.
- Щоб вибрати варіант Б, натисніть Застосувати варіант Б. Тоді до облікового запису буде застосовано налаштування цього варіанта.
Якщо ви не застосуєте один із варіантів протягом 90 днів, тестування завершиться й для 100% ваших користувачів буде застосовано варіант А, навіть якщо він виявиться менш ефективним.
Ви зможете вибрати варіант протягом 30 днів після завершення експерименту. Потім строк дії тестування закінчиться й варіант Б буде видалено.