Як проводити експерименти на основі A/B-тестування в кампаніях для створення попиту

За допомогою експериментів можна розробляти й тестувати зміни до кампаній для створення попиту. Вони допомагають оцінити ймовірні результати, перш ніж застосовувати зміни до кампаній.

У цій статті описано, як працюють експерименти з кампаніями для створення попиту. Спершу налаштуйте кампанію для створення попиту.

• Перш ніж почати
• Унікальні функції експериментів на основі A/B-тестування в кампаніях для створення попиту
• Як налаштувати спеціальний експеримент і експеримент для A/B-тестування об’єктів
• Налаштування спеціального експерименту
• Налаштування експерименту для A/B-тестування об’єктів
• Оцінювання результатів експерименту
• Завершення експерименту
• Практичні поради

Перш ніж почати

• Щоб почати експеримент, потрібні принаймні 2 кампанії для створення попиту. Обидві кампанії мають бути готові, але не запущені.
• Виберіть кампанії, які відрізняються лише однією змінною, щоб вам було простіше оцінити результати експерименту й зробити висновки.
• Усі зміни в налаштування кампанії потрібно вносити до зберігання експерименту.

Унікальні функції експериментів на основі A/B-тестування в кампаніях для створення попиту

• Експерименти для створення попиту проводитимуться в усіх рекламних ресурсах: у рекомендаціях, Gmail і на YouTube.
• За допомогою експериментів рекламодавці можуть протестувати всі варіанти зображень і відео в межах кампаній.
• За допомогою експериментів можна тестувати креативи, аудиторії і фіди товарів. Зараз не рекомендується тестувати інші змінні, наприклад ставки й бюджет.
• Для запуску експерименту рекомендуємо створювати нові кампанії з тією самою датою початку. Експерименти можна проводити лише з кампаніями для створення попиту.

Як налаштувати спеціальний експеримент і експеримент для A/B-тестування об’єктів

Налаштування спеціального експерименту

1. Відкрийте розділ Експерименти в меню кампаній .
2. Угорі таблиці "Усі експерименти" натисніть кнопку зі знаком плюса і виберіть Експеримент для створення попиту.
   • Якщо ви проводите A/B-тестування креативу як єдиної змінної, виберіть "Об’єкти для A/B-тестування" й перейдіть до наведеного нижче розділу Налаштування експерименту для A/B-тестування об’єктів.
   • Якщо ви тестуєте аудиторії, стратегії призначення ставок, формати чи креативи за допомогою більше ніж двох груп експерименту, виберіть "Спеціальний експеримент".
3. Позначте групи експерименту. За умовчанням доступні 2 групи експерименту, але за потреби можна додати до 10 груп.
   • У розділі "Розподіл трафіку" введіть відсоток для кожної групи експерименту. Щоб отримати якомога точніші результати порівняння вихідної і експериментальної кампаній, рекомендуємо використовувати 50%.
   • Призначте кампанії кожній експериментальній групі. Кампанія не може належати до кількох експериментальних груп одночасно, але експериментальній групі за потреби можна призначити кілька кампаній.
4. Виберіть основний показник ефективності, який визначатиме результат експерименту.
   • Доступні такі показники: "CTR", "Коефіцієнт конверсії", "Ціна за конверсію" і "Ціна за клік".
5. Введіть назву й опис експерименту. Експеримент не може мати таку саму назву, як ваші кампанії і інші експерименти.
6. Натисніть Зберегти, щоб завершити створення експерименту. Тепер ви можете його запустити.

Налаштування експерименту для A/B-тестування об’єктів

1. Відкрийте розділ Експерименти в меню кампаній .
2. Угорі таблиці "Усі експерименти" натисніть кнопку зі знаком плюса і виберіть Експеримент для створення попиту.
   • Якщо ви проводите A/B-тестування креативу як єдиної змінної, виберіть "Об’єкти для A/B-тестування".
   • Якщо ви тестуєте аудиторії, стратегії призначення ставок, формати чи креативи за допомогою більше ніж двох груп експерименту, виберіть "Спеціальний експеримент" і перейдіть до наведеного вище розділу Налаштування спеціального експерименту.
3. Натисніть спадне меню показників і виберіть один із доступних, за яким будете визначати ефективність експерименту:
   • Середня ціна за клік (Сер. ціна за клік)
   • Ціна за конверсію (Ціна/конв.)
   • Коефіцієнт конверсії (Коеф. конверсії)
   • Показник CTR (CTR)
4. Натисніть Вибрати контрольну кампанію і знайдіть потрібну в списку доступних кампаній.
   • Контрольною може бути як уже запущена, так і нова кампанія.
5. Натисніть Створити експериментальну кампанію.
   • Система скопіює вашу контрольну кампанію. Денний бюджет експериментальної кампанії буде таким самим, як у контрольної.
6. На картці "Оголошення" натисніть + Додати відео й виберіть потрібні відео для експериментальної групи з розділу "Бібліотека об’єктів".
7. Введіть назву й опис експерименту. Експеримент не може мати таку саму назву, як ваші кампанії і інші експерименти.
8. Натисніть Зберегти.

Як оцінити результати експерименту

Під час проведення експерименту можна оцінювати й порівнювати його ефективність із вихідною кампанією. За потреби можна завершити експеримент раніше. Нижче описано 3 компоненти звіту про експеримент.

• Спадне меню "Рівень достовірності". Виберіть рівень достовірності для перегляду результатів. Це впливає на картку результатів і таблицю звіту. Нижчий рівень пришвидшує отримання результатів, а вищий – забезпечує кращу достовірність.
  • 70% (за умовчанням) – ви отримаєте приблизні результати, які відповідають найнижчому рівню достовірності для вимірювання зростання.
  • 80% – ви отримаєте приблизні результати з дотриманням балансу між швидкістю проведення експерименту і його достовірністю.
  • 95% – ви отримаєте статистично значущі результати (цей варіант підходить для користувачів, які потребують високого рівня достовірності для прийняття важливих рішень).
• Картка результатів. Перегляньте результат експерименту для вибраного показника ефективності. Статус із картки надає корисну інформацію.
  • "Збирання даних" – експерименту потрібно більше даних, щоб почати розраховувати результати. Для показників, пов’язаних із конверсіями, потрібно зібрати принаймні 100 точок даних, щоб отримати результати.
  • "Аналогічна ефективність" – групи експерименту суттєво не відрізняються на вибраному рівні достовірності. Ви можете почекати довше, щоб дізнатися, чи буде різниця в ефективності суттєвою, якщо зібрати більше точок даних.
  • "Одна група ефективніша" – групи експерименту суттєво відрізняються на вибраному рівні достовірності.
• Таблиця звіту. Перегляньте докладну інформацію про вибраний показник ефективності й інші доступні показники. У стовпцях наведено відомості про контрольну групу, групу експерименту, статус ефективності груп і загальні показники ефективності.

Завершення експерименту

Отримавши результати, обов’язково завершіть експеримент, перш ніж щось змінювати у вихідній кампанії. Щоб завершити експеримент, перейдіть на сторінку "Експерименти", наведіть курсор на відповідний експеримент і натисніть Завершити експеримент.

Практичні поради

• Щоб отримати результати експерименту з кампанією для створення попиту, що використовує стратегію призначення ставок на основі конверсій, має бути зареєстровано щонайменше 50 конверсій на групу. Для цього радимо використовувати стратегію призначення ставок "Цільова ціна за конверсію" або "Максимум конверсій" з оптимізацією на основі дрібних конверсій, таких як "Додавання в кошик" чи "Перегляд сторінки".
• Створюйте експерименти в кампаніях, де відрізняється лише одна змінна.
• Наприклад, використайте в експерименті різні види креативів одного формату, націлені на ту саму аудиторію. У такому разі змінна креативу відрізнятиметься, а змінні формату й аудиторії залишатимуться такими самими.
• Вносьте зміни на основі результатів експерименту. Якщо ви отримали статистично значущі результати в одній із груп експерименту, то можете перенести весь бюджет до неї і призупинити інші групи.
• Спирайтеся на отримані раніше дані. Припустімо, ви з’ясували, що отримуєте кращі результати тоді, коли створюєте окремі відео для різних сегментів аудиторій (а не тоді, коли показуєте те саме оголошення всім аудиторіям). Враховуйте це під час розробки майбутніх відеооб’єктів.
• Непереконливі результати також можуть бути корисними. Якщо під час експерименту не було визначено оптимальний варіант креативу, можливо, між варіантами не було істотної різниці. Під час наступного експерименту можна протестувати інші типи об’єктів або варіанти з істотнішими відмінностями.

Статті за темою

• Про сторінку "Експерименти"
• Як налаштувати спеціальний експеримент
• Як тестувати рекламу на сторінці "Експерименти"