Достоверность роста – это важный показатель, который позволяет узнать, насколько надежны полученные вами результаты измерения роста. Он определяет вероятность того, что рост вызван именно вашими кампаниями, а не случайными факторами. Этот показатель доступен только для исследований Brand Lift.
Содержание
- Принцип работы
- Уровни достоверности в исследованиях Brand Lift
- Как интерпретировать и использовать результаты с достоверностью роста
- Часто задаваемые вопросы
Принцип работы
Достоверность роста рассчитывается по формуле "1 − p-значение" и иногда называется "статистической значимостью" или "надежностью" результатов измерения роста. P-значение отражает вероятность получения таких результатов роста в случае, если бы объявления были неэффективны. Высокая достоверность, соответствующая низкому p-значению, свидетельствует, что результаты, скорее всего, не были получены случайно, и является надежным признаком того, что рост вызван вашими объявлениями.
Уровни достоверности в исследованиях Brand Lift
Мы стараемся собирать достаточно ответов для определения роста с самым высоким уровнем достоверности (90 %), но для принятия маркетинговых решений также могут быть полезны и менее достоверные результаты. В аккаунте Дисплея и Видео 360 приводятся результаты измерения роста и их достоверность для всех исследований с достоверностью выше 70 %. Результаты с меньшей достоверностью не отображаются, поскольку их нецелесообразно использовать из-за низкой статистической значимости.
Как интерпретировать и использовать результаты с достоверностью роста
В таблице ниже можно найти общие рекомендации, которые помогут вам интерпретировать результаты измерения роста с разной достоверностью. Для простоты значения достоверности округляются в меньшую сторону с шагом 5 %. Эту таблицу можно использовать в качестве ориентира, однако при интерпретации реальных результатов следует учитывать особенности вашего бизнеса и вашу готовность к риску.
| Достоверность роста | Интерпретация |
|---|---|
| ≥ 90 % | Высокая достоверность. Максимально надежные результаты, показывающие, что рост, скорее всего, не был случайным. Вы можете смело использовать эти результаты для принятия маркетинговых решений, поскольку есть убедительные доказательства того, что рост вызван вашими объявлениями. |
| 85 % | Средняя достоверность. Существует небольшая вероятность того, что на полученные результаты повлиял шум. Мы рекомендуем использовать их в качестве ориентира или для принятия решений с низким уровнем риска. |
| 80 % | |
| 75 % | Низкая достоверность. Такие результаты могли быть обусловлены случайностью. Они не дают точной картины эффективности вашей рекламы. Мы рекомендуем использовать их в качестве ориентира или для принятия решений с очень низким уровнем риска. Вы также можете провести повторное исследование, чтобы получить больше ответов и повысить достоверность. |
| 70 % | |
| "Рост не зафиксирован" | Недостоверные результаты. Результаты с достоверностью ниже 70 % не позволяют сделать вывод о наличии роста и показываются в Дисплее и Видео 360 с пометкой "Рост не зафиксирован". |
Обратите внимание, что исследование Brand Lift направлено на измерение роста с самой высокой достоверностью – 90 %. Показ результатов с меньшей достоверностью не свидетельствует об их более низком качестве, а лишь позволяет получить данные, которые в противном случае были бы недоступны.
Как интерпретировать данные с низкой достоверностью
Результаты с низкой достоверностью не всегда свидетельствуют о неэффективности рекламы. Они позволяют вам получать сведения, требующие дальнейшей проверки. Низкая достоверность означает, что используемые методы измерения не позволяют сделать уверенный вывод о наличии роста. Причиной может стать как недостаточное количество собранных ответов, так и низкий рост.
- Недостаточное количество ответов. Если при опросе вы получите слишком мало ответов (менее 4100), результаты будут неточными. Это значит, что достоверность роста, скорее всего, будет низкой. В том числе у вас будет мало данных для сегментирования, например по полу, возрасту или кампаниям. Чтобы получить больше ответов, можно провести повторное исследование.
- Низкий абсолютный рост. Если рост составляет менее 2 %, его сложно определить с высокой степенью достоверности. Но это не означает автоматически, что ваша реклама неэффективна. Например, в кампании с низким абсолютным ростом может быть выгодная цена за привлеченного пользователя.
Как сравнивать рост с разной достоверностью на уровне сегментов
Вы можете получить для разных сегментов, например возрастных групп, результаты с разной достоверностью роста. Как объяснялось выше, это не означает, что сегмент с самой высокой достоверностью наиболее эффективен.
Во-первых, мы рекомендуем сравнивать сегменты по абсолютному росту или цене за привлеченного пользователя (а не количеству привлеченных пользователей). Во-вторых, показатели роста для разных сегментов часто схожи из-за высокой степени пересечения доверительных интервалов, поэтому точно определить лучший сегмент достаточно сложно. Но, если вы хотите оптимизировать кампании по наиболее эффективным сегментам, мы рекомендуем выбирать сегменты с самым высоким абсолютным ростом (или самой низкой ценой за привлеченного пользователя). Однако учтите: чем ниже достоверность роста, тем выше вероятность того, что полученные результаты обусловлены шумом. Если у вас несколько сегментов с похожей эффективностью, выберите те из них, у которых выше достоверность роста, чтобы минимизировать риск. Если вам нужна помощь в определении лучших сегментов, обратитесь к специалисту по работе с аккаунтом.
Доверительные интервалы и уровни
Когда речь идет о росте в результате показа рекламы, обычно подразумевается точечная оценка – наиболее вероятный рост, обусловленный объявлениями. Однако в Дисплее и Видео 360 для всех показателей эффективности продвижения бренда также указывается доверительный интервал, то есть приблизительный диапазон, в пределах которого может находиться ваш результат. Верхняя и нижняя границы диапазона –это максимальное и минимальное значения, между которыми, скорее всего, находится фактическое значение роста. Для результатов роста используются двусторонние доверительные интервалы 80 %. Это означает, что вероятность того, что фактический рост находится между нижней и верхней границами, составляет 80 %, а вероятность того, что рост выше нижней границы, – 90 %.
Обратите внимание: если достоверность роста ниже 90 %, то нижняя граница доверительного интервала будет меньше нуля, поскольку в таком случае мы не можем сделать вывод о положительном росте с достоверностью выше 90 %.
Часто задаваемые вопросы
Можно ли выбрать минимальную достоверность роста?
Как повысить достоверность роста?
- Провести повторное исследование, чтобы собрать больше ответов.
- Измерить запоминаемость рекламы или узнаваемость бренда, чтобы определить наибольшую вероятность роста с высокой достоверностью.
- Попросить менеджера аккаунта помочь вам выбрать кампании с высоким ростом.
Как узнать больше о том, каким образом рассчитывается достоверность роста?
В опросах имеет место естественная случайность, которая может привести к колебаниям в данных. Ее часто называют "случайным шумом измерения". Из-за такого шума вы можете видеть положительные результаты Brand Lift, даже если реклама была неэффективна. Вероятность того, что рост вызван не объявлениями, а шумом, определяется p-значением. Если p-значение очень низкое, то результат, скорее всего, обусловлен не случайным шумом, а рекламными кампаниями.
Достоверность роста рассчитывается по формуле "1 - p-значение" и выражается в процентах. Чем выше достоверность (и чем ниже p-значение), тем с большей уверенностью можно сказать, что рост вызван объявлениями.