Testování reklam pomocí experimentů

Experimenty Display & Video 360 jsou integrované testovací prostředí, které pomáhá provádět A/B testování u jednotlivých kreativ, publik, strategií nabídek nebo taktik cílení nebo u skupin těchto položek tím, že umožňuje srovnávat objednávky nebo řádkové položky.

Uživatele můžete rozdělit do vzájemně se neprolínajících skupin a experimentů, otestovat různé kombinace cílení, nastavení a kreativ a zjistit tak, které kombinace poskytují nejlepší výsledky. Na základě těchto zjištění můžete optimalizovat výkon běžících kampaní nebo plánovat budoucí kampaně.

Pomocí experimentů můžete:

• Otestovat každou proměnnou dimenzi, která má vliv na kampaň, včetně cílení, nastavení, kreativ apod.
• Vytvářet přehledy o hlavních metrikách, jako jsou CPC, CTR, CPA, CVR, CPM apod.

Identifikace založená na uživatelích

Aby se experimenty mohly lépe vypořádat s ukončením podpory třetích stran, když nejsou k dispozici identifikátory třetí strany, používá služba Display & Video 360 k rozdělení provozu identifikátory založené na uživatelích. Zvyšuje se tak pravděpodobnost, že u každého zobrazení reklamy bude k dispozici nějaký identifikátor.

Ve výchozím nastavení experimenty pomáhají maximalizovat účast pomocí identifikace založené na uživatelích a náhodného rozdělení. Abyste snížili kontaminaci mezi skupinami, můžete neidentifikované uživatele vyloučit odfiltrováním provozu bez ID třetích stran. Snížíte tím však počet uživatelů zapojených do experimentu. 

Koncepty

Skutečné hodnoty

Nezpracované výsledky experimentu. Představují skutečný počet konverzí, které varianta zaznamenala.

Skupina

Skupina může obsahovat:

• jednu řádkovou položku nebo objednávku,
• skupinu řádkových položek nebo objednávek.

Například základ a jeho varianta jsou samostatné skupiny experimentu.

Základní

Řádková položka nebo objednávka, která je základem pro porovnání v experimentu. Můžete vytvořit varianty a porovnat je s původním základem pro testování.

Interval spolehlivosti

Toto označení udává úroveň jistoty, že se skutečný rozdíl mezi variantami nachází v uvedeném rozsahu. Můžete zadat pravděpodobnost 90 % nebo 95 %, že skutečná hodnota leží v uvedeném rozsahu.

Například 90% interval spolehlivosti znamená, že u 90 ze 100 opakujících se testů by byl rozdíl v uvedeném rozsahu.

Normalizované hodnoty

Představují nejvyšší hodnotu kliknutí, konverzí, zobrazení nebo tržeb získanou přepočtením skutečné hodnoty základu nebo varianty na 100% podíl publika.

Například pokud je u řádkové položky s 34% podílem publika 170 000 skutečných konverzí, normalizovaná hodnota je 500 000 konverzí. (Tolika konverzí by stejná řádková položka teoreticky dosáhla, pokud by měla 100% podíl publika.)

P-hodnota

Udává vypočítanou pravděpodobnost, že k rozdílu mohlo dojít náhodou.

Používá se ke stanovení statistické významnosti výsledku a umožňuje otestovat pravděpodobnost, že je mezi základem a variantou skutečný rozdíl ve výkonu:

• Nižší p-hodnota představuje silnější důkaz rozdílu ve výkonu a signalizuje, že jsou výsledky statisticky významné.
• Vyšší p-hodnota znamená, že výsledky mohly být způsobeny náhodou a že nejsou statisticky významné.

Varianta

Experimentální řádková položka nebo objednávka s jednou proměnnou testovanou oproti základní řádkové položce nebo objednávce.

Nastavení experimentu A/B

1. U inzerenta klikněte v nabídce nalevo na Experimenty.
2. Na kartě A/B testy vyberte Vytvořit nový.
3. Vyberte jednu z následujících možností:
   • Různé burzy
   • YouTube a partneři
4. Zadejte následující podrobnosti:

   1. Název: Zadejte identifikátor experimentu a (nepovinné) prohlášení o hypotéze.

   2. Trvání testu: datum zahájení a ukončení:

      • Datum zahájení: Určete, kdy experiment začne. Datum musí být po aktuálním datu. 

      • Datum ukončení: Můžete také nepovinně nastavit, kdy experiment skončí. Pokud datum ukončení nezadáte, experiment poběží neomezeně dlouho.

        Pokud je to možné, zadejte datum zahájení a ukončení experimentu tak, aby odpovídalo objednávkám nebo řádkovým položkám experimentu.

        Příklad:

        • Pokud experiment ukončíte dříve, než objednávky nebo řádkové položky dosáhnou data ukončení, experiment nebude rozdělovat publikum a bude se zobrazovat 100 % uživatelů.

        Metriky v experimentu vycházejí výhradně ze zobrazení realizovaných po datu zahájení experimentu. Pokud byla řádková položka aktivní před datem experimentu nebo po něm, mohou přehledy ukazovat jiný počet konverzí.

   3. Testovací skupiny: Vyberte, zda porovnáváte objednávky nebo řádkové položky.

      • V závislosti na typu experimentu vyberte minimálně dvě objednávky nebo řádkové položky, které v experimentu použijete.

        1. Porovnávat jednotlivě: Vyberte jednotlivé objednávky, které do experimentu chcete zahrnout.
           • Pokud používáte více objednávek, můžete pomocí rozdělení publika nastavit, jak budou všechny soubory cookie v experimentu rozděleny mezi objednávky nebo řádkové položky experimentu.
           • V případě několika objednávek můžete kontrolní skupinu identifikovat tak, že objednávku nastavíte jako Základ.
        2. Porovnávat skupiny: Vyberte skupiny objednávek, které chcete zahrnout do jednotlivých skupin experimentu.
           • Úpravou Rozdělení publika můžete změnit rozdělení všech souborů cookie v experimentu mezi objednávky nebo řádkové položky experimentu.
           • Kontrolní skupinu můžete identifikovat tím, že objednávku nastavíte jako Základ.

   4. Měření:

      1. Cíle průzkumu: Vyberte cíl, který chcete v rámci experimentu měřit.
         • Konverze
         • Kliknutí
         • Dokončená zhlédnutí videí
         • Celková vlastní hodnota zobrazení (při použití vlastních nabídek)
      2. Interval spolehlivosti: Vyberte 95 % (nejběžnější) nebo 90 %.
      3. Účast (pouze experimenty napříč burzami): Ve výchozím nastavení je tato možnost nastavena na maximalizaci účasti v experimentu pomocí identifikátorů uživatelů a náhodného rozdělení.
         • Zapnutím možnosti Vyloučit neidentifikované uživatele můžete vyloučit návštěvnost bez ID třetí strany a minimalizovat tak kontaminaci mezi skupinami.
           Poznámka: Vyloučení neidentifikovaných uživatelů může vést k tomu, že experiment kvůli poklesu účasti nebude reprezentativní.
      4. Nastavení studie nárůstu (nepovinné, pouze experimenty pro YouTube a partnery): 
         • Zaškrtněte políčko Dopad na značku.
         • Vyberte až tři metriky nárůstu, které chcete měřit. Na levém postranním panelu se zobrazí kritéria způsobilosti pro měření nárůstu a to, zda vaše experimentální skupiny tyto podmínky splňují. Další informace o nastavení měření dopadu na značku
         • Zadejte následující podrobnosti průzkumu:
           • Název značky nebo produktu.
           • Až tři názvy konkurenčních značek nebo produktů.
         • Zadejte následující nastavení průzkumu:
           • Jazyk: Jazyk použitý v průzkumu.
           • Typ objektu: Odvětví nebo obor, který chcete zkoumat.
           • Zamýšlená akce: Co má uživatel po zhlédnutí reklamy udělat.

5. Klikněte na Uložit.

Vyhodnocení výsledků experimentu

1. Začněte u inzerenta.
2. V nabídce vlevo přejděte na Experimenty.
3. Na kartě A/B testy zobrazte kliknutím na odkaz Název studie výsledky experimentu.
   1. Pokud v experimentu nastavíte průzkum dopadu na značku, klikněte vedle názvu testovací skupiny na možnost Zobrazit přehled dopadu na značku, aby se zobrazily výsledky studie.

4. Na kartě Výsledky experimentu:

   1. V sekci Konverze (primární cíl): Můžete si zobrazit souhrn výsledků, včetně grafu, a zjistit tak rozdíl mezi základem, variantami a nárůstem:

      1. Metrika: Můžete vyhodnotit rozdíl mezi základem a variantami a zkontrolovat statistickou významnost.
      2. Stav udává, zda jsou výsledky statisticky významné, či nikoliv. Výsledek je statisticky významný, pokud je u cíle experimentu velký rozdíl mezi základem a některou variantou.
      3. Data testování: Termíny, která jste pro experiment nastavili.
      4. Typ uvádí, zda jste vybrali porovnání objednávek nebo řádkových položek.
      5. Úroveň spolehlivosti je hladina spolehlivosti, kterou jste pro experiment nastavili.
      6. Interval spolehlivosti určí hladinu spolehlivosti nastavenou pro experiment (pokud ho aktivujete). 

5. Výsledky můžete aktualizovat následujícími způsoby:

   • Vyberte základní variantu: Ve výchozím nastavení graf porovnává základní variantu s několika jinými variantami. Variantu, která se má použít jako základ, můžete vybrat v seznamu Základ.

   • Vyberte atribuční model: Při prohlížení výsledků experimentů s konverzemi můžete v rozbalovací nabídce Atribuční modely vybrat atribuční model.

6. Volitelně můžete jako experimentální skupiny nastavit dvě nezávislé studie dopadu na značku a zobrazit výsledky dopadu na značku. Podmínky zobrazení výsledků dopadu na značku v sekci Experimenty:

   Pokud máte studie dopadu na značku vytvořené pro objednávky v rámci experimentu, je studie dopadu na značku automaticky nastavena na urychlené měření. Studie dopadu na značku se pokusí shromáždit odpovědi z průzkumu co nejrychleji a po dosažení cílového počtu odpovědí se automaticky zastaví.
   • Počáteční data studie dopadu na značku a experimentů se musí shodovat.
   • Výběr metrik a otázky v průzkumu musí být stejné.

   • Například u dvou kampaní můžete pro každou kampaň spustit studii dopadu na značku a vytvořit experiment se dvěma skupinami, jednou pro každou kampaň. Pokud je studie dopadu na značku dokončena, můžete si výsledky prohlédnout, i když experiment stále probíhá.

Kontrola rozdílů v experimentu

Pokud si chcete prohlédnout rozdíly mezi větvemi experimentu, přejděte na kartu Rozdíl. Můžete tak zjistit, zda se varianty liší pouze proměnnou, kterou testujete. Před spuštěním experimentu můžete rozdíly opravit. Předejdete tak možnému zkreslení nebo riziku, že experiment nebude poskytovat relevantní výsledky. Pokud větve variant zahrnují více než jednu řádkovou položku, použije služba Display & Video 360 při porovnávání automaticky větve s minimálním zjištěným počtem rozdílů.

Upozorňujeme, že nástroj Rozdíl je určen k použití při kontrole kvality, ale nemusí být užitečný zpětně. Nástroj Rozdíl porovnává řádkové položky a objednávky v aktuálním stavu, nikoliv ve stavu při spuštění experimentu. Nástroj Rozdíl proto bude reflektovat veškeré změny, ke kterým došlo po experimentu (včetně archivace řádkových položek), i když tyto změny experiment neovlivnily.

Doporučené postupy

Při plánování experimentu věnujte pozornost následujícím doporučením.

Plánování a nastavení

• V každém experimentu testujte jen jednu proměnnou. Všechny skupiny experimentu (základ a všechny varianty) musí být úplně stejné kromě jedné proměnné, kterou testujete.

• Objednávky a řádkové položky pro experimenty vytvářejte duplikováním, nevytvářejte je úplně od začátku. Snáze tak zajistíte, aby položky v experimentech byly totožné kromě jedné dimenze, kterou budete testovat jako proměnnou.

• V experimentech používejte jen nové objednávky nebo řádkové položky. Pokud bude mít objednávka nebo řádková položka předchozí aktivitu mimo experiment, může to mít vliv na počítání konverzí.

• Eliminujte vnější vlivy. Zajistěte, aby řádkové položky mimo experiment nesoutěžily s rozpočty řádkových položek v experimentu. Pokud to je tedy možné, použijte pro všechny řádkové položky v příslušném experimentu samostatnou objednávku.

  Zároveň se snažte nepoužívat kreativy z experimentu mimo experiment.

• Nastavte dostatečně vysoké omezení frekvence. Pokud v experimentu používáte objednávky, omezení frekvence kampaně musí být rovno minimálně součtu nejvyššího omezení frekvence pro objednávky zapojené do experimentu a všech omezení frekvence pro objednávky mimo experiment.

  Pokud například kampaň obsahuje tři objednávky, ale do experimentu jsou zapojeny jen dvě z nich, minimální omezení frekvence kampaně určíte tak, že vezmete vyšší omezení frekvence z obou zapojených objednávek a přičtete jej k omezení frekvence objednávky, která v experimentu není použita. To znamená, že pokud objednávky v experimentu mají omezení frekvence 10 a 8 a třetí objednávka mimo experiment má omezení frekvence 5, kampaň by měla mít omezení frekvence 15. Výsledek dostanete sečtením hodnot 10 (což je nejvyšší omezení frekvence z objednávky přidružené k experimentu) a 5 (což je součet všech omezení frekvence objednávek, které v kampani zůstaly a nejsou do experimentu zapojeny).

  Pokud v experimentu porovnáváte řádkové položky, stejný doporučený postup se vztahuje i na omezení frekvence na úrovni řádkové položky.

• Rozpočet a rychlost zobrazování plánujte s rozvahou. Rozpočet nastavený pro každou větev experimentu by měl proporcionálně odpovídat rozdělení publika experimentu. Pokud rozpočet přidělíte jinak než proporcionálně, děláte z rozpočtu další proměnnou experimentu. Obdobně by měla být stejná také rychlost zobrazování, jinak se stane další proměnnou experimentu. Tento doporučený postup lze rozšířit i mimo řádkové položky v experimentu a také na další řádkové položky, které do experimentu zapojeny nejsou, ale spadají do stejné objednávky. Jejich schopnost utratit rozpočet a dodržet rychlost zobrazování ovlivní, jak budou řádkové položky experimentu nakupovat inventář, a ovlivní tedy i výsledky experimentu.

• Při omezování zásahu buďte opatrní. Pokud očekáváte, že budete mít relativně omezený zásah (například nakupujete inventář dohod nebo inventář publika s omezeným zásahem), výsledkem experimentů může být široký interval spolehlivosti, který znesnadní vyhodnocení účinnosti variant.

• Vše dokončujte s dostatečným předstihem. Je potřeba, aby před zahájením experimentu bylo dost času na schválení všech kreativ.

Při spuštěném experimentu

• Experiment nepozastavujte. Pokud některou kampaň potřebujete dočasně pozastavit, ale plánujete v experimentu pokračovat, pozastavte skupiny experimentu (dejte pozor, abyste pozastavili všechny), ale ne samotný experiment. Když potom kampaň opět spustíte, nezapomeňte zároveň aktivovat všechny skupiny.

  Experiment, který ukončíte, již nelze znovu spustit. Všechny subjekty přiřazené k experimentu se navíc začnou opět zobrazovat 100 % vašich uživatelů.

• Provádějte jednotné úpravy. Pokud během experimentu potřebujete změnit objednávky nebo řádkové položky, proveďte stejnou změnu ve všech skupinách experimentu. Může to být potřeba například k odstranění webu, který nesplňuje podmínky vhodnosti pro značku.

Důležité informace

• Experimenty nelze spouštět u následujících typů inventáře:
  • Výchozí řádkové položky s programatickým prodejem zaručeného inventáře nebo objednávky s výchozími řádkovými položkami
  • Inventář s okamžitou rezervací
• Experimenty lze spustit 24 hodin po nastavení. Jako datum zahájení při nastavování nelze vybrat aktuální ani následující den.
• Stejnou řádkovou položku nebo objednávku je možné v jednu chvíli použít jen v jednom aktivním experimentu.
• Po zahájení experimentu již nelze změnit procento rozdělení publika.
• Systém experimentů v současné době nedokáže rozlišit, když stejný uživatel používá různá zařízení. Na mobilním zařízení se mu proto může zobrazovat jedna varianta experimentu a na počítači základ.
• Počty konverzí uvedené u experimentů a v dalších formách přehledů (včetně metrik v tabulkách) se mohou lišit. Metriky zaznamenané během experimentů totiž zahrnují pouze zobrazení realizovaná v době, kdy byl experiment aktivní.
• Studie nárůstu vytvořené v rámci A/B testů nejsou k dispozici pro opakované měření. Pokud chcete studii dopadu na značku znovu změřit, je třeba experiment zastavit, odstranit objednávku ze studie dopadu na značku a na kartě Studie nárůstu na značku vytvořit novou studii dopadu na značku.

Časté dotazy