Dataene på medieringsgruppesiden oppdateres regelmessig. Du kan treffe en avgjørelse basert på dataene som genereres i testen, når som helst i løpet av den opptil 90 dager lange testperioden og velge hvilken variant du skal bruke fremover. Dette valget innebærer at du velger hvilket av de to medieringsgruppeoppsettene du testet mot hverandre, som skal brukes på 100 % av brukerne dine fremover.
Slik kan du kjøre og overvåke A/B-tester:
- Logg på AdMob-kontoen din på https://admob.google.com.
- Klikk på Mediering i sidefeltet.
- Velg medieringsgruppen med A/B-testen du ønsker å se.
For at det skal bli enklere for deg å analysere resultatene fra A/B-testen, rapporterer AdMob om de skalerte månedlige inntektene fra variant A og variant B. Den skalerte månedlige inntekten er et anslag over hvor mye du kommer til å tjene i løpet av 28 dager hvis du tar i bruk denne varianten for alle brukerne dine. Du får se en rettferdig sammenligning og et mer helhetlig bilde av resultatene du har oppnådd med de ulike variantene.
Ut fra de skalerte månedlige inntektene som du ser øverst på A/B-testsiden, blir det enklere å forstå forskjellen mellom de ulike variantene.
I diagrammene kan du se resultatene du oppnår med de ulike annonsekildene i hver variant, så det blir enkelt å sammenligne de to variantene. I sum gjør disse diagrammene det enklere å tolke eksperimentresultatene. Sammendragsdiagrammet har en oversikt over de viktigste beregningene. Du kan holde markøren over en beregning i sammendragsdiagrammet for å se resultatene fra de ulike variantene målt i den aktuelle beregningen.
Du ser eCPM-en, matchprosenten, den skalerte inntekten og det skalerte antallet visninger fra både variant A og variant B. Verdiene oppdateres fortløpende gjennom testen. Du kan klikke på en fane for hver beregning for å se et mer detaljert linjediagram. Hvert linjediagram viser daglige data, og variant B plottes som en prosentvis endring sammenlignet med variant A.
Forstå resultatene
Når en test starter, sammenligner AdMob den skalerte månedlige inntekten i begge de to variantene for å finne ut hvilken variant som blir mest lønnsom. AdMob viser den ledende varianten på A/B-testsiden så snart det er fastslått at du tydelig og vedvarende får bedre resultater med den ene varianten enn med den andre. Vi viser deg også en anbefalt handling: «Behold den opprinnelige varianten» (hvis variant A gir bedre resultater) eller «Bruk varianten» (hvis variant B gir bedre resultater).
Du kan gjøre justeringer i en løpende test ved å klikke på Endre testen. Da avsluttes den nåværende testen, og det lages et utkast til en ny test, med de samme innstillingene, som du kan redigere. For å sikre presise resultater og anbefalinger kan ikke tester redigeres i sanntid. Husk at det tar tid å oppnå resultater, så unngå å avslutte testen for tidlig basert på de innledende resultatene.
AdMob legger disse kriteriene til grunn når den ledende varianten og den anslåtte sannsynligheten i prosent skal fastslås:
- Hvor konsekvent du får bedre resultater med den ledende varianten.
- Hvor stor forskjellen er mellom de to variantene.
- Den aktuelle datamengden. Vi anbefaler at du velger en annonseenhet med et betydelig trafikkvolum for å øke datamengden som finnes under testen. Merk deg at testen må motta minst 10 000 annonseforespørsler for at AdMob skal kunne fastslå et avgjørende resultat.
Jo mer konsekvent og signifikant resultatforskjellen er, samt jo større datavolum som er tilgjengelig, desto enklere er det for AdMob å anslå den prosentvise sannsynligheten.
Hvis noen av disse kriteriene ikke er oppfylt, kan ikke AdMob fastslå hvilken variant som er best. Da vises det heller ikke noe avgjørende resultat på A/B-testsiden. Men du kan fortsatt se testberegningene for hver variant.
Om å angi brukerfordelingen for variant B
Hvis du har angitt en brukerfordeling på under 50 %, blir dataene om variant B skalert i beregningen. Dette innebærer at dataene legger grunnlag for en rettferdig sammenligning, ettersom AdMob beregner dataene om variant B som om den hadde en like stor andel av brukerfordelingen.
Hvis variant B har en brukerfordeling på 10 %, ganges den beregnede inntekten med faktoren 9. Du får da en rettferdig sammenligning med variant A (som har 90 % som brukerfordeling). Hvis du oppnår en faktisk inntekt på NOK 100 fra variant B, blir den skalerte inntekten fra variant B på NOK 900.
Sett i gang
Vi anbefaler at du lar testen kjøre i minst to uker før du bestemmer deg for A eller B. I løpet av perioden på 90 dager kan du når som helst velge å gå for variant A eller variant B. Dette valget innebærer at du velger hvilket av de to medieringsgruppeoppsettene du testet mot hverandre, som skal brukes på 100 % av brukerne dine fremover. Vær nøye med å vurdere forskjellen i beregnet inntekt og den anslåtte prosentvise sannsynligheten når du skal velge hvilken variant du skal bruke fremover.
Du kan velge å beholde variant A eller bruke variant B:
- For å velge variant A, klikk på Behold variant A. Da beholder du det opprinnelige medieringsgruppeoppsettet.
- For å velge variant B, klikk på Bruk variant B. Det betyr at vi bruker innstillingene for (den alternative) varianten i kontoen.
Hvis du ikke bestemmer deg for noen variant før de 90 dagene er passert, blir testen stoppet, og variant A brukes på 100 % av brukerne dine, selv om den ikke var testens ledende variant.
Når eksperimentet er avsluttet, har du 30 dager på deg til å velge en variant. Etter dette avsluttes testen, og variant B slettes.