Rapportbestanden van Gegevensoverdracht bieden niet-verzamelde gegevens op gebeurtenisniveau op basis van uw advertentiecampagnes. Deze gegevens zijn in feite onbewerkte content uit de advertentieserverlogbestanden van Ad Manager, met een afzonderlijk bestand dat wordt gegenereerd voor elk type gebeurtenis. Gegevensoverdracht-bestanden bevatten gebeurtenisgegevens die tot op de seconde nauwkeurig zijn. U kunt ervoor kiezen andere informatie in de bestanden op te nemen om het apparaat, de geografische locatie en andere informatie met betrekking tot de gebeurtenis te bekijken. Partners moeten advertentieblokken in Ad Manager goedkeuren voor weergave in hun Gegevensoverdracht-bestanden.
Aan de slag
Rapportbestanden van Gegevensoverdracht brengen extra kosten met zich mee. Neem contact op met uw accountmanager om de functie aan te zetten. Nadat de functie is aangezet, kunt u uw bestandstypen voor Gegevensoverdracht instellen. Google Ad Manager biedt twee opties voor gegevensoverdracht: csv en Parquet.
U kunt overwegen samen te werken met een goedgekeurde Google Marketing Platform-partner als uw organisatie niet in staat is ETL-verwerking (extraheren, transformeren en laden) te beheren, grote bestanden te ondersteunen, tekstbestanden te manipuleren, een middelgrote database te ontwerpen en te beheren, of scripts te ontwerpen en te implementeren.
Beschikbare rapportbestanden van Gegevensoverdracht
Elke bestand van Gegevensoverdracht bevat informatie over verschillende gebeurtenissen. U kunt velden toevoegen aan elk bestandstype om contextuele informatie met betrekking tot die gebeurtenissen te bekijken.
Backfill-bestand is, bevat het Network-bestand geen vertoningen die zijn weergegeven vanuit Ad Exchange of AdSense via dynamische toewijzing. Gebruik het Backfill-bestand voor informatie over dynamisch toegewezen vertoningen.Over de gegevens in rapporten van Gegevensoverdracht
- Te late gegevens
Vertragingen van een paar uur zijn normaal, maar af en toe duurt de verwerking van bestanden van Gegevensoverdracht langer dan normaal. Als de gegevens te laat zijn, verschijnen ze met een correcte tijdstempel in het volgende uurbestand. Dit kan bijvoorbeeld betekenen dat een bestand voornamelijk tijdstempels van 08:00 tot 09:00 uur heeft met een aantal eerdere tijdstempels als de verwerking vertraagd was. -
Uren zonder activiteit
Als er gedurende een bepaald uur geen activiteit is, wordt er een Gegevensoverdracht-bestand gepost dat uitsluitend headergegevens bevat. - Datum- en daggrenzen
Het eerste uurbestand voor een bepaalde dag bevat meestal gebeurtenissen van middernacht tot 01:00 uur Pacific Time, maar de tijdstempels van de gebeurtenis bevinden zich in de tijdzone van het uitgeversnetwerk. Als voor de uitgever bijvoorbeeld Eastern Time is ingesteld, ziet hij de gebeurtenissen van 03:00 tot 04:00 uur in het eerste uurbestand. De 3 uur daarvoor zouden eigenlijk zijn opgenomen in het bestand van de vorige dag. Daarom heeft u mogelijk tijdstempels van een andere datum dan de bestandsnaam. Verwijs altijd naar het tijdstempel van gebeurtenissen in het bestand, niet naar de tijd waarop het bestand wordt gepubliceerd of de naam van het bestand. - Rapportage van hoofd- en begeleidend advertentiemateriaal in Gegevensoverdracht
Gegevensoverdracht-bestanden tonen vertoningen van zowel hoofd- als begeleidend advertentiemateriaal, maar de Query-tool telt alleen een geleverde vertoning voor de hoofd- of begeleidende advertentiemateriaalset (en geen vertoning voor elk afzonderlijk advertentiemateriaalitem), tenzij de informatie is gespecificeerd op hoofd/begeleidend.
IsCompanionis TRUE voor de vertoning van begeleidend advertentiemateriaal. Het veldCreativeIdbevat de afzonderlijke advertentiemateriaal-ID's voor hoofd- en begeleidend advertentiemateriaal en niet de advertentiemateriaalset-ID. Gegevensoverdracht heeft geen extra veld voor de advertentiemateriaalset-ID om vertoningen van begeleidend advertentiemateriaal te koppelen aan vertoningen van hoofdadvertentiemateriaal. - Verschillen met Ad Manager-rapporten
Ongeldig verkeer of spamgegevens worden periodiek verwijderd uit de Ad Manager-rapporten of de rapporten die met de API worden gemaakt. Vanwege het publicatieschema van de bestanden van Gegevensoverdracht wordt een deel van deze verwijdering misschien niet weerspiegeld. Dit kan ertoe leiden dat Gegevensoverdracht iets meer vertoningen, klikken of andere gebeurtenissen weergeeft. Wanneer er verschillen optreden, is de omvang meestal ~1%.In de Gegevensoverdracht-bestanden voor
CodeServeskunt u een hogere waarde zien dan bij de statistiek 'Aantal codeweergaven' in de Ad Manager-rapporten. Dit komt omdat Gegevensoverdracht een codeweergave telt voor elke geleverde vertoning, terwijl de rapporten slechts één codeweergave tellen per verzoek. Sommige advertentiemateriaalindelingen, zoals Google Ads-tekstadvertenties, kunnen meerdere vertoningen voor één verzoek bevatten. Groepeer uw Gegevensoverdracht-bestanden op basis van de waarden van het veldKeyPartom de unieke vertoningen voor vergelijking te vinden.
Voordelen en nadelen van csv- en Parquet-uitvoerindelingen
| Csv (door komma's gescheiden waarden) | Parquet (kolomopslag) | |
|---|---|---|
| Leesbaarheid en toegankelijkheid | Zeer goed leesbaar voor mensen. Kan makkelijk worden geopend en bewerkt met eenvoudige teksteditors of spreadsheetsoftware. | Vereist gespecialiseerde tools om te bekijken en te bewerken. Niet zo toegankelijk voor niet-technische gebruikers. |
| Universaliteit en compatibiliteit | Wordt breed ondersteund door vrijwel alle tools voor gegevensanalyse en -verwerking. | Vereist mogelijk extra bibliotheken of software voor volledige compatibiliteit, met name in oudere systemen. |
| Eenvoud en gebruiksgemak | Eenvoudige structuur, makkelijk te begrijpen en mee te werken, vooral voor kleinere datasets of snelle ad-hocanalyses. | Kan in eerste instantie complexer zijn om te implementeren, vooral voor gebruikers die niet bekend zijn met kolomopslag. |
| Prestaties en efficiëntie | Kan langzamer zijn voor grote datasets door rijgebaseerde opslag en gebrek aan compressie. | Biedt superieure prestaties voor gegevensverwerking en -analyse op grote schaal dankzij kolomopslag en efficiënte compressietechnieken. |
| Opslagefficiëntie | Minder opslagefficiënt vanwege een gebrek aan ingebouwde compressie en de mogelijkheid voor redundante gegevensopslag. | Zeer opslagefficiënt vanwege kolomopslag en geavanceerde compressiealgoritmen, waardoor de opslagkosten afnemen. Parquet-bestanden kunnen 50-75% kleiner zijn dan csv-bestanden, vooral voor grote datasets. |
Als u Gegevensoverdracht al heeft aangezet in csv, neemt u contact op met uw accountmanager om toegang te krijgen tot Parquet.
Een voorbeeldbestand downloaden
U kunt deze voorbeeldbestanden downloaden als csv- of Parquet-bestanden voor een voorbeeld van de gegevens en velden in elk van uw Gegevensoverdracht-rapportbestanden.
| Evenementtype | Bestandsnaam en -type | Wat dit laat zien | Voorbeeldbestand |
|---|---|---|---|
| Samenvoegbaar bod | NetworkBackfillBidsJoinable |
Informatie over biedingen. Kan worden samengevoegd met andere bestanden van Gegevensoverdracht. Eén keer per uur. |
|
| Codeweergave | NetworkCodeServes |
Registreert elke reactie van Ad Manager, ongeacht of deze wordt gedownload. Twee keer per uur. Opmerking: De bestanden Verzoek en Codeweergave worden zonder extra kosten toegevoegd aan het bestand Vertoning. |
|
| Vertoning | NetworkImpressions |
Informatie over gedownloade vertoningen. Twee keer per uur. |
|
| Verzoek | NetworkRequests |
Registreert elk advertentieverzoek dat Ad Manager krijgt, ongeacht of het wordt gevuld. Twee keer per uur. Opmerking: De bestanden Verzoek en Codeweergave worden zonder extra kosten toegevoegd aan het bestand Vertoning. |
|
| Actieve weergave | NetworkActiveViews |
Informatie over Ad Manager-vertoningen die geschikt zijn voor Actieve weergave. Twee keer per uur. |
|
| Bod | NetworkBackfillBids (Bèta) |
Informatie over veilingsbiedingen voor Authorized buyers en Open bieden. Eén keer per uur. |
|
| Klik | NetworkClicks |
Informatie over klikken. Twee keer per uur. |
|
| Minimumbod om te winnen | NetworkMinimumBidToWin (Bèta) |
Rapporteert het minimumbod dat kopers nodig hebben om de veiling te winnen wanneer ten minste één resterend regelitem concurreert. Eén keer per uur. |
|
| Rich media-conversie | NetworkRichMediaConversions |
Informatie over Studio-gebeurtenissen, waaronder standaard en aangepaste acties (zoals afspelen en onderbreken) en actieduur. Twee keer per uur. |
|
| Videoconversie | NetworkVideoConversions |
Informatie over videospecifieke gebeurtenissen, waaronder acties (zoals afspelen en onderbreken), content-ID's, pod-positionering en meer. Bekijk alle videogebeurtenissen. Twee keer per uur. |
Hoe bestanden worden geleverd
Bestanden van Gegevensoverdracht worden op uurbasis naar de Ad Manager-cloudopslagbuckets gepusht. We raden u aan regelmatig te pollen om te checken op updates. De meeste gegevens worden geleverd en zijn beschikbaar tussen 5 en 15 uur na het vastgelegde uur, hoewel dit bij sommige vertraagde gebeurtenissen tot 8 dagen na het plaatsvinden van de gebeurtenis kan duren. Ad Manager verstrekt geen Gegevensoverdracht-gegevens aan externe servers.
Bestandsnamen omvatten het startuur voor gebeurtenissen in de Amerikaanse Pacific-tijdzone (waarbij rekening wordt gehouden met zomertijd), maar de tijdstempels in dat bestand worden altijd gegeven op basis van de tijdzone van het Ad Manager-netwerk (die misschien geen rekening houdt met zomertijd). Dit kan leiden tot lege/overgeslagen bestanden of bestanden met meer dan één uur aan gegevens, afhankelijk van het samenspel tussen deze tijdzone-instellingen.
Alle vertoningsgegevens worden weergegeven tijdens de overgang van de zomertijd.
Bestandsnamen
Namen van bestanden van Gegevensoverdracht volgen een voorspelbare conventie:
- Csv:
[Type]_[Network ID]_[YYYYMMDD]_[HH].gz - Parquet: wordt geleverd in een map met de naam
[Type]_[Network ID]_[YYYYMMDD]_[HH]/met gepartitioneerde bestanden met de naam[Type]_[Network ID]_[YYYYMMDD]_[HH]-[Partition Index]-of-[Total Number of Partitions].parquet
YYYYMMDDis het jaar, de maand en de dag.HHis het startuur in 24-uursindeling.Het uurnummer (01, 02, 03) dat in elke bestandsnaam is opgegeven, bevindt zich in de Pacific-tijdzone, maar uitgevers krijgen specifieke gegevens voor hun eigen netwerktijdzone op basis van de tijdstempels in de bestanden van Gegevensoverdracht. Houd rekening met dit verschil wanneer u de bestandsoverdracht berekent.
[Partition Index]: tot welke partitie het bestand behoort ten opzichte van het totale aantal gemaakte bestanden (partities), te beginnen bij 0[Total Number of Partitions]het aantal bestanden (partities) dat is gebruikt om het bestand te maken
Gegevensoverdracht-bestanden tijdens het advertentieverzoekproces
Controleer de volgende afbeelding om inzicht te krijgen in de typen bestanden voor Gegevensoverdracht die zijn gekoppeld aan de verschillende fasen van het advertentieverzoekproces.
Rapportbestanden van Gegevensoverdracht gebruiken
Nadat u Gegevensoverdracht heeft ingesteld, worden de bestanden opgeslagen in Ad Exchange-cloudopslagbuckets. U kunt ze openen op internet, met een opdrachtregeltool of via een API. Meer informatie over hoe u Ad Manager-cloudopslagbuckets opent
Als u uw gegevensopname en -analyse beperkt tot een specifieke set Gegevensoverdracht-bestanden op basis van het startuur in de bestandsnaam, kunt u geleverde gegevens in een volgend bestand over het hoofd zien vanwege zomertijd, te late gegevensverzameling of andere vergelijkbare scenario's. Een betere aanpak is om alle bestanden van Gegevensoverdracht in een afzonderlijk systeem (zoals een datawarehouse of query-engine) te lezen en uw analyse te beperken op basis van het tijdstempel van de gebeurtenissen.
Bestanden voor Gegevensoverdracht zijn beschikbaar in 2 indelingen: csv- of Parquet-bestanden.
.
Gebruikers kunnen voor elk bestand een csv-bestand, Parquet of beide uitvoeren. Parquet is de optimale indeling voor use cases en opname voor datawarehouses. Csv-bestanden kunnen, afhankelijk van de bestandsgrootte, in een spreadsheeteditor worden gebruikt. Hier volgen enkele voorbeelden van manieren waarop u informatie van Gegevensoverdracht kunt toepassen:
- Dimensionale gebruikersaggregatie van gebeurtenissen en activiteiten (bijvoorbeeld per advertentiemateriaal)
- Gebruikers laten overeenkomen met een klantendatabase
- Rapporteren over geografische en demografische gegevens van gebruikers
U kunt overeenkomsttabellen gebruiken om een opzoekmethode voor naam-naar-ID te leveren voor waarden in de bestanden van Gegevensoverdracht, zodat u advertentieweergavegegevens (zoals advertentieblok of regelitem) overeen kunt laten komen met de vooraf toegewezen waarden die zijn opgeslagen in de database.
Sla bestanden lokaal op
Een goede vuistregel is dat elke gebeurtenis tussen 25 en 35 bytes gebruikt in een gecomprimeerd bestand. Dus voor 10 miljoen vertoningen heeft u schijfruimte nodig voor een gecomprimeerd csv-bestand van ongeveer 300 MB. De bestandsgrootte is kleiner met de Parquet-uitvoerindeling. Houd er rekening mee dat dit schattingen zijn en dat het bestand iets groter kan zijn. Omdat dit de grootte van de gegevens in gecomprimeerde vorm is, heeft u bovendien extra ruimte nodig om de bestanden te decomprimeren en te gebruiken.
Bestanden van Gegevensoverdracht die ouder dan 60 dagen zijn, worden verwijderd uit Ad Manager. Als u uw bestanden langer wilt bewaren dan de toegewezen 60 dagen, raden we u aan de bestanden lokaal op te slaan of in de cloud, zoals in een onafhankelijk Google Cloud Storage-account waarover u volledige controle heeft.
Meer informatie over de BigQuery Data Transfer Service
Maak grote bestanden van Gegevensoverdracht makkelijker te verwerken
Google Code heeft CRUSH (Custom Reporting Utilities for Shell) uitgebracht. Dit is een opensource-toolkit voor de verwerking van gescheiden tekstgegevens via de opdrachtregel of in shellscripts. De CRUSH-tools zijn uitgebreid ontwikkeld en getest en werken het beste op Linux- of Unix-besturingssystemen. CRUSH wordt ondersteund via de opensource-community.
Een niet-opensource-alternatief is DMX, software voor gegevensintegratie die is ontwikkeld door Syncsort.
