データは、メディエーション グループ ページで定期的に更新されます。90 日間の任意の時点で、データに基づいてパターンをコミットすることができます。コミットされたパターンは、メディエーション グループ設定として 100% のユーザーに適用されることになります。
A/B テストにアクセスしてモニタリングするには:
- https://admob.google.com から AdMob アカウントにログインします。
- サイドバーで [メディエーション] をクリックします。
- 目的の A/B テストが含まれるメディエーション グループを選択します。
A/B テストの結果を分析しやすいよう、パターン A とパターン B の推定月間収益が表示されています。推定月間収益とは、そのパターンを全ユーザーに適用した場合に 28 日間で得られる収益の推定値で、各パターンのパフォーマンスを正確に把握し、公平に比較するための目安となります。
A/B テストのページ上部に表示される推定月間収益の差を、パターン間にどの程度の違いがあるか把握するための目安として活用しましょう。
グラフでは、各パターンにおける各広告ソースのパフォーマンスの違いを簡単に検証できます。これにより、テスト結果をより明確かつ簡単に解釈できます。[概要] グラフには、主な指標の概要が表示されます。[概要] グラフの指標にカーソルを合わせると、その指標における各パターンのパフォーマンスを確認できます。
パターン A とパターン B の調整された収益、eCPM、マッチ率、調整されたインプレッションが表示されており、テスト実施中は随時更新されます。各指標のタブをクリックすると、折れ線グラフの詳細を確認できます。各折れ線グラフには 1 日のデータが表示され、パターン B はパターン A に対する増減率としてプロットされます。
結果を把握する
テストが始まると、AdMob は双方の推定月間収益を比較して、より優れたパフォーマンスが期待できるパターンを見極めます。一方のパターンのパフォーマンスが他方のパターンより継続して大幅に優れていると判断された場合、A/B テストページに優位なパターンが表示されます。また、推奨される対応（パターン A の方がパフォーマンスが高い場合は [オリジナルを使用]、パターン B の方が高い場合は [パターンを適用]）も提供されます。
テスト実施中に調整を行うには、[テストを編集] をクリックします。この操作により、現在のテストが終了し、同じ設定の新しいテストの下書きが作成されます。この下書きは編集可能です。正確な結果と推奨案を得られるように、テストはリアルタイムで編集できません。結果が得られるまでには時間がかかるため、最初の結果に基づいて急いでテストを終了しないでください。
AdMob は、次のような条件を使用して、優位のパターンと推定勝算確率を決定します。
- 優位なパターンのパフォーマンスが他のパターンより優れていることを継続して示しているかどうか。
- 各パターンのパフォーマンスの差の大きさ。
- 使用可能なデータ量。テスト期間中に利用可能なデータ量を増やすには、トラフィックの量が多い広告ユニットを選択することをおすすめします。テストでは、AdMob で結果を判断するために少なくとも 10,000 件の広告リクエストを取得する必要があります。
データが多く、パフーマンスの違いが継続して大きいほど、推定勝算確率が高くなります。
上記の条件のいずれかが満たされていないと、AdMob は優位なパターンを判別できません。この場合、A/B テストページには確定的な結果は表示されませんが、パターンごとのテスト指標は表示されます。
パターン B のユーザー割り当ての設定について
ユーザー割り当てを 50% より小さい値に設定した場合、パターン B のデータはスケーリング算定されます。つまり、公平に比較できるよう、パターン B のデータに同等のユーザー割り当てが適用されていると仮定します。
たとえば、パターン B のユーザー割り当てが 10% に設定されている場合、推定収益額は 9 でスケーリングされます。これにより、パターン A（ユーザー割り当てが 90%）と公平な比較が行われます。つまり、パターン B の収益が 10 ドルの場合、パターン B の収益のスケーリング算定は 90 ドルになります。
適用する
最低 2 週間はテストを実施してから適用することをおすすめします。90 日の期間中、いつでもパターンをコミットできます。コミットされたパターンは、メディエーション グループ設定として 100% のユーザーに適用されることになります。パターンをコミットする際は、推定収益の差と推定勝算確率を考慮してください。
パターン A を使用することも、パターン B を適用することもできます。方法は次のとおりです。
- パターン A を選択するには、[パターン A を保持] をクリックします。元のメディエーション グループの設定が保持されます。
- パターン B を選択するには、[パターン B を適用] をクリックします。パターン B の設定がアカウントに適用されます。
90 日間が経過してもパターンをコミットしない場合は、テストが停止し、優位でなかったとしてもパターン A が 100% のユーザーに適用されます。
テストが終了してから 30 日以内（テストの期限が切れてパターン B が削除される前）は、パターンを選択することができます。