リフトの確実性は、現在のところブランド効果測定でのみ利用可能で、リフトの結果について信頼性を把握するのに重要な指標です。リフトの確実性は、測定されたリフトが偶然ではなくキャンペーンに起因する可能性を示します。
このページの内容
仕組み
リフトの確実性は「1 - p 値」として計算され、効果測定の結果の「統計的有意性」または「信頼度」と呼ばれることもあります。p 値は、広告の効果が低かった場合、測定されたブランドリフトの結果が得られる確率はどれくらいかを示します。つまり、確実性が高い（p 値が低い）場合、結果が単に偶然であった可能性は低くなり、広告によって生じたブランドリフトである可能性が強くなります。
ブランド効果測定の確実性のレベルについて
Google では確実性の高い（90%）ブランドリフトを検出するため、できるだけ多くの回答を収集することに努めていますが、確実性の低い結果であっても広告に関する意思決定を行う際に参考となる場合があります。ディスプレイ＆ビデオ 360 アカウントでは、効果測定において確実性が 70% を超えるブランドリフトの結果とその確実性がレポートされます。確実性が 70% を下回る場合、その測定結果は統計的に有意とは言えず信頼性に欠けるため、レポートされません。
リフトの確実性の結果を解釈し、活用する方法
次の表は、リフトの確実性に基づいて効果測定の結果をどのように解釈できるかについての一般的なガイダンスを示しています。なお、わかりやすくするため、リフトの確実性は 5% 単位で切り捨てられます。以下の表は参考としてご利用ください。結果の解釈は、お客様のビジネスニーズおよびリスク許容度に基づいて行うことをおすすめします。
| リフトの確実性 | 解釈 |
|---|---|
| 90% 以上 | 高い信頼度 - 偶然による可能性が低く、最も信頼性の高い結果です。広告による効果があったことを強く裏付けるデータであるため、この結果に基づいて広告に関する判断を下すことができます。 |
| 85% | 中程度の信頼度 - ノイズの影響を受けている可能性がいくらか存在します。傾向分析やリスクの低い意思決定に使用することをおすすめします。 |
| 80% | |
| 75% | 低い信頼度 - 偶然によるものであって、広告のパフォーマンスを正確に反映した結果ではない可能性があります。信頼度の低い結果は、傾向分析やリスクが非常に低い意思決定に使用することをおすすめします。重要な決定を下す場合は、再測定を行って、アンケートの回答をさらに収集し、確実性を高めることができます。 |
| 70% | |
| ブランドリフトの検出なし | 信頼できない結果 - 確実性が 70% を下回る結果は、ブランドリフトを十分に裏付けるものとはならないため、ディスプレイ＆ビデオ 360 では「ブランドリフトの検出なし」と報告されます。 |
ブランド効果測定では 90% という高い確実性でブランドリフトを検出することを目標としています。とはいえ、それより確実性の低い結果を表示しても測定結果の品質が下がることはなく、お客様は通常確認できないデータポイントを取得できます。
確実性の低い結果について
確実性が低いとは、必ずしも広告の効果が低いことを意味するわけではありません。確実性の低い結果からも、さらに検証すべき有用な情報が得られる場合があります。リフトの確実性が低いということは、ブランドリフトの測定時に十分な信頼性を確保できなかったことを意味します。原因としては、アンケートの回答数が少なかったか、ブランドリフトが低いことが考えられます。
- アンケートの回答数が少ない: アンケートの回答数が少ない（4,100 件未満）と、測定精度が低下し、リフトの確実性も低下する可能性が高くなります。特に、測定結果を年齢、性別、キャンペーンなどで分類すると、セグメントあたりの回答数が少なくなります。再測定を行えば、アンケートの回答数を増やすことができます
- 絶対的ブランドリフトが低い: ブランドリフトが 2% を下回ると、高い確実性を確保することは難しくなります。ただし、絶対的ブランドリフトが低くても、必ずしも広告のパフォーマンスが低いことを意味するわけではありません。絶対的ブランドリフトが低いキャンペーンでも、効果があったユーザーあたりの費用（CPLU）で優れた成果を上げる場合があります。
リフトの確実性が異なるセグメントを比較する
セグメント（たとえば年齢層）によって、リフトの確実性は異なる場合があります。前述のとおり、リフトの確実性が最も高いセグメントが最も成果の高いセグメントであるとは限りません。
セグメントを比較する際は「絶対的ブランドリフト」または CPLU を使用することをおすすめします（「効果があったユーザー」は使用しないでください）。もう一つ留意すべき点として、多くの場合、ブランドリフトのパフォーマンスはセグメント間で似通っているため（信頼区間の重複が多いため）、最も成果の高いセグメントを明確に特定することは困難になります。成果の高いセグメントを重視してキャンペーンを最適化したい場合は、一般的な判断として、絶対的ブランドリフトが最も高い（または CPLU が最も低い）セグメントを選択することが推奨されます。ただし、リフトの確実性が低いほど、測定されたパフォーマンスはノイズによるものである可能性が高くなります。パフォーマンスに大差のないセグメントが複数ある場合は、リスクを最小限に抑えるために、最も確実性が高いセグメントを選択することをおすすめします。高い成果を上げているセグメントの特定方法がわからない場合は、アカウント担当者にご相談ください。
信頼区間と信頼度について
通常、広告のブランドリフトについて言及する場合は、広告に起因している可能性の高いブランドリフトの「推定値」を指します。ただし、ディスプレイ＆ビデオ 360 では、すべてのブランド効果測定の指標で信頼区間を確認することができます。信頼区間とは、高い確率で結果が含まれていると推定される範囲です。この範囲は上限と下限（ブランドリフトが実際に取り得る可能性のある最高値と最低値）によって定義されます。ブランド効果測定の結果では、80% の両側信頼区間が使用されます。これは、実際のブランドリフトが下限と上限の間にある確率が 80% であることを意味します。また、ブランドリフトが下限よりも大きい確率が 90% であるということでもあります。
リフトの確実性が 90% 未満の場合、信頼区間の下限は 0 より小さくなります。これは、ブランドリフトが正の値であったことを 90% 以上の確実性で保証できないためです。
よくある質問
リフトの確実性の下限を指定することはできますか？
リフトの確実性を高めるにはどうすればよいですか？
- 再測定を行って、アンケートの回収率を高めます。
- 広告想起または認知度を測定して、確実性の高いブランドリフトを検出できる確率を判断します。
- ブランドリフトが高い広告キャンペーンを選択するには、アカウント マネージャーにご相談ください。
リフトの確実性の算出方法について教えてください。
測定調査には常にある程度偶然に左右される部分があり、それがデータの変動につながる可能性があります。これは「ランダムな測定ノイズ」と呼ばれます。このランダムノイズにより、実際には広告がブランド効果を高めていないにもかかわらず、ブランド効果測定でプラスのブランドリフトが検出されることがあります。p 値は、広告がブランドリフトを発生させていない場合に、測定されたブランドリフトがノイズによるものである可能性を数値で表したものです。p 値が非常に低い場合、測定されたブランドリフトがランダムなノイズの結果である可能性は非常に低くなり、逆にそのブランドリフトが広告キャンペーンに起因していることが確実となります。
リフトの確実性は「1 - p 値」として計算され、パーセンテージで表されます。この数値が大きいほど（つまり p 値が小さいほど）、広告によってブランド効果が得られたという確実性が大きくなります。
