概览
通过价格实验,您可以进行 A/B 测试,然后根据测试结果和全球不同市场的购买力,放心地对应用内商品价格做出准确调整。此外,您还可以针对核心市场开展价格实验,以对照组价格为参考对象,测试不同的价位,从而提高收入。通过在不同国家/地区为应用内商品设置最优价格,确保为应用采用最佳定价策略,能够持续推动收入增长,同时还能继续吸引新用户。由于此功能基于应用内商品的定价和销售情况而运作,因此您必须是销售商品的开发者才能使用。
准备并开展价格实验
以下部分提供了相关指南和重要信息,说明了如何准备和开展价格实验,以及如何解读实验结果。
准备工作
开始在 Play 管理中心内设置价格实验之前,请先展开并阅读以下各个部分的内容。
前提条件 重要信息基本信息
- 实验只可在应用一级开展;您无法跨多个应用开展实验。
- 实验可开展的最长期限为 6 个月,期满后价格会恢复原价。如果实验提前获得具有统计显著性的结果,则 14 天后价格也会恢复原价。
- 在一次实验中,您最多可以测试 1000 个应用内商品。
- 在原始实验结束后至少满 30 天之前,您无法在之前实验涵盖的国家/地区针对相同的应用内商品重复开展相同的实验。
- 您无法暂停实验,只能或是开展实验,或是完全停止实验;也无法重新开始已停止的实验。
国家/地区限制
- 同一时间只能开展一项实验,在任何给定的国家/地区均是如此。例如,如果您已经在挪威开展了一项实验,便无法在该国针对其他商品开展另一项实验,除非您停止第一项实验,再创建另一项实验。
- 测试价格必须在应用内购商品的指定价格范围内。如果按百分比调整后的价格不在实验所涵盖国家/地区的已指定价格范围内,则价格会在达到上限或下限时自动停止调整。
- 在每项实验中,最多可设置两个价格变体和一个对照组。
- 实验仅在选定的国家/地区开展,不会在其属地开展。例如,如果您在法国开展实验,则不涵盖法国的属地(法属圭亚那、法属波利尼西亚、瓜德罗普岛、马提尼克岛、马约特岛、新喀里多尼亚、留尼旺岛、圣巴泰勒米岛、圣马丁岛、圣皮埃尔和密克隆群岛、瓦利斯群岛和富图纳群岛)。
对应用内商品的更改
- 对于正在开展的实验中所含的应用内商品,您无法更改其价格。如需更改价格,您必须停止实验。请注意以下几点:
- 唯一的例外情况是您开展两项实验,并应用第一项实验的结果。或者,如果您的应用内商品与某个定价模板相关联,那么您只能针对没有开展实验的国家/地区更改应用内商品的价格。
- 如果您在开展实验期间配置新的应用内商品,系统会在实验中忽略该商品。
开展实验并应用结果
- 您可以随时应用实验价格,但我们建议您等待结果具有统计显著性后再采取行动,仅应用效果比对照组更好的价格变动。
- 您无法在当前正在开展的实验中添加更多国家/地区或商品。
- 如果您的一个或多个商品与某个定价模板相关联,当您应用价格时,系统会更新实验国家/地区的价格,并将这些商品与相应模板解除关联。
实验会频繁用到统计术语。如果您不熟悉这些术语,不妨参阅下方的词汇表,其中的解释可能会对您有所帮助。
术语 | 定义 | 备注 |
---|---|---|
置信区间 |
一系列值,用于表示结果在是否具有统计显著性方面的不确定性程度。 |
这是解读实验结果时应考量的一个重要因素。如果置信区间不含 0,即可确定结果具有统计显著性。 在实验的最初几天,由于数据量较低,因此可能不会显示置信区间。 |
置信度 |
在变体和对照组之间观测到的差异属实的概率。 示例:置信度为 90% 意味着,观测到的差异有 10% 的概率是由偶然因素导致的。换言之,如果对照组和变体无差异,则受测数据出现的概率不到 10%。 |
|
对照组 | 实验组中的原始测试变量(包含原价应用内购商品)。 | 在设置期间所指定的一定比例的实验受众群体以及实验范围以外的所有用户都会看到对照组价格。 |
实验结果 | 实验的结果。 | 下一部分中列出了可能的实验结果。 |
假正例 | 系统错误地将负例事件归类为正例事件。 |
如果我们检测到对照组与测试组之间的消费差异具有统计显著性(正例),而实际上对照组与测试组之间的消费差异并不具有统计显著性(负例),我们便将其视为假正例。 假正例率是指假正例数量与实际负例事件总数的比率。 |
应用内商品 |
一次性向用户收取费用的商品。 应用内商品可以包括您在 Google Play 上的应用中提供的虚拟商品(例如游戏关卡或药水)以及付费服务。 |
您可以选择一种或多种不同的应用内商品,数量上限为 2,000。一般而言,如果对照组与变体之间存在差异,数据越多意味着检测到差异所需的时间越短。 对多个商品进行价格调整实验可降低潜在的自相竞争。 |
最低可检测效果 (MDE) |
您在设置实验时选择的输入值,用于表示您期望实验检测到的效果提升程度。您可以将其视为决定实验的预期敏感度的因素,因为这个值能够影响预计实验结果达到统计显著性水平所需的时间。您选择 MDE 后,系统会显示根据所选历史数据确定实验结果达到统计显著性水平预计所需的时间。 例如,MDE 越小意味着实验敏感性越高,因此预计完成统计显著性计算所需的时间也越长。 |
|
新奇效应 | 这种现象是指,用户可能会更偏好或会尝试新特色(例如新的商品或价位),即使这个特色并不比原有特色更好或更吸引人。在这种情况下,效果提升幅度通常会随着时间的推移而逐渐降低。 | 快速得出结论的实验可能会受到新奇效应的影响。我们建议按预计完成统计显著性计算所需的周数,让实验持续相应的时间,以便充分考虑这种效应。 |
统计显著性 | 在 A/B 测试中,统计显著性用于确定对照组与变体之间的差异是真实存在的还是由偶然因素导致的。 |
如果置信区间不包括 0 这一效果值,我们就会认为这是具有统计显著性的结果。我们所说的效果是指对照组的用户消费额与变体的用户消费额之间的差异。 您可以在常见问题解答部分查看一些关于置信区间的直观示例。 |
变体 | 实验组原始测试变量的变体。 | 变体是对应用内商品的原价进行上调或下调后得到的价格。 |
设置实验
在设置实验时,我们建议您在实验中包含应用中所有可互替的应用内商品(例如游戏代币),以限制自相竞争。
如果您的数据量较低,则可能没有足够数据来从实验中得出结论。例如,如果您要针对新产品开展实验,我们的预计实验时长和警告就可能不准确。在这种情况下,Play 管理中心内可能会显示一条警告,告知您预计所选时间范围内的数据量将非常低。如果您收到提示数据量过低的消息,则表明您可能没有开展实验所需的足够数据,或者您或许可以微调实验参数。以下是针对排查数据量过低问题建议采取的一些措施。
反之,如果您要开展更长时间的实验,请务必注意,实验结果可能会受到经济因素(例如相应时间段内全球货币的波动)的影响。
第 1 部分:添加详细信息
若要添加实验详细信息,请按以下步骤操作:
- 打开 Play 管理中心,然后前往价格实验页面(借助 Play 变现 > 价格实验)。
- 点击创建实验。
- 在“添加详细信息”部分中,输入实验名称和实验的简短说明(选填)。
- 注意:用户不会看到您的实验名称和简短说明。
- 选择您要开展实验的国家/地区。
- 重要提示:价格实验仅在选定的国家/地区执行,而不会在其属地开展。例如,如果您选择法国,您的价格实验将只在法国执行,而不会在法属圭亚那等属地开展。
- 使用商品下拉菜单选择要开展实验的应用内商品。下拉菜单中列出了可用的应用内商品名称、ID 和价格。
- 重要提示:如果您选择的应用内商品已与某个定价模板相关联,那么在价格实验期间,相应定价模板会处于锁定状态。
- 选择开始日期。实验将在所选日期的 00:00(太平洋时间)开始。您可以将实验安排在未来的时间启动。
- 点击下一步,继续设置实验,添加变体。
根据您的实验设置输入,如果我们预测到数据量将会过低,无法获得具有统计显著性的结果,您会看到一条警告。在这种情况下,我们建议您进行调整,以确保能收集到足够的数据来获得具有统计显著性的结果。若要了解可能的后续步骤,您可查看针对数据量过低问题建议采取的措施。
针对数据量过低问题建议采取的措施以下建议有助于改变获得具有统计显著性的结果所需的数据量,以便缩短实验持续时间。
实验设置步骤 |
建议采取的措施 |
---|---|
第 1 部分:添加详细信息 | 增加实验中的国家/地区数量。 |
第 1 部分:添加详细信息 | 针对所有应用内商品进行测试,或增加应用内商品的数量。 |
第 2 部分:添加变体 | 将变体数量从两个减少到一个。 |
第 2 部分:添加变体 |
尝试增大价格下调的百分比,即采用更低的实验价格。 注意:这不会影响初始估算,但有助于正在进行的实验。 |
第 3 部分:管理设置 | 增加每个变体的受众群体规模(例如,对照组为 50%,实验组为 50%)。 |
第 3 部分:管理设置 |
提高最低可检测效果。 注意:这只会影响变体和对照组效果相同的实验。 |
第 3 部分:管理设置 | 降低置信度。 |
第 2 部分:添加变体
在“添加变体”部分中,您可以添加和移除价格变体。您的价格实验必须至少包含一个变体。如需添加变体,请执行以下操作:
- 从下拉菜单中选择提高价格或降低价格,然后输入您希望应用于所选项的百分比。请注意以下几点:
- 您必须输入整数。
- 如果您选择降低价格,则必须输入一个介于 1 到 99 之间的值。
- 如果您选择提高价格,则必须输入一个介于 1 到 999 之间的值。
- 添加变体后,您的对照组价格范围和变体价格范围便会列在此页面中。您可以点击 View product prices(查看商品价格)来了解更多详细信息,包括商品名称和 ID、关联地区(如适用),以及税务信息。在此处,您可以查看使用汇率和国家/地区专用定价模式后的实际价格变动百分比。
- 如果您想在实验中包含多个变体,请点击 + 添加其他变体,然后重复前面的步骤。对照组价格范围和变体价格范围也列在此页面中。
- 点击下一步,继续设置实验,对实验设置进行微调。
第 3 部分:管理设置
在“管理设置”部分中,您可以通过设置定位参数来微调实验。如要管理实验设置,请按以下说明操作:
- 输入实验受众群体。这是将参与实验的用户所占的百分比。系统会将这些用户平均分配给各个实验变体和对照组。请注意,实验范围外的用户也会看到原始(对照组)价格,但不会包含在实验分析中。
- 注意:您必须输入一个介于 1 到 100 之间的整数。
- 输入置信度。降低置信度将会增加出现假正例的几率,但也会缩短实验持续时长。
- 输入最低可检测效果。这表示您期望实验检测到的效果提升程度。您可以将其视为决定实验的预期敏感度的因素。此设置将用于调整预计完成统计显著性计算所需的时间。
- 优化定位参数,以微调实验。对于预计完成统计显著性计算所需的时间,您可以将其作为系统根据您的设置而提供的指南加以参考。
第 4 部分:启动实验
您现在可以启动实验了。在实验期间,所选应用内商品和国家/地区的价格将发生变化。您可以随时结束实验。
- 启动实验之前,请确认您了解以下各项:
- 此实验可能会影响应用的收入。请注意,如果没有获得具有统计显著性的结果,任何负面或正面的收入结果可能都没有意义,因此建议您耐心等待,直到获得具有统计显著性的结果为止。
- 在实验进行期间,您将无法修改所选应用内商品的价格。
- 如果应用实验结果,将会影响纳入实验的所有国家/地区和应用内商品。
- 点击确认并启动。
可选:结束实验
您可以随时结束实验。
- 打开 Play 管理中心,然后前往价格实验页面(借助 Play 变现 > 价格实验)。
- 打开您要结束的实验。
- 点击结束实验。
实验结束后,相关国家/地区和应用内商品的实验价格将恢复原价。实验和分析将不再有效。
如果您安排了在未来的时间开展实验,同样可以按照前面的步骤取消实验。如果您在距离安排的开始日期还剩不到 24 小时的情况下取消实验,有时可能会出现实验短暂进行的问题。
查看实验结果并应用变体
请务必熟悉各种可能的实验结果,以及这些结果对您的应用及其定价策略可能有何意义。在应用结果之前,请仔细阅读此部分。
查看和分析实验结果
如果系统认为您的结果具有统计显著性,便会将其显示在实验的分析页面上,您也会通过收件箱消息收到通知。
查看结果
如要查看实验结果和分析,请访问您的实验页面。前往价格实验页面(借助 Play 变现 > 价格实验),然后点击实验旁边的向右键,即可查看实验分析页面。
结果显示在页面顶部附近。展开可能的实验结果部分,查看不同的结果及其意义。在实验结果下方,您可以查看解释相应结果的简短说明。例如,您可能会在实验结果的简短说明上方看到“变体 [X] 表现最好”,其中可能包含如下说明:“变体 [X] 的收入最高。”在这类情况下,如果变体与对照组不相上下或优于对照组,您可以点击应用变体 [X],以应用变体并相应地更新应用内商品的价格。如需了解详情,请参阅应用变体。
注意:实验将于自确定结果之日起 14 天后自动结束,您也可以点击结束实验来立即结束实验。
查看支持数据
结果下方会显示一个表格,其中将显示统计结果所依据的数据。此列表会列出变体、收入、收入与对照组的比较情况(以及与对照组的收入差异百分比),还有变体的置信区间。如果您想了解实验分析页面上的不同指标,请展开指标定义部分。
在表格下方的“支持数据”部分,您可以查看更精细的数据。默认情况下,此图表将显示截至最新可用日期与对照组相比的收入信息。在此视图中,阴影区域表示置信区间;通过此图表,您可以查看置信区间随时间而变化的情况。您可以使用图表右上角的时长和日期过滤条件来调整所选时长和日期。
您还可以使用图表左上角的指标过滤条件来显示以下指标:收入、订单、买家人数、买家占比、ARPPU(指标定义部分也介绍了这些指标)。如果您选择其他指标,此图表不会显示置信区间,因为这项信息以收入为依据。
如需查看更多商品级的详细信息,您还可以将实验结果导出为 CSV 文件。展开指标定义(CSV 导出)部分,即可查看 CSV 导出文件的字段、格式和示例。
应用变体
在应用变体之前,请注意以下事项:
- 如果您的一个或多个应用内商品与某个定价模板相关联,当您应用变体时,系统会更新向实验国家/地区显示的价格,并将这些应用内商品与相应模板解除关联。
- 您只能将变体应用于实验中涵盖的所有应用内商品和国家/地区。我们会针对整个设置的内容计算统计显著性,因此如果仅对设置中的部分国家/地区和应用内商品应用,我们便无法保证相同的结果和效果。
如果变体的效果与对照组不相上下或优于对照组,您可以通过应用相应变体来更新定价:
- 打开 Play 管理中心,然后前往价格实验页面(借助 Play 变现 > 价格实验)。
- 点击要应用的变体旁边的应用变体。
系统将根据变体中的配置更新应用定价。实验将于自确定结果之日起 14 天后自动结束,您也可以点击结束实验来立即结束实验。
可能的实验结果一项实验会有多种可能的结果。实验结果将决定接下来应该执行的步骤。
实验结果 | 含义 | 备注/建议 |
---|---|---|
变体 [X] 效果最佳 | 变体 [X] 的收入增幅最大,取得了有意义的结果,因此具有统计显著性。 | 您可以应用变体 [X],因为它的效果显著优于对照组和其他变体。 |
两个变体的效果均优于对照组 | 两个变体获得的收入均高于对照组。请查看结果并确定要应用的变体。 | 您可以决定要应用哪个变体。 |
变体和对照组的效果相同 | 变体获得的收入均不高于对照组。 | 您的实验收集了足够的数据,变体和对照组的效果不相上下。 |
对照组的效果最好 | 对照组获得的收入高于这两个变体。 | 这表明,实验国家/地区和商品的当前价位已是最优价位。对于实验商品和国家/地区,请继续使用对照组价格。 |
需要更多数据 | 您的实验正在进行。需要更多数据才能确定具有显著统计意义的结果。 | 请参阅针对数据量过低问题建议采取的措施,以确定后续步骤。 |
无法得出结果 | 您的实验过早停止,或已达到 6 个月的实验时长上限。需要更多数据才能确定具有统计显著性的结果。请尝试使用不同的设置开展一项新实验。 | 请参阅针对数据量过低问题建议采取的措施,以确定后续步骤。这可能表明,实验国家/地区的买家对应用内商品的价格不为所动。 |
下表列出了实验分析页面中显示的各项指标。
指标 | 定义 |
---|---|
所有商品收入 | 在指定期限内购买了实验范围之内及之外的应用内商品的实验用户带来的总收入。 |
每位付费用户平均收入 (ARPPU) | 指定实验期限内的应用内商品的总收入除以唯一身份买家(在实验范围之内及之外至少购买了一次应用内商品的用户)人数。该指标有助于您了解买家对您业务的价值。 |
买家占比(28 天) |
在实验期间至少购买了一次应用内商品(包括实验范围之外的应用内商品)的月活跃用户所占的百分比。 注意:这是了解买家转化率以及扩大付费用户群广度的关键指标。 |
买家人数 | 在指定期限内至少按实验价格购买了一次应用内商品的唯一身份用户数。 |
新安装用户带来的收入 | 在实验日期开始过后,在任意设备上首次安装应用且首次看到实验价格的用户带来的总收入。请注意,有些用户会选择不与 Google 分享此类数据。 |
订单数 | 在实验期间的指定期限内完成的实验应用内商品购买交易的数量。 |
收入 | 在指定期限内购买了实验范围之内的应用内商品的实验用户带来的总收入。 |
下表列出了以 CSV 文件格式导出的指标定义的字段、格式和示例。
字段 |
格式 | 示例和备注 |
---|---|---|
日期 | 字符串 |
基于太平洋时区的订单日期(采用 MMM DD, YYYY 格式)。 |
SKU ID | 字符串 |
开发者指定的应用内商品的唯一 ID。 |
商品名 | 字符串 |
开发者指定的应用内商品的名称。 |
国家/地区 | 字符串 |
相关应用内商品指标的唯一国家/地区代码。 |
实验组 | 字符串 |
相关应用内商品指标的实验组。 |
开发者币种 |
字符串 |
订单的换算币种。这是您收到的付款所用的本地币种。 |
收入 | 数值 |
在指定日期、国家/地区和实验组的情况下,指定应用内商品的总收入。 |
新安装用户带来的收入 | 数值 |
在指定日期、国家/地区和实验组的情况下,在实验日期开始过后,在任意设备上首次安装应用且首次看到相应价格的用户带来的总收入。请注意,有些用户会选择不与 Google 分享此类数据。 |
订单数 | 数值 |
在指定日期、国家/地区和实验组的情况下,指定应用内商品的订单总数。 |
买家人数 | 数值 |
在指定日期、国家/地区和实验组的情况下,指定商品的买家总数。买家是指在实验期间购买过特定应用内商品的用户。 |
常见问题解答
我可以在哪些国家/地区开展实验?您只能在符合以下条件的国家/地区开展价格实验:
- 您已在该国家/地区发布版本(包括内部测试轨道中的版本)。
- 该国家/地区支持本地币种。
如果数据量非常低,则没有可用的数据。此外,实验分析页面上显示的某些数据最长可能会滞后 7 天。
可以。请注意,如果您开展的实验包含关联到定价模板的应用内商品,那么在实验期间,实验国家/地区的价格将处于锁定状态。不过,您仍然可以更改其他国家/地区的价格。
如果在实验结束时您选择应用新价格,便会解除所有参与实验的应用内商品与所关联的定价模板之间的关联,并且定价模板将保持不变。如果您想应用实验结果但不想解除应用内商品与定价模板之间的关联,则可直接前往定价模板页面(设置 > 定价模板)去更新相应价格。
如需了解详情,请参阅定价模板。
不可以。要测试的实验价格必须介于为每个国家/地区定义的最低价格和最高价格之间。在实验设置期间输入价格变动值时,如果价格变动达到上限或下限,系统就会自动假定采用最低或最高价格。如需查看各个国家/地区接受的价格范围和货币列表,请参阅支持面向 Google Play 用户分发应用的国家/地区。
否。只要您集成了任一版本的 Google Play 结算系统,就可以开展价格实验。
您可以在可下载的每月财务报告(估算销售报告和收入报告)中查看所有实验订单。对于进行价格实验的国家/地区,您可以查看哪些实验应用内商品是按对照组价格购买的,以及哪些应用内商品是按变体价格购买的。
为确保实验能够获得有意义的结果,我们建议您不要开展任何并发的 A/B 实验。例如,Firebase 独立于 Play 管理中心内的价格实验运行,并且对特定应用内商品的任何干扰都可能会影响实验结果的可靠性。
我们使用“刀切法”(一种允许通过重采样来估计方差的统计工具)来计算置信区间,然后应用混合顺序概率测试来控制因持续监控而产生的过高假正例率。如果置信区间不含 0,即可确定结果具有统计显著性。
实验将于获得具有统计显著性的结果后满 14 天时自动停止,或在达到 6 个月的实验时长上限时自动停止。我们不会按照设置实验时提供的预计时长来停止实验,而是在检测到具有统计显著性的差异后停止实验。我们将为您留出 14 天的时间,以便您应用新定价;如果逾期未应用新定价,便会恢复原价。
不可能。在实验期间,用户只会看到一个价格。
不可以,因为实验已经开始使用您最初选择的参数收集结果。您可以选择其他国家/地区,并行开展第二项实验;也可以结束当前实验,然后设置新实验。请注意,如果应用内商品和国家/地区存在重叠,您将需要等待 30 天才能设置新实验。
计算统计显著性时,系统会汇总所有国家/地区和实验商品的数据,而不是单独计算每个组合的数据。如果您想要调整某个特定国家/地区的价格,我们建议您在设置实验时仅选择该国家/地区。
可以。即使在恢复原价后,您也可以应用变体。
如果实验中的应用内商品带来的收入无法与对照组形成鲜明对比或数据不足,系统便会将实验结果视为无定论。出现这样的结果,可能是因为买家对这两个价格都不为所动。
一般来说,样本量越大,效果越好。如果您计划测试的单一应用内商品受到很多买家的欢迎,那么该应用内商品可能值得单独进行测试。否则,我们建议您同时测试多种应用内商品,以增强实验效果。
如果您有多款应用内商品在一定程度上能够互替(例如,0.99 美元可购买含 60 个应用内代币的商品,而 4.99 美元可购买含 300 个应用内代币的商品),我们建议您一并测试这两款应用内商品,以免出现自相竞争。
一般来说,我们建议您在实验中包含一个变体:以原价应用内商品作为对照组,并以折扣价应用内商品作为变体。一项包含两个变体的实验会将原价应用内商品作为对照组,还会为同一应用内商品设置两个不同的价位;此类实验的结果可能难以解读,获得具有统计显著性的结果所需时间也比只包含一个变体的实验要长。
如果置信区间不包括 0 这一效果值,我们就会认为这是具有统计显著性的结果。我们所说的效果是指对照组的用户消费额与变体的用户消费额之间的差异。
以下示例展示了会得出正例结果的可能置信区间:
以下示例展示了会得出负例结果的可能置信区间:
以下示例展示了无法得出结果(需要更多数据)的可能置信区间:
是,我们将持续监控用户位置信息伪造行为并采取相应措施,以降低对开发者及其商品的影响。
相关内容
- 详细了解价格实验及相关功能。
- 访问 Google Play 学院,完成价格实验课程。