一、业务背景

在营销推广过程中，如何更好的优化推荐效果，是个永恒不变的话题。为了更好的优化投放效果，店铺在投放过程中，会有在创意，人群，上做非常多的尝试，以求找到最优的解决方案。但我们也发现，目前的各类测试因为受到时间，竞争环境，流量分配等各种因素影响，我们所测试的结果可能并不是完全置信的。因此超级推荐上线了拆分对比实验的（Abtest）的产品能力，一方面帮助店铺快速创建对比测试计划，另一方面提供最优的测试环境，确保实验结果准确无误。

二、开放节奏

目前产品进入内测阶段，2.27已开放2k客户；

三、产品介绍--拆分对比试验功能

1、什么是拆分对比实验：

拆分对比实验，是帮助商家进行计划推广对比优化的投放工具，系统为实验计划建立公平的A/B环境，避免自身竞争，得到有效实验结论。通过该工具，客户可以在测试新素材、变更定向人群等情况下了解到不同的投放策略下广告的真实表现，从而依据实验结论进行后续的投放优化。

2、拆分对比实验的原理：

客户创建的实验计划，系统会为其开辟公平的对比环境，支持同等时间下对比多个不同的营销策略，主要体现在2方面：

a、流量层面：实验组下的每个实验计划，只能获得自身的1/n流量（n=实验计划个数）。例如：创建的实验组中有2条实验计划，则每个实验计划可以获得自身50%的流量；

b、竞争隔离：相同实验组下的实验计划间会做流量隔离，确保实验计划处于相同的竞争环境，得到真实且准确的实验结果。备注：竞争隔离仅作用于相同实验组下的实验计划，与不同实验组下的实验计划、常规计划之间仍然具有竞争关系；

3、拆分对比实验的优势/特点：

通过拆分对比实验，客户可以高效的进行实验并得到真实准确的实验结论，优势包含以下三方面：

a、环境公平：对于客户创建的实验计划，系统会避免同一实验组内实验计划的内部竞争，保证效果数据可比，得到无偏的实验结论；备注：客户自己的“实验计划 与 普通计划 以及 不同实验组下的实验计划”，仍存在竞争关系；

b、操作高效：通过一次创建，最多同时验证4种投放策略，无需分别创建计划，节省时间，提高操作效率；

c、 结论引导：实验计划的对比，数据表现有差异时作飘红处理，方便客户多维度对比实验效果；随着实验推进，客户可根据“实验完成度”了解目前的实验计划数据是否充分，借助“全量推荐”的系统判定，辅助结果解读并判断是否进行全量操作

4、操作流程简介

1）入口：登录超级推荐首页----选择工具TAB----找到拆分对比试验入口；

2）新建拆分对比实验计划：

a.登录超级推荐后台，点击“工具”即可找到拆分对比实验的入口，点击“拆分对比实验”进行实验计划的新建；

b.进入实验配置页面，可以选择【创意】【定向人群】这两个维度的对比实验计划；

3）实验计划信息设置：

a.选择实验优化目标：您最终想要对比的实验计划数据相对数据结果维度选择。

b.实验计划个数：默认最少2个，最大4个。核心为几个实验计划之间对比。（在此需注意草稿计划数量，如草稿计划已满需先删除后再创建）

c.计划名称：可自由编辑。

d.投放日期：对比的时间周期，因计划需要冷启动以及数据积累，投放时间过短可能导致数据不准确，因此建议投放时间1-2周；

e.计划日预算：每个实验计划的日预算金额，建议设置充足预算，实验效果更置信；

4）宝贝选择及定向人群变量设置：

a.选择推广的宝贝，为确保得到有效结论，单次最多添加 1 个宝贝；

b.人群定向变量选择，系统将根据您之前选择的实验计划数量，生成对应数量的变量选择，您可以对计划选择对应的不同人群，从而以对比定向人群效果。

5）出价/资源位溢价/创意设置：

在选择完核心的实验变量人群后，剩余的出价，资源位溢价以及创意的设置，就与平常计划操作完全一致。系统会将出价，资源位溢价以及创意共同在所有实验计划生效，一个实验组就创建完成了。

6）创意变量实验设置：创意同以上方式类型，核心在于变量变为创意，需要根据不同计划设置不同的创意；

5、实验计划数据解读：

a、实验创建完成后，可以在“工具”→“拆分对比实验”中进行查看相应数据，可进行实验结果的对比分析，如下图：

b、数据解读，系统引导中的“实验完成度”是指根据实验数据累积的充分性，系统会提供“实验完成度”的指标，分值为0分到5分分表代表以下含义：

0分：实验处于“第一天冷启动/等待开始/实验结束/实验已全量”状态；1分-5分：实验数据累积越充分，代表实验对比结论越置信，此时实验完成度越高，反之则越低；

四、产品链接：

产品相关使用说明，可参考：https://shuyuan.taobao.com/#!/knowledge/detail/index?id=5378

五、FAQ

Q1：拆分对比实验计划支持修改吗？

A1：可以修改。您可以选择工具TAB--找到拆分对比实验，对已创建的单变量实验计划，支持“创意”、“出价”编辑， 但是目前 暂不支持“定向人群”的编辑，如果针对进展中的实验频繁调整“定向人群”，会使得实验结果复杂度上升，难以得到有效结论。

Q2：哪些情况下建议对拆分对比实验进行修改？

A2：当创意状态为“审核拒绝”，实验无法进行，建议修改；当出价设置不合理 or 市场竞争环境发生变化，导致实验计划获得流量偏低，建议修改；

Q3：拆分对比实验支持复制计划信息吗？

A3：待启动以及在进行的实验，为确保实验对比周期的一致性，暂不可复制，手动结束或自动结束的实验计划，将变为常规计划，支持复制，操作方式与常规计划一致；

Q4：拆分对比实验的“全量”指的是什么？

A4：实验过程中，每条实验计划只能获得自身1/n的流量（n=实验计划个数），当客户已经得到了实验结论时，即可选择将实验全量，实验中的计划会由1/n的流量变为100%的流量。同时，全量也意味竞争隔离失效，全量的实验计划与常规计划一致，存在相互竞争；

Q5：我也先想要开通拆分对比实验功能？

A5：亲，很抱歉，目前该功能在内测阶段，暂无法申请，建议后续关注；

Q6：我能新建多少个拆分对比实验计划？

A6：目前最多支持4个实验计划同时在线，最少需要新建2个，如草稿计划已满需先删除后再创建；

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 yubaibai360@qq.com 举报，一经查实，本站将立刻删除。