给你的试验加个钟,AB测试也能定时启停!

5 9月

俗话说得好,AB测试搞得好,产品优化没烦恼!但现实中不少AB测试由于各种原因,不能在原先的计划时间内完成。例如下面这些场景:

场景一

A:老铁,记得在6月18日(周六)晚上6:18分准时上线某某功能,辛苦加下班儿~

B:……

 

场景二

A:情人节当天零点记得准时更换商城首页的Logo,对了对了,一天以后的零点也别忘了记得再换回原来的Logo~

B:……

 

场景三

A:说好的线上落地页试验版本投放到上周五就要下线,这都周四了,落地页还没变过来?

B:……

想必大家都有遇到类似的工作场景。你的工作精力是有限的,而遇到紧急的工作时,往往难以在有限的精力和时间里完成。特别是在节日等营销节点期间,UI改版发布、功能更新上线等多项工作都聚集在一起,忙得手忙脚乱,AB测试时常无法在计划时间内按时上线或停止。

热云数据 Appadhoc A/B Testing 平台重磅上线“定时计划”功能,让AB测试配置更便捷、好用。

通过Appadhoc 定时计划功能,测试人员可对AB试验设定预期的自动执行计划,包括试验开始时间和结束时间,且两个起止时间模块之间,既相互关联,又相互制约。AB测试人员可以根据试验需求灵活配置,能够在不同的业务场景下开启AB测试,能够有效释放人力,灵活控制试验节奏。

灵活可控

 

定时计划功能模块包含了自动运行试验的开始时间,以及自动结束试验的时间。两个时间节点的设置可以根据不同的业务场景按需配置。

同时,对已设置定时计划的AB测试,我们综合考虑到了多种实际的使用场景,为您的试验计划提供多种突发情况的应对手段,更灵活地把控AB测试节奏。

 

开始时间:

●  按照设定时间自动运行试验;

●  在自动运行倒计时结束以前,可重新调整【开始时间】;

●  忽略已设定的【开始时间】,立即手动运行试验。

结束时间

●  按照设定的结束时间自动停止试验;

● 在自动停止倒计时结束以前,可重新调整【结束时间】;

● 忽略已设定的【结束时间】,立即手动停止试验。

 

精准控制

定时计划的最小可执行粒度为分钟级,一般AB测试平台多以天级来设置试验开启时间。对于AB测的时间节点有严格要求的业务场景,例如整点抢购,限时推广等等,就无法做到精细化的定时开启。借助Appadhoc A/B Testing平台将能够以分钟级别的维度进行配置,可以很好地满足业务场景需求。

 

高效贴心

对于已经设定的定时计划,在Appadhoc A/B Testing平台可将AB测试按照既定的计划自动执行,无需测试人员干预。另外,已设定好的定时计划,会在试验运行BTN(按钮)上方展示倒计时间,直接查看到试验的计划时间,时刻掌控AB试验进度。

哪些场景适用?

 

01   

普适场景

例如页面的颜色、文案、图片、价格等普遍的AB测试,可基于既定的A/B测试方案,设置相应的时间节点,AB试验会自动零偏差地执行。

① 设定试验自动开始或自动结束的时间

② 仅设定试验自动开始的时间,

③ 仅设定试验自动结束的时间

02   

落地页优化

落地页AB测试是比较常见的场景,借助A/B测试平台出众的分流能力,将推广投放(如落地页)等活动计划在AB测试平台进行实现,不论是闭环的限时活动,亦或是开环的非限时活动,可以满足基本的投放业务场景。

03   

新功能上线

Appadhoc A/B Testing平台在不使用灰度发布模块的功能情况下,也可以实现灰度发布的效果。采用定时计划功能,设定预期的功能上线时间后,系统可自动上线功能。在后继的功能上线过程中,如果发现指标转化异常或出现功能 Bug,还可以即时调整流量策略,达到快速回滚原始版本的效果,降低试验风险,最大程度避免损失。

04    

推荐算法效果测试

某电商平台,推出了以个性化推荐系统为核心的“精选推荐”功能。在上线初期,推荐算法模型需要不断的优化才能到达预期的效果。新的推荐算法模型上线前,时常进行AB测试,以此判断新模型是否能够显著提升推荐的准确率。测试人员通过 Appadhoc A/B Testing 平台将原始推荐方案与新推荐方案作为不同的试验版本进行AB测试,配置好试验的自动开始时间后,即可完成推荐算法的自动运行。对于有周期限制的推荐算法验证的场景,也支持配置试验的自动停止时间,更好地把控推荐算法测试节奏,及时验证效果。

05    

节日主题自动切换

节日营销是各大品牌主营销的必争之地。例如在中秋节、圣诞节、春节等节日期间,品牌主会对产品页面进行改版,上线节日相关的UI主题,营造节日的气氛。而当节日过后,技术人员还得重新恢复原始版本页面进行展示,在时间上不能灵活安排,需要技术人员按照规定时间节点盯着后台操作。

在Appadhoc A/B Testing平台中,可将日常UI主题作为原始版本,同时把即将到来的节日UI主题作为试验版本,提前配置好试验自动运行与自动结束的时间节点,以此达到节日当天UI主题自动切换的效果,并且在节日过后,自动恢复为原有的主题样式,省心又省力。