AB测试版本数据不可信?做好流量分配是关键!

5 9月
互联网行业内卷严重,首先需要提升的是产品竞争力。此时,产品优化迭代至关重要,直接影响到用户的产品体验以及后续的转化效果。
企业在提升用户体验中,经常需要在多个优化方案中选择出优质的版本。例如,在App或网页端页面中设置两个不同的产品文案版本,然后通过AB测试发布到线上,分配流量让用户随机访问,观察二者点击率的差异,从而评估出哪个文案效果好。
AB测试中面临的问题:忽略流量分配环节,流量比例不均匀

试验配置人员在AB测试时会忽略掉流量分配环节。即在进行AB测试时,经常会忽视CSM(客户成功经理)与技术支持培训的试验要求,非均匀地分配流量进行AB测试版本。

例如,给测试版本设定了20%的流量,原始版本设定60%的流量进行AB实验。此时样本特征已经潜移默化的发生了变化,当各个版本之间的样本数已不再均匀,甚至有较大的流量比例差异时,就会导致AB测试结果数据波动,进而影响统计功效的计算,也就无法获得科学可信的试验结论。

AppAdhoc支持灵活调整流量分配比例

针对流量分配的问题,AppAdhoc A/B Testing已支持调整总流量来平均调整版本流量,同时也支持对各个版本分别调整流量。这样设计的初衷是便于产品经理和营销人员在做A/B测试的过程中,根据指标表现,及时调整各个版本的流量比例,实现最优版本的流量分配。

在AB测试中,为了减少影响范围以及避免新功能上线后出现的风险问题,通常会采用小部分流量进行测试。此时可以借助AppAdhoc A/B Testing平台创建一个原始版本以及一个新功能的测试版本,将各个版本的流量逐步、分阶段等比例的调整至预期。

例如,对一个新的产品功能测试,科学的流量分配方式是让流量平均进入到试验中。在分配流量时,从总流量中分出相同的流量比例分别进入到原始版本、试验版本1中,在确保原始版本稳定运行的同时,也能够将流量平均分配进入到AB测试版本,科学评估试验结果。当测试一段时间后,产品经理也可以根据数据表现,逐步加大相同的流量比例进入各个版本,让试验版本更快速突显差异,缩短测试周期,及时找到优质的版本。

如何快速排除流量分配不均问题?

当流量分配不均时,AB测试得出的结果是不可信的,造成产品朝着错误的方向优化,影响到整体业务的增长能力。那么如何确定AB测试中是否存在流量分配不均的问题?

排查操作【日志】是常规的解决方法。当数据分析师或A/B测试的客户专属CSM等角色在辅助产品经理或营销人员进行试验解读过程中,往往需要翻看【日志】来确认是否存在流量分配不均的行为。但【日志】操作记录一般较为分散复杂,查找起来尤为困难,且并不能直观查看到问题所在,最终导致整个项目不能快速推进。

流量调整记录】功能上线快速查看历史流量分配情况

AppAdhoc A/B Testing平台新增【流量调整记录】图表功能,基于【日志】模块,以“图表”形式记录AB测试人员在试验生命周期内的流量调整行为,能够快速定位流量分配不均等问题,便于及时调整试验。“

 提高可读性,直观发现流量分配问题

【流量调整记录】图表功能以“图表”形式展示全试验周期的流量调整的过程,通过不同颜色来展现实验版本的流量占比,产品经理和营销人员能够清晰直观地了解每次流量调整的比例。

比如电商产品的详情页改版,需要对多个页面版本进行AB测试,其目的是提高商品详情页的转化率。营销人员为了减少试验带来的影响,在不同时段下调整流量比例进入试验版本中,此时就极易出现流量分配不均的问题。由于操作过于频繁,流量调整记录也随之增加,变得更加复杂,无法在短时间内了解每次流量分配情况。

现在,营销人员可以通过【流量调整记录】功能,查看到所有流量调整行为记录,确认是否存在错误的流量调整行为,并在图表中直接了解到具体的流量分配比例,及时修正流量分配比例,确保流量划分的均匀性。

辅助试验解读,对比分析试验走势

一个完整的AB测试流程里,除了完成前期的AB测试配置,在开启AB测试中、后期都需要及时分析测试数据,从而及时了解各个测试版本的流量走势和转化率等。

借助【流量调整记录】功能,数据分析师或AppAdhoc A/B Testing平台客户的专属CSM在出具试验数据解读报告时,可结合【流量调整记录】功能的流量分配数据,更全面分析AB测试各个阶段的效果,科学判断试验结果。

另外,将【流量调整记录】与【流量走势图】进行关联分析,快速溯源数据波动原因对比分析出流量调整后的样本走势是否符合预期,便于下一步有针对性的调整测试策略。

AB测试是一个复杂且严谨的优化方法,当你无法基于可靠的数据衡量测试效果时,你就无法优化方案。在流量分配上要求做到均匀分配,只有在正确数据的支持和指引下,才能科学评估试验结果,更准确的完成这项重要的工作。