上一篇 下一篇 分享链接 返回 返回顶部

A/B测试:样本量、显著性与误判

发布人:泮崵 发布时间: 阅读量:7

A/B 测试听起来很专业,做起来却经常变成"改了两周,然后凭感觉选一个"。原因不是工具不好,而是样本量不够、变量太多、结论下得太早。这篇讲怎么让测试真的能给出答案。

先确认你有没有资格测试

A/B 测试的前提是"有足够的流量得到统计显著的结果"。流量不够时,测试只是在看随机波动。

一个粗略的估算:要检测 10% 的相对提升(比如转化率从 2.0% 到 2.2%),每组大约需要几千个转化事件。如果你的转化率是 2%,意味着每组需要几十万次访问——多数中小站点达不到。

日访问量能测什么建议
低于 500只能测"大改动"别做微观测试,做定性优化
500–3000标题、价格、主图等大变量一次一个,跑满两周
3000 以上按钮、文案、布局可并行小测试

流量不足时,正确的替代方案是:录屏观察、用户访谈、竞品拆解、客服问题归纳。这些方法不精确,但比"假测试"可靠。

三个必须遵守的纪律

纪律一:一次只改一个变量。同时改主图和价格,转化率上去了,你不知道是哪个起作用,下次无法复用。

纪律二:事先定好样本量与时长。不能"看到显著就停",那是选择性偏差。测试开始前就写下"跑满 14 天或达到 X 个转化为止"。

纪律三:不要中途改版本。改一次等于重开实验,之前的数据全部作废。

指标怎么选

主指标只能有一个,辅助指标可以有几个。常见的主指标是"加购率"或"转化率",辅助指标是"客单价""跳出率""停留时长"。

为什么主指标只能一个?因为多个指标同时看,总有一个"看起来显著",你会不自觉地挑那个支持自己判断的——这就是典型的 p-hacking。

另外要区分"领先指标"和"滞后指标"。点击率是领先指标,反应快但噪音大;收入和复购是滞后指标,反应慢但更真实。短期测试用领先指标,长期判断用滞后指标。

显著性:别把 55% 当结论

统计显著性常用 95% 置信度作为门槛。通俗解释:如果两个版本其实没差别,你仍然有 5% 的概率看到"有差别"的结果。

实操上要注意三点:

一是看置信区间,不只看点估计。A 版 3.2%、B 版 3.5%,如果置信区间大幅重叠,这个差异不可信。

二是警惕"新颖效应"。用户对新设计的好奇会带来短期提升,两周后回落。所以测试至少跑两周,覆盖一个完整的周循环。

三是注意外部干扰。促销、节假日、广告投放变化都会影响结果。测试期间尽量保持其他变量稳定。

值得测的六个变量(按收益排序)

  • 价格与运费呈现方式(含税总价 vs 分项),通常影响最大。
  • 主图与首屏文案,直接影响加购率。
  • 结账流程步骤数,每减少一步都有明显收益。
  • 行动按钮文案("加入购物车" vs "立即购买")。
  • 评价展示位置与数量。
  • 优惠券提示方式(常驻 vs 折叠)。

不值得测的:页脚布局、社交图标位置、次要页面的配色。这些改动即使有效,绝对值也太小。

工具与实现

三种实现方式:

一是建站系统自带的分流功能。最简单,但可测的层级有限(通常只能测整页或主题)。

二是第三方测试工具。灵活,可改任意元素,但要小心影响页面速度——工具脚本本身可能拖慢加载,让结果失真。

三是自己写分流。最灵活,需要开发资源,但能精确控制埋点与分流比例。

无论哪种,都要确认分流是"同一用户始终看到同一版本",否则用户来回切换会造成数据污染。

测试记录表:让经验可复用

每次测试都记六项:假设、变量、样本量、时长、结果、结论。三个月后回看,你会发现自己对"什么有效"的判断在不断修正——这才是测试真正的价值。

一个常见的发现是:大改动(价格呈现、结账步骤)效果显著,小改动(按钮颜色)几乎无感。做了二十次测试之后,你的优化重心会自然从"细节微调"转向"结构优化"。

常见问题

Q:测试期间要不要停广告?
不要停,但要保持稳定。广告结构大幅调整会污染数据。

Q:A 版和 B 版流量要不要一样?
尽量 50/50。比例偏差会导致统计效力下降,分析更复杂。

Q:测试结果显示没差别怎么办?
也是有用的结论——说明这个变量不是瓶颈,把精力放到别处。记录它,避免半年后重复测同一个东西。

小结

A/B 测试的价值不在"赢的那个版本",而在"建立一套判断机制"。有流量就做严格的测试,没流量就做定性研究,两者都比拍脑袋强。一次一个变量、事先定样本、看置信区间、记录结论——这四条守住,测试就不会白做。

延伸阅读:独立站产品页:十二个模块的转化设计、独立站结账优化:七个环节逐段改、跨境数据看板:五层利润口径。

目录结构
全文
微信公众号 微信公众号
微信客服 微信客服
电子邮箱: admin@qyun.net