A/B测试:样本量、显著性与误判
A/B 测试听起来很专业,做起来却经常变成"改了两周,然后凭感觉选一个"。原因不是工具不好,而是样本量不够、变量太多、结论下得太早。这篇讲怎么让测试真的能给出答案。
先确认你有没有资格测试
A/B 测试的前提是"有足够的流量得到统计显著的结果"。流量不够时,测试只是在看随机波动。
一个粗略的估算:要检测 10% 的相对提升(比如转化率从 2.0% 到 2.2%),每组大约需要几千个转化事件。如果你的转化率是 2%,意味着每组需要几十万次访问——多数中小站点达不到。
| 日访问量 | 能测什么 | 建议 |
|---|---|---|
| 低于 500 | 只能测"大改动" | 别做微观测试,做定性优化 |
| 500–3000 | 标题、价格、主图等大变量 | 一次一个,跑满两周 |
| 3000 以上 | 按钮、文案、布局 | 可并行小测试 |
流量不足时,正确的替代方案是:录屏观察、用户访谈、竞品拆解、客服问题归纳。这些方法不精确,但比"假测试"可靠。
三个必须遵守的纪律
纪律一:一次只改一个变量。同时改主图和价格,转化率上去了,你不知道是哪个起作用,下次无法复用。
纪律二:事先定好样本量与时长。不能"看到显著就停",那是选择性偏差。测试开始前就写下"跑满 14 天或达到 X 个转化为止"。
纪律三:不要中途改版本。改一次等于重开实验,之前的数据全部作废。
指标怎么选
主指标只能有一个,辅助指标可以有几个。常见的主指标是"加购率"或"转化率",辅助指标是"客单价""跳出率""停留时长"。
为什么主指标只能一个?因为多个指标同时看,总有一个"看起来显著",你会不自觉地挑那个支持自己判断的——这就是典型的 p-hacking。
另外要区分"领先指标"和"滞后指标"。点击率是领先指标,反应快但噪音大;收入和复购是滞后指标,反应慢但更真实。短期测试用领先指标,长期判断用滞后指标。
显著性:别把 55% 当结论
统计显著性常用 95% 置信度作为门槛。通俗解释:如果两个版本其实没差别,你仍然有 5% 的概率看到"有差别"的结果。
实操上要注意三点:
一是看置信区间,不只看点估计。A 版 3.2%、B 版 3.5%,如果置信区间大幅重叠,这个差异不可信。
二是警惕"新颖效应"。用户对新设计的好奇会带来短期提升,两周后回落。所以测试至少跑两周,覆盖一个完整的周循环。
三是注意外部干扰。促销、节假日、广告投放变化都会影响结果。测试期间尽量保持其他变量稳定。
值得测的六个变量(按收益排序)
- 价格与运费呈现方式(含税总价 vs 分项),通常影响最大。
- 主图与首屏文案,直接影响加购率。
- 结账流程步骤数,每减少一步都有明显收益。
- 行动按钮文案("加入购物车" vs "立即购买")。
- 评价展示位置与数量。
- 优惠券提示方式(常驻 vs 折叠)。
不值得测的:页脚布局、社交图标位置、次要页面的配色。这些改动即使有效,绝对值也太小。
工具与实现
三种实现方式:
一是建站系统自带的分流功能。最简单,但可测的层级有限(通常只能测整页或主题)。
二是第三方测试工具。灵活,可改任意元素,但要小心影响页面速度——工具脚本本身可能拖慢加载,让结果失真。
三是自己写分流。最灵活,需要开发资源,但能精确控制埋点与分流比例。
无论哪种,都要确认分流是"同一用户始终看到同一版本",否则用户来回切换会造成数据污染。
测试记录表:让经验可复用
每次测试都记六项:假设、变量、样本量、时长、结果、结论。三个月后回看,你会发现自己对"什么有效"的判断在不断修正——这才是测试真正的价值。
一个常见的发现是:大改动(价格呈现、结账步骤)效果显著,小改动(按钮颜色)几乎无感。做了二十次测试之后,你的优化重心会自然从"细节微调"转向"结构优化"。
常见问题
Q:测试期间要不要停广告?
不要停,但要保持稳定。广告结构大幅调整会污染数据。
Q:A 版和 B 版流量要不要一样?
尽量 50/50。比例偏差会导致统计效力下降,分析更复杂。
Q:测试结果显示没差别怎么办?
也是有用的结论——说明这个变量不是瓶颈,把精力放到别处。记录它,避免半年后重复测同一个东西。
小结
A/B 测试的价值不在"赢的那个版本",而在"建立一套判断机制"。有流量就做严格的测试,没流量就做定性研究,两者都比拍脑袋强。一次一个变量、事先定样本、看置信区间、记录结论——这四条守住,测试就不会白做。