一个增长负责人打开看板。三周的测试结束了,实验组低了百分之四,置信度停在百分之七十一,已经有人开始起草关于失败创意的复盘。真正的错误发生在立项那天——团队把百分之七十一的读数,当成了结果。

有机构梳理了 Convert.com 平台上三万零三百零四个实验,发现只有约五分之一达到百分之九十五显著性,超过一半根本没有可测量的提升。这组数字常被搬出来,用来证明测试只是表演。读对了,它其实是在描述两件事:真实的胜利有多稀有,以及诚实的测试需要多少耐心。

立项时被跳过的算术

通行标准是百分之九十五置信度、百分之八十统计功效,对应的临界值取一点九六和零点八四。把这套标准换算成流量,热情通常就凉了。基线转化率百分之二,想识别百分之二十的相对提升——升到百分之二点四——每个变体大约需要两万访客,合计四万。一个每周只有一千次访问的团队,做的不是两周测试,而是两个月测试,只是把它叫作两周。

多数实验落在每变体一千到一万访客的区间,这也是实操下限设在两到四周的原因。更短的窗口不会加快学习,只会把同样的周末流量和噪声,重新包装成一张更漂亮的图。

英国零售数据让这件事更具体。IRP Commerce 在二零二五年九月给出英国电商转化率基线百分之一点六八,而英国全站均值接近百分之三点四,全行业约百分之二点九。这些差距在绝对值上很小,换算成样本量却很大。从百分之一点六八升到百分之一点八五,是足以覆盖一个季度工程投入的胜利,但对一个提前停手的测试来说,它根本看不见。

问题舒服的答案站得住的答案
多少访客?看排期剩余立项前由基线和最小可检测效应算出来
跑多久?一周,跟上次一样两到四周,覆盖完整的周周期
何时停?曲线变绿就停到达预先登记的样本量
什么算赢?任何正增长百分之九十五置信、百分之八十功效
每月测几个?越多越好,糙一点无妨约四个,测干净,赢了存档
输了怎么办?删掉结果留着,它缩小了搜索空间

偷看结果的陷阱

这里有个不太舒服的事实。实验里最有害的行为不是创意差,而是看到曲线好看就提前停手。每多看一次累积结果,就多一次抓住随机上扬、宣布胜利的机会。反复查看,会把误报率远远推高到百分之五以上,然后上线一个毫无作用的变体,纳闷提升为什么在生产环境里蒸发了。

纪律枯燥而具体:样本量定死,停止规则定死,第一个访客到来前把两者写下来,忍住不解读中间数据。需要靠偷看才显得显著的结果,不是结果。

低胜率反而是健康的

如果五次里只赢一次,项目的产出就取决于能干净地跑多少次测试。这是那组数据反直觉的地方。健康的节奏是每月约四次实验、胜率约百分之十,听起来不起眼,但把复利算进去就不同了。每月跑十次以上的团队,累计收益更大——不是每次测试更聪明,而是用比随机更好的赔率,买了更多张票。

这也重新定义了那四次失败。干净的阴性结果,砍掉了决策树的一个分支。攒够一年,这些阴性结果就成了一张写着什么推不动指标的地图,而这张图比一次没人能复现的幸运胜利更值钱。

小程序改变了算术

小程序不拥有流量,它从宿主应用借流量,而宿主活动是以尖峰形式到来的,不是均匀滴灌。一个在普通周二看起来样本不足的测试,可能在宿主的一次促销里收满一半样本——这正是污染干净读数的那种混合。按流量来源拆分结果,在这种环境里不是可选项。

一个能跨多家宿主运行的通用运行时,给了团队更干净的杠杆:把同一份实验配置暴露给每家宿主,然后分宿主报告结果,而不是混在一起。样本量的算术不变,归因却诚实了。少跑测试,跑完整,让宿主边界分担一部分统计工作。

参考来源