有一次 sprint 规划会,头四十分钟都在吵购买按钮用什么颜色。设计师说绿色,增长负责人说红色更有紧迫感。没人打开数据看板。最后上了绿色,因为设计师说得最久。一个季度过去,我们还是不知道这到底重不重要。

那是小程序团队的正常状态。不是反感数据,而是从没被组织起来去收集数据。挺可惜的,因为小程序其实是史上最容易跑真实实验的界面之一。

为什么文化上的缺口比看起来更大

网页上你几乎默认就有实验工具。框架自带 feature flag 库,分析 SDK 自己就接好了,团队里总有人跑过测试。到了小程序,技术栈薄得多。每家宿主有自己的构建格式、自己的限制,还常常对「什么叫一次会话」有自己的理解。那些在网站上绝不会吵按钮颜色的团队,到了小程序里照样吵,然后靠猜。

说白了,大多数团队没有测试文化,是因为没人给过他们一个,不是因为他们笨。第一件事比大家想的简单:选一个决定,跑一次干净的测试,等下次有人想争论时,让结果摆在桌上。数字已经在屏幕上,嗓门最大的人就拍不了板。

值得测的东西你真正在看什么信号团队最容易掉的坑
新手引导步骤走到首次价值完成的占比砍掉「感觉很长」但其实建立信任的步骤
主按钮点击进入关键动作的通过率在调颜色,其实标签才是真问题
价格与优惠每用户收入,不只转化率选了卖得多但赚得少的那个版本
通知文案回流且不卸载只在发送那一刻测,从不在一周跨度上测
默认选项付款前有多少人改掉它以为默认是中立的,其实它从来不是

样本量是不想听的那部分

有句话我们在内部反复讲:样本太少的测试会给你编一个故事,而这个故事通常是错的。小程序用户量可能很小,而且一阵一阵的,尤其在某家宿主搞活动期间。周二领先的版本,周五可能就因为跟你的设计毫无关系的原因落后了。

经典的失败叫偷看。你每天早上看一眼看板,哪个版本一旦领先就宣布它赢。那不是结果,那是你看到硬币落到想要的那面才停手。开始前先定好样本量,承诺跑满,到了才看。如果在合理时间内凑不到那么多人,就大声说出来,别假装一个三天的测试已经下了定论。

假阳性是更安静的敌人。跑十个的小测试,其中一个纯粹靠运气看起来显著。我们宁可少跑、跑干净,也不要一堆不会重复的「胜利」。

功能开关是水管,不是重点

跑真实验证,意味着用户看到的版本由代码决定,而不是你半夜改屏幕。这听起来理所当然,却恰恰是大多数团队跳过的事。你需要一个开关、一个把用户稳定分进某组的办法,以及一条记录「他转化时属于哪组」的日志路径。

分桶比大家以为的重要。如果分配不粘人,同一个人会在版本间反复横跳,数字就烂了。如果随机化的边界不对,你最后拿活动流量和有机流量比,还管那叫结论。把水管做得无聊又正确,有意思的问题才变简单。

没人给它排期的那层 runtime

现在说到真正改变成本的部分。大多数团队每个宿主各搭一套实验层。聊天 App 那版有自己的开关,支付 App 那版是另一套,独立 App 又是一套,然后三套全都慢慢走样。结果就是三种互不相同的「转化」定义,以及一个什么都对不齐的增长负责人。

通用 runtime 改了这点:它把同一套实验层带到它指向的每一家宿主。开关逻辑、分桶方式、事件结构都活在 runtime 里,所以同一个测试,不管小程序落在聊天软件还是钱包里,都跑得一模一样。实验你只写一次。这就是测试能成为习惯、而不是一个不断重来的项目之间的差别。

我们发现,当工具是共享的、而不是每次重新谈一遍的时候,纪律更容易坚持。Cross Mini App 是让这层跟着程序走、而不是躺在某人 fork 里的其中一种方式。

参考来源