Por que seus testes A/B continuam mentindo para você?
Um time lança um novo onboarding, olha o dashboard dois dias, vê um número verde e declara vitória. Aí a "vitória" evapora na semana três e ninguém sabe explicar por quê. O experimento não falhou —nunca foi real. Isto é como um teste mente em silêncio e o que faz um resultado merecer confiança.
Q: Por que "vejo uma melhora, então eu lanço" é o hábito mais caro no mobile?
É o problema de espiar (peeking). Se você confere um teste todo dia e o para no instante em que cruza a significância, sua taxa real de falsos positivos sobe de 5% nominais para mais de 40%. Você não está testando uma hipótese, está caçando o dia em que o ruído pareceu sinal. Depois as comparações múltiplas: você olhou dez métricas e uma acendeu —isso é esperado por puro acaso. E o efeito novidade: os jogadores cutucam o novo por uma semana porque é novo, não porque é melhor. Uma "melhora" que você "vê" no dia três costuma ser um desses três disfarçado.
Q: Como você dimensiona um teste antes de rodar?
Com uma análise de poder, não com palpite. Você precisa da sua taxa de conversão base, do menor efeito que te importa (o MDE), do seu nível de significância e da taxa de falsos negativos que tolera —e esses quatro cuspem quantos usuários por braço e quantos dias. Sem base? Não teste ainda; junte dados. Um jogo casual com retenção D1 de 30% que quer detectar um ponto precisa de dezenas de milhares de usuários por braço, o que um time pequeno não alimenta numa janela razoável —então ou testa uma alavanca maior ou aceita uma corrida longa. "Tenho 100k DAU" não é tamanho de amostra; o que conta é quantos caem em cada variante após o split.
Q: O que é um holdout e o que é um confundidor?
Um holdout é uma fatia de usuários que nunca recebe o experimento, para que você meça os efeitos de longo prazo e de rede —o derramamento onde mudar um grupo move sorrateiramente uma métrica compartilhada. Um confundidor é algo que acontece ao mesmo tempo: um feriado, uma leva de UA, um lançamento de versão. Sua variante "ganhou" talvez só porque foi Natal. A pergunta novidade-vs-retenção-real só se responde estendendo a janela e olhando o holdout. Sem isso, você mediu correlação com um calendário que não contou.
Q: Como um time pequeno roda experimentos sem se enganar?
Registre a hipótese e a regra de parada antes de lançar, e não as abandona porque o dia dois ficou bonito. Use testes sequenciais que gastam bem o orçamento de erro em vez de espiar ingenuamente. Olhe métricas de guarda —taxa de crash, retenção, a distribuição de ARPU, não uma média feliz. E resista a testar vinte micro-mudanças torcendo para uma acertar; uma aposta grande e bem formada vence uma pilha de micro-testes subalimentados que cada um mente um pouco.
| Erro | O que faz | A correção |
|---|---|---|
| Espia e para | falsos positivos >40% | regra de parada registrada |
| Muitas métricas, uma "ganha" | o acaso acende uma | corrigir comparações |
| Sem base | não dá para dimensionar | junte dados primeiro |
| Ignorar confundidores | credita o calendário | holdout + janela maior |
