Um líder de crescimento abre o painel depois de um teste de três semanas. A variante está quatro pontos abaixo, a barra de confiança marca setenta e um por cento, e alguém já começou a redigir um post-mortem sobre uma má ideia. O erro real aconteceu na largada, porém, quando a equipe decidiu que uma leitura de setenta e um por cento contava como resultado sequer.
A CXL analisou 28.304 experimentos rodados pela Convert.com e constatou que apenas cerca de um em cada cinco alcançou significância de noventa e cinco por cento; mais da metade não produziu nenhum ganho mensurável. A estatística é desenterrada como prova de que testes são teatro. Lida corretamente, é uma descrição de quão raros são os ganhos genuínos e de quanta paciência exige um programa de testes honesto.
A aritmética que todos pulam na largada
O padrão é noventa e cinco por cento de confiança com oitenta por cento de poder, o que coloca os valores críticos em Z igual a 1.96 e 0.84. Traduzir isso em tráfego é onde o entusiasmo costuma morrer. Com uma taxa de conversão base de dois por cento, detectar um ganho relativo de vinte por cento — até 2.4% — exige cerca de 20.000 visitantes por variante, ou aproximadamente 40.000 no total. Uma equipe que vê mil visitas por semana não está rodando um teste de duas semanas; está rodando um teste de dois meses e chamando isso de quinzena.
A maioria dos experimentos fica na faixa de 1.000 a 10.000 visitantes por variante, e é por isso que o mínimo prático fica entre duas e quatro semanas. Janelas mais curtas não aceleram o aprendizado. Elas reciclam o mesmo tráfego de fim de semana e o ruído num gráfico de aparência mais limpa.
Números do varejo europeu tornam o ponto concreto. A IRP Commerce colocou a base de conversão do e-commerce britânico em 1.68% em setembro de 2025, enquanto a média britânica mais ampla entre sites ficava perto de 3.4% contra aproximadamente 2.9% em todos os setores. Essas diferenças são pequenas em termos absolutos e enormes em termos de tamanho de amostra. Uma passagem de 1.68 para 1.85% é o tipo de ganho que paga um trimestre de engenharia, e é invisível para um teste que para cedo.
| Pergunta | Resposta confortável | Resposta defensável |
|---|---|---|
| Quantos visitantes? | O que o sprint permitir | Calcular a partir da base e do efeito mínimo detectável antes do lançamento |
| Quanto tempo? | Uma semana, como da última vez | Duas a quatro semanas, cobrindo ciclos semanais completos |
| Quando parar? | Quando o gráfico fica verde | No tamanho de amostra pré-registrado |
| O que conta como ganho? | Qualquer movimento positivo | Noventa e cinco por cento de confiança com oitenta por cento de poder |
| Quantos testes? | Quantos der, mal feitos | Cerca de quatro por mês, medidos, com ganhos acumulados |
| E uma derrota? | Apagar o resultado | Manter; ela estreita o espaço de busca |
A armadilha de espiar
Aqui está a parte desconfortável. O comportamento mais danoso em experimentação não são más ideias; é parar cedo porque o gráfico parece animador. Cada nova olhada num resultado acumulado é uma chance a mais de pegar um pico aleatório para cima e declarar vitória. Ao checar repetidamente, uma equipe infla a taxa de falsos positivos muito além dos cinco por cento anunciados, então lança uma variante que não faz nada e se pergunta por que o ganho evaporou em produção.
A disciplina é entediante e específica: fixar o tamanho da amostra, fixar a regra de parada, escrever ambas antes do primeiro visitante chegar e resistir à vontade de interpretar dados parciais. Um resultado que precisa de espiadas para parecer significativo não é resultado.
Por que uma taxa baixa de vitórias é saudável
Se um em cada cinco testes vence, o resultado do programa é governado por quantos testes ele consegue rodar limpidamente. Essa é a parte contraintuitiva do conjunto da CXL. Um programa saudável roda cerca de quatro experimentos por mês com uma taxa de vitórias de aproximadamente dez por cento, o que soa modesto até que o efeito composto seja contabilizado. Equipes que rodam dez ou mais por mês relatam ganhos cumulativos maiores, não porque cada teste seja mais esperto, mas porque compram mais bilhetes com probabilidades melhores do que o acaso.
Isso também reformula os quatro em cada cinco que perdem. Um resultado negativo limpo elimina um ramo da árvore de decisão. Coletados ao longo de um ano, esses negativos formam um mapa do que não move a métrica, e esse mapa vale mais do que uma única vitória sortuda que ninguém consegue reproduzir.
Onde os mini-programas mudam a conta
Um mini-programa não é dono do próprio tráfego; ele o toma emprestado de um app anfitrião, e as campanhas do host chegam em picos em vez de um gotejamento uniforme. Um teste que parece subpotente numa terça comum pode coletar metade da amostra durante uma única promoção do host, exatamente o tipo de mistura que corrói uma leitura limpa. Segmentar os resultados por origem de tráfego não é opcional nesse ambiente.
Um runtime compartilhado que roda em vários hosts oferece uma alavanca mais limpa: expor a mesma configuração de experimento a todos os hosts e reportar resultados por host em vez de misturá-los. A conta de tamanho de amostra continua a mesma, mas a atribuição fica honesta. Rode menos testes, termine-os direito, e deixe a fronteira do host fazer parte do trabalho estatístico.
Fontes
- Guia de otimização da taxa de conversão — fundamentação prática para rodar experimentos disciplinados.
- Tamanho da amostra em testes A/B — como a base e o efeito mínimo detectável determinam o tráfego.
- Calculadora de testes A/B — a aritmética por trás da significância e do poder.
- Limiares estatísticos — referência para confiança e regras de parada.