Num planning de sprint, a gente perdeu os primeiros quarenta minutos discutindo de que cor ficava o botão de comprar. Verde, dizia o designer. Vermelho, dizia o responsável por crescimento, porque vermelho passa urgência. Ninguém abriu um painel de analítica. Lançamos verde porque o designer falou mais tempo. Um trimestre depois, a gente ainda não sabia se aquilo importava.
Esse é o estado normal dos times de miniprograma. Não hostis aos dados, só nunca organizados para coletá-los. E é pena, porque um miniprograma é uma das superfícies mais fáceis já construídas para rodar um experimento de verdade.
Por que o buraco cultural é mais fundo do que parece
Na web você quase já tem ferramenta de experimentação de presente. Os frameworks trazem bibliotecas de feature flags, os SDK de analítica se conectam sozinhos e sempre tem alguém no time que já rodou um teste. Num miniprograma a pilha é mais fina. Cada anfitrião tem seu próprio formato de build, suas restrições e, muitas vezes, sua própria ideia do que é uma sessão. Times que nunca discutiriam a cor de um botão num site discutem num miniprograma e depois chutam.
A versão honesta: a maioria dos times não tem cultura de teste porque ninguém deu uma, não porque seja burra. O primeiro trabalho é menor do que pensam. Escolha uma decisão, rode um teste limpo e deixe o resultado na mesa na próxima vez que alguém quiser discutir. Quando o número já está na tela, a voz mais alta para de decidir.
| O que vale a pena testar | Sinal que você olha de verdade | A armadilha em que os times caem |
|---|---|---|
| Passos de onboarding | Taxa de chegada ao primeiro valor | Cortar passos que parecem longos mas geram confiança |
| Botão principal | Avanço ao clique da ação chave | Otimizar a cor quando o rótulo é o problema |
| Preço e oferta | Receita por usuário, não só conversão | Escolher a variante que vende mais mas ganha menos |
| Texto de notificação | Reengajamento sem desinstalar | Testar só no envio, nunca numa semana |
| Seleção padrão | Quantos mudam antes de pagar | Achar que o padrão é neutro, quando nunca é |
O tamanho da amostra é a parte que ninguém quer ouvir
Aqui vai a regra desconfortável que a gente repete internalmente: um teste com poucos usuários conta uma história, e a história costuma estar errada. O público de miniprograma pode ser pequeno e em rajadas, principalmente dentro de um anfitrião durante uma campanha. Uma variante que está na frente na terça pode estar atrás na sexta por motivo nenhum relacionado ao seu design.
A falha clássica é espionar. Você olha o painel toda manhã, e quando uma variante assume a frente você a declara vencedora. Isso não é resultado, é uma cara de moeda que você viu até cair do jeito que queria. Decida o tamanho da amostra antes de começar, cumpra e só olhe quando chegar lá. Se não chega a tantos usuários num prazo razoável, diga em voz alta em vez de fingir que um teste de três dias resolveu tudo.
Os falsos positivos são o inimigo mais silencioso. Rode dez testes pequenos e um vai parecer significativo por puro acaso. A gente prefere poucos e limpos a uma fila de vitórias que não se repetem.
Feature flags são o encanamento, não o ponto
Rodar um teste de verdade significa que a variante que o usuário vê é decidida por código, não por você editando a tela à noite. Soa óbvio e é exatamente o que a maioria dos times pula. Você precisa de uma flag, de um jeito estável de dividir um usuário num grupo e de um caminho de log que registre em que grupo ele estava quando converteu.
A divisão importa mais do que se espera. Se a atribuição não gruda, a mesma pessoa pula entre variantes e seus números apodrecem. Se o limite da amostragem aleatória não é o certo, você acaba comparando tráfego de campanha com orgânico e chama isso de conclusão. Deixe o encanamento bobo e correto, e as perguntas interessantes ficam fáceis.
A camada de runtime que ninguém orça
Agora a parte que de fato muda o custo. A maioria dos times monta a camada de experimentação uma vez por anfitrião. A versão do app de mensagens tem suas flags, a de pagamentos tem outro sistema, o app independente um terceiro, e os três vão divergindo. O resultado são três definições diferentes de «convertido» e um responsável por crescimento que não consegue comparar nada.
Um runtime universal muda isso levando uma só camada de experimentação a cada anfitrião que aponta. A lógica de flags, a divisão e o esquema de eventos vivem no runtime, então o mesmo teste roda idêntico tanto se o miniprograma está num app de chat quanto numa carteira. Você escreve o experimento uma vez. Essa é a diferenciação entre testar virar hábito e virar projeto que você reinicia sempre.
A gente tem visto a disciplina pegar melhor quando a ferramenta é compartilhada, não renegociada a cada vez. Cross Mini App é um jeito dessa camada acompanhar o programa em vez de morar no fork de alguém.
Fontes
- web.dev — experimentação e métricas web — textos práticos sobre medir o que usuários fazem de verdade.
- Google Developers — fundamentos web — guia de desempenho e medição confiável.
- Think with Google — pesquisa e dados — estudos sobre comportamento do consumidor e testes.
- StatCounter — estatísticas globais — dados de participação de mercado de onde seus usuários estão.
- MDN — documentação web — referência das APIs de plataforma por trás das suas flags.