Num planning de sprint, a gente perdeu os primeiros quarenta minutos discutindo de que cor ficava o botão de comprar. Verde, dizia o designer. Vermelho, dizia o responsável por crescimento, porque vermelho passa urgência. Ninguém abriu um painel de analítica. Lançamos verde porque o designer falou mais tempo. Um trimestre depois, a gente ainda não sabia se aquilo importava.

Esse é o estado normal dos times de miniprograma. Não hostis aos dados, só nunca organizados para coletá-los. E é pena, porque um miniprograma é uma das superfícies mais fáceis já construídas para rodar um experimento de verdade.

Por que o buraco cultural é mais fundo do que parece

Na web você quase já tem ferramenta de experimentação de presente. Os frameworks trazem bibliotecas de feature flags, os SDK de analítica se conectam sozinhos e sempre tem alguém no time que já rodou um teste. Num miniprograma a pilha é mais fina. Cada anfitrião tem seu próprio formato de build, suas restrições e, muitas vezes, sua própria ideia do que é uma sessão. Times que nunca discutiriam a cor de um botão num site discutem num miniprograma e depois chutam.

A versão honesta: a maioria dos times não tem cultura de teste porque ninguém deu uma, não porque seja burra. O primeiro trabalho é menor do que pensam. Escolha uma decisão, rode um teste limpo e deixe o resultado na mesa na próxima vez que alguém quiser discutir. Quando o número já está na tela, a voz mais alta para de decidir.

O que vale a pena testarSinal que você olha de verdadeA armadilha em que os times caem
Passos de onboardingTaxa de chegada ao primeiro valorCortar passos que parecem longos mas geram confiança
Botão principalAvanço ao clique da ação chaveOtimizar a cor quando o rótulo é o problema
Preço e ofertaReceita por usuário, não só conversãoEscolher a variante que vende mais mas ganha menos
Texto de notificaçãoReengajamento sem desinstalarTestar só no envio, nunca numa semana
Seleção padrãoQuantos mudam antes de pagarAchar que o padrão é neutro, quando nunca é

O tamanho da amostra é a parte que ninguém quer ouvir

Aqui vai a regra desconfortável que a gente repete internalmente: um teste com poucos usuários conta uma história, e a história costuma estar errada. O público de miniprograma pode ser pequeno e em rajadas, principalmente dentro de um anfitrião durante uma campanha. Uma variante que está na frente na terça pode estar atrás na sexta por motivo nenhum relacionado ao seu design.

A falha clássica é espionar. Você olha o painel toda manhã, e quando uma variante assume a frente você a declara vencedora. Isso não é resultado, é uma cara de moeda que você viu até cair do jeito que queria. Decida o tamanho da amostra antes de começar, cumpra e só olhe quando chegar lá. Se não chega a tantos usuários num prazo razoável, diga em voz alta em vez de fingir que um teste de três dias resolveu tudo.

Os falsos positivos são o inimigo mais silencioso. Rode dez testes pequenos e um vai parecer significativo por puro acaso. A gente prefere poucos e limpos a uma fila de vitórias que não se repetem.

Feature flags são o encanamento, não o ponto

Rodar um teste de verdade significa que a variante que o usuário vê é decidida por código, não por você editando a tela à noite. Soa óbvio e é exatamente o que a maioria dos times pula. Você precisa de uma flag, de um jeito estável de dividir um usuário num grupo e de um caminho de log que registre em que grupo ele estava quando converteu.

A divisão importa mais do que se espera. Se a atribuição não gruda, a mesma pessoa pula entre variantes e seus números apodrecem. Se o limite da amostragem aleatória não é o certo, você acaba comparando tráfego de campanha com orgânico e chama isso de conclusão. Deixe o encanamento bobo e correto, e as perguntas interessantes ficam fáceis.

A camada de runtime que ninguém orça

Agora a parte que de fato muda o custo. A maioria dos times monta a camada de experimentação uma vez por anfitrião. A versão do app de mensagens tem suas flags, a de pagamentos tem outro sistema, o app independente um terceiro, e os três vão divergindo. O resultado são três definições diferentes de «convertido» e um responsável por crescimento que não consegue comparar nada.

Um runtime universal muda isso levando uma só camada de experimentação a cada anfitrião que aponta. A lógica de flags, a divisão e o esquema de eventos vivem no runtime, então o mesmo teste roda idêntico tanto se o miniprograma está num app de chat quanto numa carteira. Você escreve o experimento uma vez. Essa é a diferenciação entre testar virar hábito e virar projeto que você reinicia sempre.

A gente tem visto a disciplina pegar melhor quando a ferramenta é compartilhada, não renegociada a cada vez. Cross Mini App é um jeito dessa camada acompanhar o programa em vez de morar no fork de alguém.

Fontes