¿Por qué tus pruebas A/B te siguen mintiendo?
Un equipo lanza un nuevo onboarding, mira el dashboard dos días, ve un número verde y declara la victoria. Luego la "victoria" se evapora en la semana tres y nadie sabe explicar por qué. El experimento no falló —nunca fue real. Esto es cómo una prueba miente en silencio y qué hace que un resultado merezca confianza.
Q: ¿Por qué "veo una mejora, así que lo lanzo" es el hábito más caro en móvil?
Es el problema de mirar (peeking). Si revisas una prueba a diario y la detienes en cuanto cruza la significancia, tu tasa real de falsos positivos sube del 5% nominal a más del 40%. No estás probando una hipótesis, estás cazando el día en que el ruido pareció señal. Luego las comparaciones múltiples: miraste diez métricas y una se encendió —eso es esperable por puro azar. Y el efecto novedad: los jugadores tocan lo nuevo una semana porque es nuevo, no porque sea mejor. Una "mejora" que "ves" el día tres suele ser uno de esos tres disfrazado.
Q: ¿Cómo dimensionas una prueba antes de correrla?
Con un análisis de potencia, no con un tiro. Necesitas tu tasa de conversión base, el efecto mínimo que te importa (el MDE), tu nivel de significancia y tu tasa tolerada de falsos negativos —y esos cuatro arrojan cuántos usuarios por brazo y cuántos días. ¿Sin base? No pruebes aún; junta datos. Un juego casual con retención D1 de 30% que quiere detectar un punto necesita decenas de miles de usuarios por brazo, algo que un equipo pequeño no llena en una ventana razonable —así que o pruebas una palanca más grande o aceptas una carrera larga. "Tengo 100k DAU" no es un tamaño de muestra; lo que cuenta es cuántos caen en cada variante tras el split.
Q: ¿Qué es un holdout y qué es un confusor?
Un holdout es una porción de usuarios que nunca recibe el experimento, para que midas los efectos a largo plazo y de red —el derrame donde cambiar un grupo mueve en silencio una métrica compartida. Un confusor es algo que pasa al mismo tiempo: un feriado, una oleada de UA, un lanzamiento de versión. Tu variante "ganó" quizá solo porque fue Navidad. La pregunta novedad-vs-retención-real solo se responde alargando la ventana y mirando el holdout. Sin eso, mediste correlación con un calendario que no contaste.
Q: ¿Cómo corre experimentos un equipo pequeño sin engañarse?
Registra la hipótesis y la regla de parada antes de lanzar, y no las abandonas porque el día dos se vio bonito. Usa pruebas secuenciales que gastan bien el presupuesto de error en vez de mirar a ciegas. Mira métricas de protección —tasa de crash, retención, la distribución de ARPU, no un promedio feliz. Y resiste probar veinte micro-cambios esperando que uno pegue; una apuesta grande y bien formada vence a una pila de micro-pruebas infra-potenciadas que cada una miente un poco.
| Error | Qué hace | La corrección |
|---|---|---|
| Mirar y parar | falsos positivos >40% | regla de parada registrada |
| Muchas métricas, una "gana" | el azar enciende una | corregir comparaciones |
| Sin base | no puedes dimensionar | junta datos primero |
| Ignorar confusores | creditas al calendario | holdout + ventana más larga |
