El responsable de crecimiento abre el panel después de una prueba de tres semanas. La variante baja un 4 %, la barra de confianza marca el 71 % y alguien ya ha empezado a redactar el informe forense de una mala idea. El error real ocurrió al arrancar, cuando el equipo decidió que una lectura del 71 % contaba como resultado.

CXL analizó 28,304 experimentos ejecutados en Convert.com y encontró que solo una de cada cinco alcanzaba el 95 % de significancia; más de la mitad no produjo ninguna mejora medible. La estadística se saca a relucir como prueba de que las pruebas son teatro. Leída bien, es una descripción de lo poco comunes que son las victorias reales y de cuánta paciencia exige un programa de pruebas honesto.

La aritmética que todo el mundo se salta al arrancar

El listón estándar es el 95 % de confianza con un 80 % de potencia, lo que sitúa los valores críticos en Z igual a 1.96 y 0.84. Traducir eso a tráfico es donde el entusiasmo suele morir. Con una tasa de conversión base del 2 %, detectar una mejora relativa del 20 % — hasta el 2.4 % — exige unos 20,000 visitantes por variante, o unos 40,000 en total. Un equipo que ve mil visitas por semana no está haciendo una prueba de dos semanas; está haciendo una prueba de dos meses y llamándola quincena.

La mayoría de los experimentos caen en la franja de 1,000 a 10,000 visitantes por variante, y por eso el mínimo práctico se sitúa entre dos y cuatro semanas. Las ventanas más cortas no aceleran el aprendizaje. Reciclan el mismo tráfico de fin de semana y el mismo ruido en un gráfico de aspecto más limpio.

Las cifras del comercio europeo hacen el punto concreto. IRP Commerce situó la conversión base del comercio electrónico del Reino Unido en un 1.68 % en septiembre de 2025, mientras el promedio británico más amplio entre sitios se acercaba al 3.4 % frente a aproximadamente el 2.9 % en todas las industrias. Esas brechas son pequeñas en términos absolutos y enormes en términos de tamaño de muestra. Pasar del 1.68 al 1.85 % es el tipo de victoria que paga un trimestre de ingeniería, y resulta invisible para una prueba que se detiene antes.

PreguntaRespuesta cómodaRespuesta defendible
¿Cuántos visitantes?Lo que permita el sprintCalcularlo a partir de la base y del efecto mínimo detectable antes del lanzamiento
¿Cuánto tiempo?Una semana, como la última vezDe dos a cuatro semanas, cubriendo ciclos semanales completos
¿Cuándo detenerse?Cuando el gráfico se pone verdeAl tamaño de muestra previamente registrado
¿Qué cuenta como victoria?Cualquier movimiento positivoNoventa y cinco por ciento de confianza con ochenta por ciento de potencia
¿Cuántas pruebas?Todas las posibles, y malUnas cuatro al mes, medidas, con las victorias acumuladas
¿Y una derrota?Borrar el resultadoConservarla; reduce el espacio de búsqueda

La trampa de espiar el resultado

Aquí está la parte incómoda. La conducta más dañina en experimentación no son las malas ideas; es detenerse antes porque el gráfico se ve alentador. Cada mirada nueva a un resultado que se acumula es otra oportunidad de atrapar un repunte aleatorio y declarar victoria. Al revisar repetidamente, un equipo infla la tasa de falsos positivos muy por encima del 5 % anunciado, y después lanza una variante que no hace nada y se pregunta por qué la mejora se evaporó en producción.

La disciplina es aburrida y específica: fijar el tamaño de muestra, fijar la regla de detención, escribir ambas antes de que llegue el primer visitante y resistir el impulso de interpretar datos parciales. Un resultado que necesita espiarse para parecer significativo no es un resultado.

Por qué una tasa baja de victorias es sana

Si una de cada cinco pruebas gana, el rendimiento del programa lo gobierna cuántas pruebas puede ejecutar con limpieza. Esa es la parte contraintuitiva del conjunto de datos de CXL. Un programa sano ejecuta unos cuatro experimentos al mes con una tasa de victoria de aproximadamente el 10 %, lo que suena modesto hasta que se cuenta la acumulación. Los equipos que hacen diez o más al mes informan ganancias acumuladas mayores, no porque cada prueba sea más lista, sino porque compran más boletos con mejores probabilidades que el azar.

Esto también reencuadra los cuatro de cinco que pierden. Un resultado negativo limpio elimina una rama del árbol de decisión. Recogidos durante un año, esos negativos forman un mapa de lo que no mueve la métrica, y ese mapa vale más que una victoria afortunada que nadie puede reproducir.

Dónde los mini-programas cambian las cuentas

Un mini-programa no es dueño de su tráfico; lo toma prestado de una aplicación anfitriona, y las campañas del anfitrión llegan en picos en lugar de en un goteo uniforme. Una prueba que parece infrapotenciada en un martes cualquiera puede reunir la mitad de su muestra durante una sola promoción del anfitrión, justo el tipo de mezcla que corrompe una lectura limpia. Segmentar los resultados por fuente de tráfico no es opcional en ese entorno.

Un runtime compartido que puede ejecutarse en varios anfitriones da al equipo una palanca más limpia: exponer la misma configuración de experimento a cada anfitrión y después informar los resultados por anfitrión en lugar de mezclarlos. Las cuentas del tamaño de muestra no cambian, pero la atribución se vuelve honesta. Conviene hacer menos pruebas, terminarlas bien y dejar que el límite del anfitrión haga parte del trabajo estadístico.

Fuentes