Calculadora de significación de prueba A/B (test z)
Introduce visitas y conversiones de las versiones A y B para ver si la diferencia es estadísticamente significativa o solo ruido. Es la calculadora de prueba A/B para una prueba ya terminada; supone que fijaste el tamaño de la muestra de antemano y no calcula cuántos visitantes necesitas.
Actualizado
Informar de un problema
Fórmula
Test z de dos proporciones con pA = xA / nA, pB = xB / nB y tasa agrupada p = (xA + xB) / (nA + nB):
SE = sqrt(p × (1 − p) × (1/nA + 1/nB))z = (pB − pA) / SEvalor p = 2 × (1 − Φ(|z|))(bilateral, Φ la función de distribución normal estándar)IC del 95% de B − A = (pB − pA) ± 1,96 × sqrt(pA(1−pA)/nA + pB(1−pB)/nB)Mejora relativa = (pB − pA) / pA
El resultado es significativo cuando el valor p es menor que tu alfa.
Supuestos
- Los visitantes se asignaron al azar e independientemente, y cada uno se contó una vez.
- El tamaño de la muestra se fijó de antemano. Mirar los resultados y parar cuando p baja de alfa dispara los falsos positivos.
- Los recuentos son lo bastante grandes para la aproximación normal (unas 10 o más conversiones y no conversiones por grupo).
- Una sola comparación. Probar muchas variantes o métricas requiere una corrección por comparaciones múltiples.
Ejemplo resuelto
A: 500 de 10.000 (5,00%). B: 570 de 10.000 (5,70%). La mejora es del 14%. Tasa agrupada p = 1070 ÷ 20.000 = 0,0535, SE = 0,003183, z = 0,007 ÷ 0,003183 = 2,20, valor p bilateral 0,0278. Con alfa 0,05, B es significativamente mejor; con 0,01, no. El intervalo del 95% para B − A es de 0,08 a 1,32 puntos porcentuales.
Más ejemplos
- Victoria clara: A convierte 200 de 4000 (5,0%) y B convierte 260 de 4000 (6,5%). La mejora es del 30%, z = 2,88, p = 0,0040, y el intervalo del 95% para B − A es de 0,48 a 2,52 puntos.
- Parece grande, pero no está probado: 30 de 1000 frente a 45 de 1000 es una mejora del 50%, pero z = 1,77 y p = 0,0775, así que no es significativo con 0,05. Una gran mejora relativa con poco tráfico suele ser ruido.
En qué se diferencia
Esta página juzga una prueba terminada. Para planificar el tráfico usa la calculadora de tamaño de muestra; para un valor p a partir de un estadístico z, usa la calculadora de valor p; para comparar dos tasas del mismo paso del embudo, úsala después de la calculadora de tasa de conversión.
Preguntas frecuentes
¿Cómo funciona el cálculo de significación de la prueba A/B?
Realiza un test z de dos proporciones. Con 500 de 10.000 conversiones en A y 570 de 10.000 en B, la tasa agrupada es 5,35%, el error estándar es 0,00318, z = 0,007 ÷ 0,00318 = 2,20 y el valor p bilateral es 0,0278.
¿Qué significa el valor p?
Es la probabilidad de observar una diferencia al menos tan grande como esta si A y B convirtieran exactamente igual. Un valor p de 0,0278 está por debajo de alfa 0,05, así que el resultado se considera significativo al 5%, pero no es la probabilidad de que B sea mejor.
¿Qué supuestos hace la prueba?
Los visitantes se asignaron al azar e independientemente a A o B, cada visitante se contó una sola vez, el tamaño de la muestra se fijó antes de empezar, y los recuentos son lo bastante grandes para la aproximación normal (en general, al menos unas 10 conversiones y 10 no conversiones en cada grupo). Con recuentos pequeños usa una prueba exacta.
¿Por qué es un problema mirar los resultados antes de tiempo?
Comprobar repetidamente y parar la primera vez que p baja de alfa dispara los falsos positivos muy por encima del 5% nominal, porque cada vistazo es otra oportunidad para que el ruido aleatorio parezca significativo. Decide el tamaño de la muestra de antemano, o usa un método secuencial pensado para revisiones repetidas.
¿Cuál es el intervalo de confianza de la diferencia?
Es el rango del 95% para B − A en puntos porcentuales, usando el error estándar sin agrupar. Para 5,0% frente a 5,7% va de 0,08 a 1,32 puntos, así que la ganancia real puede estar en cualquier punto de ese rango. El intervalo es siempre del 95%, sea cual sea el alfa que elijas para el veredicto.
¿Cuántos visitantes necesito para una prueba A/B?
Una regla práctica habitual para una potencia del 80% con una significación del 5% es n = 16 × p × (1 − p) ÷ d² por variante, donde d es la mejora absoluta que quieres detectar. Para una base del 5% y una mejora de 1 punto porcentual, eso es 16 × 0,05 × 0,95 ÷ 0,0001 = 7600 visitantes por variante. Las mejoras más pequeñas necesitan mucho más tráfico.
¿Basta con una confianza del 90% o del 95% para una prueba A/B?
El 95% (alfa 0,05) es el valor habitual, y acepta aproximadamente un falso positivo de cada 20 pruebas. El 90% acepta uno de cada 10, lo que puede valer para un cambio barato y reversible, mientras que los cambios de precios o de pago merecen el 95% o el 99%. El ejemplo de 5,0% frente a 5,7% (p = 0,0278) pasa al 95% pero no al 99%.
¿Cómo calculo la significación de una prueba A/B en Excel?
Calcula la tasa agrupada p = (xA + xB) ÷ (nA + nB), después SE = SQRT(p × (1 − p) × (1/nA + 1/nB)), z = (pB − pA) ÷ SE y valor p = 2 × (1 − NORM.S.DIST(ABS(z), TRUE)). Para 200 de 4000 frente a 260 de 4000, esto da z = 2,88 y p = 0,0040, igual que la calculadora.