¿Tu prueba A/B ya tiene ganador?

Qué responde esta calculadora

En una prueba A/B muestras dos versiones de algo (un anuncio, una página, un asunto de correo, un botón) a grupos parecidos de personas y comparas cuál convierte más. La pregunta difícil no es cuál ganó, sino si ganó de verdad. Con pocas visitas, una versión puede ir adelante solo por suerte. La calculadora te dice si la diferencia es lo bastante grande, para tu volumen de visitas, como para confiar en ella.

Cómo leer el resultado

• Tasa de conversión: conversiones ÷ visitas de cada versión.
• Mejora relativa: (tasa de B − tasa de A) ÷ tasa de A. Pasar de 4% a 5% es una mejora de 25%, aunque la diferencia sea de un punto.
• Valor p: qué tan probable sería ver una diferencia así si en realidad las dos versiones fueran iguales. Entre más bajo, menos probable es que sea azar.
• Nivel de confianza: el umbral que eliges. Con 95%, declaras ganador cuando el valor p es menor que 0,05.
• Rango probable de la diferencia: el intervalo de confianza. Si no incluye el cero, la conclusión es la misma que la del valor p, y además te dice qué tan grande podría ser el efecto.

Calcula el tamaño de muestra antes de empezar

La segunda parte de la herramienta responde cuántas visitas necesita cada versión para detectar una mejora mínima. Entre más pequeña la mejora que quieres detectar, más visitas necesitas: detectar una mejora de 10% pide cerca de cuatro veces más tráfico que detectar una de 20%. Si el número que te da es imposible para tu tráfico, prueba cambios más grandes (otra oferta, otro concepto) en vez de detalles como el color de un botón.

Errores que dañan una prueba

• Mirar todos los días y parar apenas sale significativo. Si revisas muchas veces, tarde o temprano el azar te muestra un ganador falso. Decide la muestra antes y respétala.
• Cambiar varias cosas a la vez sin poder saber cuál causó la diferencia.
• No cubrir semanas completas. El comportamiento cambia entre días de semana, fines de semana y quincenas.
• Cambiar el reparto de tráfico o la segmentación a mitad de la prueba.
• Medir la conversión equivocada. Un anuncio con más clics no siempre trae más ventas: decide antes cuál es la métrica que manda.

Cómo hace las cuentas

Usamos una prueba z de dos proporciones, bilateral. La proporción combinada es p = (conversiones A + conversiones B) ÷ (visitas A + visitas B), el error estándar es √(p × (1 − p) × (1/visitas A + 1/visitas B)) y z = (tasa B − tasa A) ÷ error estándar. El valor p sale de la distribución normal, calculada en tu navegador con la aproximación de Abramowitz y Stegun. El tamaño de muestra usa la fórmula estándar para dos proporciones con potencia de 80%. Todo se calcula en tu navegador; los datos no salen de tu computador.

Para probar textos de anuncios, revisa primero que cada versión quepa en la plataforma con el contador de caracteres para anuncios, y antes de lanzar la prueba pasa por la checklist de lanzamiento de campaña. Si quieres un programa de experimentos continuo, con hipótesis, medición y lectura de resultados, eso hace el Data Intelligence Lab.