Calculadora de tests A/B para Amazon: ¿tu cambio es una mejora real?
Calculadora gratis de tests A/B para Amazon: significación, probabilidad de que gane B, rango de la mejora real y cuántas sesiones te faltan. Experimentos o antes/después.
Gazi El Halabi ·
En resumen
Introduce sesiones y unidades pedidas (o impresiones y clics) de las dos versiones. La calculadora te dice si la diferencia es real o ruido: mejora, probabilidad de que B sea mejor, valor p, el rango del 95 % de la mejora real y cuántos días más necesitas. Y te avisa cuando una comparación antes/después está distorsionada por la publicidad, la temporada o el precio. Funciona en tu navegador.
Prometedor, no demostrado
Los datos se inclinan hacia un lado, pero la muestra aún es pequeña para decidir. Deja correr el test antes de publicar nada.
Mejora de B sobre A
+15,6%
Probabilidad de que B sea mejor
98%
Valor p
0,043
Muestra necesaria por versión
4783
≈ 14 días más con tu tráfico actual
Rango del 95 % de la mejora real
Datos de ejemplo cargados: sustitúyelos por los tuyos. Frecuentista: test z de dos proporciones, bilateral al 95 %, potencia 80 %. Bayesiano: posteriores Beta con prior plano. Funciona en tu navegador; no se envía ni se guarda nada.
Cómo leer el resultado
| Dato | Qué te dice |
|---|---|
| Mejora | Cuánto mejor (o peor) rindió B frente a A, en relación con A |
| Probabilidad de que B sea mejor | Lo probable que es que la tasa real de B sea mayor; es el tipo de probabilidad que muestra Manage Your Experiments |
| Valor p | Lo sorprendente que sería la diferencia si A y B fueran en realidad iguales; por debajo de 0,05 es el listón habitual |
| Rango del 95 % de la mejora real | El rango plausible del efecto real. Si cruza el cero, todavía no has demostrado nada |
| Muestra necesaria por versión | El tráfico necesario para detectar la mejora que ves con una potencia del 80 % |
Un resultado solo es ganador cuando la diferencia es significativa *y* la muestra es suficiente. Parar un test el primer día que pinta bien es la forma más habitual de publicar un cambio que no hace nada.
Por qué las comparaciones antes/después engañan
Cuando comparas el mes pasado con este, tu cambio se mezcla con todo lo demás que se movió: temporada, precio, cupones, presupuesto de publicidad, stock, reseñas y lo que hizo la competencia. Manage Your Experiments de Amazon lo evita dividiendo a los compradores en dos grupos a la vez: un grupo ve la versión A y el otro la B durante todo el experimento. Siempre que la marca sea elegible, esa es la comparación fiable.
Si tienes que comparar periodos, que sean equivalentes (misma duración, mismos días de la semana, sin un evento de ventas en solo uno de ellos) y comprueba que el gasto en publicidad no se disparó: si no, parte de la mejora es tráfico pagado, no el listing.
Cuánto tráfico necesita un test de listing
Sesiones necesarias por versión para detectar una mejora en la tasa de conversión (bilateral al 95 %, potencia 80 %):
| Conversión actual | Mejora +5 % | +10 % | +20 % | +30 % |
|---|---|---|---|---|
| 5 % | 122.124 | 31.234 | 8.158 | 3.780 |
| 10 % | 57.763 | 14.751 | 3.841 | 1.774 |
| 15 % | 36.310 | 9.257 | 2.402 | 1.106 |
La lección de esa tabla: los retoques pequeños necesitan muchísimo tráfico para demostrarse. En la mayoría de listings, una mejora del 5 % es invisible en un mes. Prueba cambios audaces y con sentido (un nuevo ángulo de imagen principal, un título reescrito), no una sola palabra.
Los tests de CTR son aún más exigentes, porque las tasas de clic son pequeñas: con un CTR del 0,5 %, detectar una mejora del 20 % requiere unas 85.862 impresiones por versión.
Lee CTR y conversión juntos
Una imagen principal que gana más clics puede perder ventas si atrae al comprador equivocado o promete algo que el listing no cumple. Yo miro siempre las dos: el CTR para ver si el cambio gana atención, y la conversión (unit session percentage) para ver si esa atención compra. Si puedes, mira las unidades por impresión: recoge las dos cosas en un solo número.
Mis reglas para experimentar con listings
- Escribe la hipótesis y la métrica de éxito antes de empezar.
- Cambia una sola cosa por experimento.
- Cubre semanas completas, al menos una y mejor dos o más, porque entre semana y en fin de semana se convierte distinto.
- No mires a mitad y pares cuando pinta bien: decide el tamaño de muestra antes.
- Prefiere cambios audaces: son los que de verdad puedes medir.
¿No sabes qué probar primero? El test de imagen principal muestra los patrones que reviso, y una mini-auditoría gratis señala la mayor oportunidad de un listing.
Fuentes
¿Necesitas revisar todo el catálogo, no un solo título?
Pedir una auditoría