Guía para principiantes de pruebas A/B en el Black Friday y Cyber Monday (Parte I)

Si estás pensando en hacer algunas pruebas A/B durante el Black Friday y Cyber Monday, esta guía te mostrará todo lo que necesitas saber para obtener resultados de prueba válidos y más efectivos.

El Black Friday y el Cyber Monday están por llegar y deseas “promover lo mejor de tu tienda”, por lo que quizás estés pensando en algunas pruebas A/B que puedes implementar antes, durante o después de estas fechas.

Antes de meterte en aguas profundas, tienes que saber que las pruebas durante las principales escapadas de compras, como el Black Friday y el Cyber Monday o el Boxing day, son algo completamente diferente.

En esta guía te mostraré todo lo que necesitas saber para obtener resultados de prueba válidos y más efectivos durante este BFCM. Así que amigos, es hora de agarrar al toro por las astas.

Primero, ¿quién debería realizar las pruebas durante el Black Friday y el Cyber Monday?

Hay muchas personas que no deberían hacer estas pruebas, aunque es un tema del que no se discute lo suficiente en el comercio electrónico. Todos queremos estar informados sobre los datos, pero algunos sitios, sencillamente, todavía no están listos para participar en las pruebas.

Digamos que te vas a lanzar en el proceso de prueba que requiere dedicación de tiempo (o que es costoso):

1. Llevas a cabo investigaciones sobre conversión (encuestas, pruebas de usuario, repeticiones de sesión, análisis de datos) para averiguar qué probar.
2. Diseñas variantes completas.
3. Ejercitas tus neuronas en el software de adquisición de datos y Javascript para crear la prueba en tu herramienta de prueba.
4. Llevas a cabo una garantía de calidad para asegurarte de que ambas variantes funcionen correctamente.

¿Los resultados al cabo de 2 semanas? 310 conversiones sobre la variante A y 330 conversiones sobre la variante B, lo que supone un aumento del 6,5%, pero en realidad no cuentas con  los datos suficientes para saber si B es realmente mejor que A. ¿Por qué? Estadística.

Antes de realizar una prueba, siempre debes calcular con anticipación el tamaño de tu muestra. Puedes usar esta calculadora gratuita para hacerlo:

En este ejemplo, tu tasa de conversión real para la variante A (original) es 5%. Es decir, el 5% de las personas que están navegando en la página en este momento compran algo. El “efecto mínimo detectable” es “el efecto más pequeño que se detectará durante el 80% del tiempo”, por lo tanto, deberías alcanzar al menos un aumento del 15% en el caso anterior, para poder atribuirle con exactitud la bandera ganadora a la variante B. Cualquier valor inferior no puede detectarse de manera confiable.

Tiene sentido, ¿verdad? En este caso, necesitarías que 13.533 personas visitaran cada variante, para que tus resultados fueran válidos.

Ahora supongamos que tu tasa de conversión actual sigue siendo del 5%, pero deseas poder detectar ese aumento del 6,5% del que hablamos anteriormente:

De repente, pasa de 13.533 a 71.241, y recuerda, eso es por variante. Por lo tanto, cuanto más pequeña sea la diferencia que desees detectar, necesitarás un tamaño de muestra más grande.

Ahora estás empezando a ver el problema. No todos tienen ese tipo de tráfico en dos o cuatro semanas para orientarlo hacia cada variante. (Sí, existe un límite de tiempo en la ejecución de las pruebas, hablaremos más sobre esto en un momento).

Cuanto menos tráfico tengas, mayor será el impacto que necesitarás para generar un retorno de la inversión de las pruebas. Dado que los cuatro pasos de las pruebas (mencionados anteriormente) pueden requerir mucho tiempo y/o son costosos, simplemente no tiene sentido que las páginas con poco tráfico y baja conversión hagan la prueba.

¿Significa acaso que no deberías realizar una optimización si tienes una página con poco tráfico y poca conversión? Por supuesto que no, siempre deberías optimizar. Realiza pruebas de usuario, lleva a cabo encuestas, entrevista a tus clientes; en este momento, esos esfuerzos de optimización te arrojarán más resultados que las pruebas.

¿Por qué las pruebas durante el Black Friday y el Cyber Monday son diferentes?

A estas alturas, puede que te preguntes por qué no leer sencillamente La guía del principiante para pruebas A / B y encaminarte. Bueno, las pruebas durante el BFCM (o cualquiera otra fecha excepcional, como el Día del Padre o el Boxing day) son un poco diferentes.

La contaminación en la muestra es esencialmente cualquier factor externo que afecta tus pruebas y conduce a resultados no válidos.

Desafortunadamente, a menudo la contaminación en la muestra está presente sin que la persona que realiza los experimentos esté consciente. 

¿Cómo funciona?... 

• Ejecución de la prueba por mucho tiempo. No hay una respuesta unánime sobre durante cuánto tiempo debes llevar a cabo una prueba, pero la regla de oro es de dos ciclos comerciales, que generalmente representan entre dos y cuatro semanas. Si detienes la prueba antes de haber alcanzado el tamaño de muestra calculado previamente, entonces contaminaste los datos. Si detienes una prueba demasiado tarde, corres el riesgo de toparte con anomalías.

• No probarla por separado en dispositivos móviles y de escritorio. Todos usamos dispositivos múltiples, ¿verdad? Digamos que Daniel visita tu tienda y ve la variante A en su iPhone. Unos días más tarde, visita tu tienda desde su ordenador portátil. Hay un 50% de posibilidades de que vea una variante diferente a la que vio la primera vez. Para atenuar esto, deberías probar el tráfico a través de dispositivos móviles y de escritorio por separado.

• Visitantes que eliminan sus cookies. ¿Con qué frecuencia eliminas tus cookies? Otras personas también borran su historial de navegación. Digamos que Susana visita tu tienda y luego elimina sus cookies. Cuando regrese a tu tienda, hay un 50% de posibilidades de que vea una variante diferente a la que vio la primera vez.

¡Y eso es solo para darte un ejemplo! Cuanto más tiempo dure tu prueba, más probabilidades tienes de que se infiltre la contaminación en la muestra. Por lo tanto, como regla general, debes poder alcanzar el tamaño de muestra estimada en cuatro semanas o menos.

Sin embargo, nunca podrás descartar verdaderamente la contaminación en la muestra, sólo puedes limitarla. Además de todo esto, quieres contar con una muestra representativa, eso significa que quieres asegurarte de que las personas que participan en tu prueba sean una muestra de tu audiencia típica.

El BFCM lo dificulta porque puede: representar un aumento en el tráfico, representar un aumento en las compras, ofrecer descuentos importantes por un tiempo limitado, mostrar personas que gastan más de lo que normalmente lo harían, mostrar más cazadores de ofertas abandonando sus carritos, etc.

Lo que ocurre durante el BFCM no es típico, no es representativo de tu audiencia habitual.

Entonces, ¿cómo aplicar los conocimientos adquiridos durante un momento atípico a tu audiencia habitual? No puedes, por ello las pruebas del BFCM son diferentes.

¿Tienes lista tu tienda para la que se avecina en Black Friday?

➡️ Compruébalo consultando esta guía para ecommerce en español ⬅️

Pros y contras de las pruebas durante el Black Friday Cyber Monday

Entonces, ¿deberías realizar pruebas durante el BFCM? Depende.

Matt Gershoff de Conductrics dice que aquí no hay respuestas fáciles: 

Matt Gershoff de Conductrics

“En última instancia, no hay una respuesta simple de sí o no. Cada empresa necesita detenerse y pensar objetivamente tanto en los costos, como en los beneficios esperados al realizar las pruebas, lo que, por supuesto, dependerá del caso de uso particular”.

Lo mejor que puedes hacer es usar la información de las pruebas que acabas de compilar para sopesar los pros y los contras de realizar pruebas durante el BFCM.

La razón más importante para realizar las pruebas durante el BFCM es, por supuesto, aprovechar todo ese tráfico adicional, esos montones de carritos llenos, todas esas compras adicionales.

Matt concuerda en que puede ser una buena idea invertir para impulsar el tráfico:

Matt Gershoff, de Conductrics

“Puede ser lógico llevar a cabo pruebas durante estos días. Tal vez tengas preguntas específicas sobre el comportamiento de los clientes durante estos días de venta, y cuyas respuestas podrías utilizar luego para eventos de ventas futuros.

Quizás necesitas determinar qué versión de una campaña u oferta aportará mejores frutos durante la venta. Aquí podría tener sentido ejecutar una prueba de asignación dinámica de tráfico, para aprender y aplicar la versión que haya tenido un mejor desempeño durante todo el día”.

Llegaremos a probar la prueba de asignación dinámica de tráfico en un momento, no te preocupes.

Sin embargo, también existen algunas razones para no realizar las pruebas durante el BFCM:

• Es probable que veas un aumento de los visitantes no calificados, lo que conlleva a un mayor abandono de los carritos de compra.
• Verás una disminución en tus márgenes de ganancia, si implementas descuentos y promociones.
• Para cuando finalicen las pruebas, no podrás implementar la variante ganadora porque el BFCM habrá terminado.

Matt explica algunos otros aspectos negativos:

“Creo que hay un par de razones por las cuales las compañías deben optar por no llevar a cabo las pruebas durante estos eventos de grandes ventas:

1. Los posibles costos al introducir un error o un error técnico pueden ser muy elevados, con lo cual, correr el riesgo de cualquier beneficio potencial quizás no valga la pena.

2. El valor esperado de la información obtenida con las pruebas podría ser relativamente bajo si los usuarios, o su comportamiento, no son similares a los de un día estándar (probablemente sea el caso)”.

En última instancia, la decisión es tuya, pero antes de tomarla tienes que considerar algunas opciones de prueba.

Acerca del autor

Jenny Izaguirre es la editora en jefe de Shopify para España y América Latina. Fiel creyente del talento en español, amante de los animales, viajera apasionada, emprendedora, conferencista y escribe historias para motivar a otros. Sigue sus pasos en Instagram.

Texto original escrito en inglés por: Shanelle Mullin

Traducción:Elizabeth Pestana