Tras ese primer post, ahora le toca el turno a este, en el que trataré el tema de como planificar un test A/B y como utilizar una metodología básica, una guía que sirva para que este tipo de test nos de los mejores resultados e información posibles, independientemente de las herramientas con que se realice.

Lo más importante de un test A/B está en su planificación, en su metodología en como hacerlo y, sobre todo, para que.

Este tipo de test son una herramienta de mejora de gran valor, pero deben realizarse en un marco concreto, siguiendo unos mínimos pasos y, sobre todo, por una razón de peso y buscando precisamente esa mejora, pero no como una acción de entretenimiento o de prueba porque sí.

Como puede verse en esta gráfica de Optimizer, un test A/B puede comenzar con una versión dando muy buenos resultados para luego cambiar radicalmente. De ahí la importancia de tener un método, una guía, que de consistencia a la prueba

Dicho esto, los pasos principales, el método básico, la guía para conseguir realizar un test A/B que sea un éxito y nos de información relevante sobre nuestro sitio web se basa en:

1. Tener claros los objetivos o valores del sitio web. Lógicamente, por obvio que parezca, este es el punto de partida. Si no sabemos cual es el objetivo a alcanzar, los valores que marcan el horizonte de a donde queremos llegar, va a ser muy dificil que busquemos una mejora, porque no tenemos referencia de si estamos mejor o peor, y la intuición no sirve.
2. Reconocer claramente indicadores que nos digan de manera inequívoca que debemos realizar un test A/B. Si, por ejemplo, queremos tener 500 leads al mes generados por una página que recibe 10.000 visitas en el mismo periodo de tiempo, ya sabemos que eso implica un 5% de conversión, así que configura ese objetivo en Analytics y observa. Si no llegas a ese porcentaje de conversión, un test A/B sobre esa página puede ser una de las herramientas que te ayuden a conseguirlo, pero no debe hacerse porque sí. Esa observación de indicadores es la “palanca”, el gatillo que dispara las acciones de mejora y aquí el testing cobra todo el sentido.
3. Identificar con claridad la página de nuestro sitio web sobre la que se va a realizar el test. Un test A/B debe realizarse sobre una página concreta en la que efectivamente no se alcanzan los objetivos propuestos (que sean realistas, por favor, las conversiones del 67% para las historias de ciencia ficción), y dicha página debe ser significativa, es decir, debe tener tráfico, debe generar cierto volumen. Hacer un test con una página poco significativa por volumen no dará una información de valor. Intentad que, si es posible, la página sobre la que se va a ejecutar el test tenga un mínimo de entre 250-400 conversiones (de lo que sean) al mes. Para identificar las páginas que peor ratio de conversión tienen, ya sabeis, os vais a Analytics, previa configuración de objetivos, y, entre otras formas, os generais un informe personalizado que os diga el ratio de conversión a objetivo de cada página del sitio web. Es la forma más apropiada de conocer de manera fiable donde están los puntos de mejora a nivel de cada página de producto. No pensemos que todos los productos convierten igual o se comportan de la misma manera.
4. Escoger un periodo de tiempo adecuado. Por favor, nada de testing en Navidad, en Semana Santa, en vacaciones de verano o en periodos que no sean representativos de la actividad y estables.
5. Garantizar unas condiciones de “normalidad” en el sitio web y, en concreto, en la página sujeto del test. Es decir, nada de enviar de repente ingentes cantidades de tráfico, ni duplicar la inversión publicitaria ni, en resumen, hacer nada distinto a lo que se venía haciendo, porque si las condiciones del test se alteran sustancialmente, el valor de sus datos también.
6. Diseño gráfico, maquetación y a lanzar el test A/B. Sobre todo, que un test A/B sea eso, un test A/B y ofrezca como mínimo al usuario dos versiones alternativas (mínimo) de la página sujeto de testing. Es decir, no hais pequeñas modificaciones, para un test A/B sino todo lo contrario, plantear cambiso grandes en la arquitectura visual, en el diseño gráfico de la página en cuestión. Para afinar resultados y valorar la validez de copys, textos, etc, ya utilizaremos un test multivariante, pero no un A/B. Y ahora, escoge una herramienta, monta el test y a funcionar.
7. Comprobar el correcto funcionamiento. Tanto navegando como un usuario, con diferentes sesiones en diferentes navegadores, como utilizando Analytics (viendo que la URL del test figura como contenido y por tanto recibe tráfico), comprueba que todo funciona OK.
8. Establecer un periodo de prueba suficiente y consistente. Hay que entender que un test precisa de un mínimo periodo para validar sus resultados. Un test de un solo día os va a dar una información muy sesgada, muy poco fiable. Además de que sea un periodo estable, mantened el test entre 20 y 45 días, por ejemplo, aunque depende mucho de los volúmenes de tráfico.
9. Valorar la evolución de los datos de manera diaria pero sin emitir conclusiones. Comprueba que los datos varian, que los ratios cambian, etc, pero nada de sacar conclusiones de manera precipitada. Un test cuyas versiones alternativas empiezan funcionando muy bien puede acabar al contrario y vicecersa.
10. Finalizar el test y extraer las conclusiones y decisiones que correspondan. Una vez habeis hecho todo lo anterior, toca recopilar los datos del test y de ahí sacar conclusiones y ejecutar acciones, que pueden ir desde un cambio radical en la propuesta de diseño de la página analizada, hasta no hacer absolutamente nada, porque el test ha servido para demostrarte que de X número de alternativas, resulta que la original es la que mejores resultados te da.

Por supuesto, esta es solo una guía genérica con buenas prácticas para planificar y ejecutar un test, pero cada uno debe pensar y adaptar su propio sistema de testing porque cada sitio web y cada negocio online tiene sus propias particularidades que pueden hacer que haya que poner o quitar pasos en este sencillo proceso.

Así que ahora ya sabeis, a darle vueltas al coco y testing time!

Dicho esto me he propuesto escribir una serie de post que compongan una especie de guia básica de optimización web, en la que el test A/B es una buena parte, porque todos tenemos muy claro que es, para que sirve y como hacer un test A/B, ¿o no? La mejor opción es siempre empezar por el principio, un “back to basics”, porque no conviene presuponer que todos sabemos lo que son las cosas por muy populares que se hayan vuelto.

Y el principio aquí es ¿qué es un test A/B?

Un test A/B, hablando del entorno web,  es un método que permite ofrecer al usuario, sin que éste lo sepa, dos o más versiones de una misma página de un sitio web, de forma que el mismo producto, servicio o contenido de una página puede ser ofrecido a diferentes usuarios bajo diferentes layouts o diseños. La herramienta que hayamos escogido para ejecutar el test A/B recogerá la información relativa al rendimiento de cada uno de los diseños en función de la conversión a objetivo que cada uno coseche, y de esta forma dispondremos de una información 100% empírica (basada en datos) sobre la capacidad de cada diseño para generar mejores resultados, sean estos los que sean.

Explicado de una manera más pausada, un test A/B nos permite, en primer lugar, comprobar que modelo de presentación o interacción funciona mejor para una página web, por ejemplo:

Ejemplo de un test A/B real, comparando dos modelos de presentación e interacción muy diferentes del mismo producto

Y luego, pasado un periodo de prueba consistente y bien planificado, los datos que obtengamos del test A/B nos permitirán evaluar la capacidad de nuestras propuestas para conseguir el objetivo deseado, ya que lo que se mide aquí realmente es que ratio de éxito tiene cada modelo en la consecución del objetivo de la landing page: generación de leads (contactos), descargas efectuadas de un archivo, inicio de procesos de compra, y un larguísimo etecetera compuesto por todas aquellas acciones susceptibles de ser consideradas objetivo de una página web.

La cuestión de fondo antes de plantear un test A/B es precisamente tener claro cual es el objetivo, no del sitio web, sino de la página específica sobre la que se va a ejecutar el test.

El test A/B no es nada nuevo, por mucho auge que viva ahora en el escenario de internet. Ha existido siempre y en todos los campos. Cuando se consigue un modelo inicial de lo que sea, rara vez se da por finalizado, y cualquier modelo, proceso o producto es sometido a muchos test A/B a lo largo de su vida (entre otras muchas cosas para hacerlo evolucionar) para conseguir el mejor ratio posible de consecución de objetivo o de satisfacción del cliente.

Un test multivariante nos permite comprobar el rendimiento de varias alternativas de un elemento en un diseño web. Para mejorar la conversión es una muy buena herramienta.

Dicho esto, en el caso práctico y real del que voy a hablar aquí, tenemos una web de comercio electrónico, y queríamos comprobar, tras leer un artículo, si la posibilidad de que un usuario haga clic sobre el botón de compra de un producto varia en función del color de éste. Es decir, si tengo un botón de “Iniciar compra” de un producto, ¿el color de este botón influye en la decisión del usuario de hacer clic en él, y por tanto comprar?.

En este test multivariante se utilizaron 3 colores diferentes para el botón de compra, con el objetivo de ver cual ofrecía mayor ratio de conversión.

Por supuesto, yo tengo claro que sí, que influye y mucho, y hay montones de estudios, posts y artículos hablando de ello, porque los colores tienen una asociación inconsciente con el comportamiento del usuario. Pero con creerlo o intuirlo no vale, así que decidí hacer un test multivariante para determinar si el color del botón de “Iniciar compra” influía en el CTR, el índice de clics, en ese botón de compra de los usuarios, en qué medida y qué margen de mejora teníamos en la web.

La prueba se planteó entre tres colores del botón de acción principal. Los colores elegidos fueron el azul, color original, el naranja y el rojo. Anteriormente hicimos otra prueba con más colores en la variación de los que eliminamos aquellos que funcionaron peor que el original: como el color verde, por ejemplo. Así que este segundo test la intención era clara: determinar cual de los tres colores elegidos ofrecía un mayor ratio de clic en el botón objeto del test, un dato muy importante teniendo en cuenta que hablamos del botón que corresponde con la acción de iniciar una compra.

Hacer un test multivariante para determinar el botón más adecuado para una acción que supone una conversión o acción de compra tiene un gran valor comercial.

Desde el principio la idea era probar esas alternativas durante un mes completo, para poder tener un volumen de clics y datos importantes y que permitieran que los cambios en el CTR del botón no se debieran a circunstancias puntuales de un día concreto.

¿Qué cuales fueron los resultados del test multivariante? Aquí los teneis:

Gráfico de la evolución del test multivariante en el que se testearon 3 colroes diferentes para el mismo botón a ver cual ofrecia mejor CTR.

Lógicamente, lo importante aquí es lo que los datos de la prueba nos dicen, no nuestra opinión personal o las sensaciones subjetivas que pudiéramos tener respecto a un color u otro. Y lo que vemos aquí es que ambas versiones alternativas del botón funcionan mejor que la original y ofrecen un mejor CTR y, por tanto, incrementan las probabilidades de compra del producto, ya que cuanta más gente inicie el proceso de compra, más gente lo terminara, siempre y cuando el proceso de compra esté bien pensado y concebido, pero esa es otra historia.

Como puede verse en el gráfico, el botón anaranjado (representado en la gráfica por la línea naranja) nos da una mejora de más del 30% (un 5,38% de conversión frente a un 4,10% del modelo original) en el indice de CTR en el botón. La versión del botón en color rojo se ha quedado en una mejora del CTR de un 27%.

Finalmente, la decisión gracias a los datos de este test multivariante es sencilla: implantaremos el color naranja en el botón de “Iniciar compra”.