El mercado esta lleno de herramientas para realizar test A/B. Aunque lo más importante es pensarlo bien, el para que, no el como.

Las herramientas pueden variar, pero lo realmente importante es siempre la claridad de ideas y que un test sea algo que realmente tenga utilidad, no un divertimento. Sí, me repito y digo esto mucho, pero es necesario que eso quede muy claro. La herramienta es siempre secundaria, lo otro no.

Y dicho esto, hoy día la oferta de herramientas para testing web es extensísima, pero, bien por conocimiento directo, bien por referencias de garantía o por sus características, aquí teneis las principales herramientas de testing A/B y también multivariente del mercado, entre otras, a las que puede merecer echarle un vistazo en condiciones:

Google Website Optimizer

Sin lugar a dudas, Google Website Optimizer el la herramienta de A/B testing y multivariante más popular. Ideal para comenzar en este mundillo del testing por muchas razones, su uso es realmente sencillo, mediante la inclusión de un pequeño fragmento de código javascript en la página original y en aquellas que conforman el test. Además, al ser validado todo el proceso paso a paso, en caso de que hagas algo mal el mismo Optimizer te pone sobre aviso. Permite ofrecer diferentes alternativas de diseño de una landing page (A/B test) u ofrecer variantes del contenido (imágenes, copys, etiquetas h, etc) dentro de una landing page (multivariante). Puede utilizarse tanto para A/B testing como para multivariantes y permite, entre otras cosas, distribuir tráfico entre versiones de página a testear. No tiene coste y además hay una guía avanzada de uso de Optimizer muy recomendable si ya tienes exigencias de medio-alto nivel.

Visual Website Optimizer

Visual Website Optimizer, a diferencia de Google Website Optimizer, ya es una herramienta que ofrece una serie de características más extensas (a su precio, es de pago en función de las visitas a testear y la versión gratis permite testaera sobre 1.000 visitantes). El funcionamiento es similar, como en todas, con el uso del consabido javascript que se debe incluir en las versiones originales y alternativas. Lo que Visual Website Optimizer si ofrece diferente, entre otras cosas, es: segmentación por keyword (muy interesante, según la keyword de entrada enviar a una u otra landing), mapas de calor y clicks de los tests, capacidad para hacer test sin saber nada de código y muchas otras características.

Sitespect

SiteSpect presenta muchas características similares a las herramientas ya vistas (test simultaneos, orientación de tráfico a test por keyword, URL de origen, etc), pero se centra en dos puntos principales en los que ofrece algo característico: generación de test de manera automática, con contenido generado en base a target de comportamiento para identificar la mejor combinación posible y la ausencia en determinados test de implementación manual de JavaScript.

Unbounce

Sin duda el gran valor añadido de Unbounce, lo que suma frente a las características de las otras herramientas, es su tremenda facilidad de uso y la cantidad de plantillas preconfiguradas que ofrece tanto para crar landing pages como para la generación de páginas de leads. En apenas unos minutos puedes tener listas landing pages alternativas sin necesidad de diseño ni desarrollo propio. Lógicamente eso tiene su limitación creativa, etc, pero es tremendamente util para contrastar modelos genéricos o alternativas de forma rápida y ágil.

Vanity

Vanity es un framework para hacer ejercicios de testing web con Rails. Facilita una API para ser desgcargada y un manual extenso en PDF con detalles de como utilizarlo. Es un sistema de testing basado mucho en el uso del código por parte de los desarrolladores, pero parece bastante ágil y con buenas capacidades de alternativas de cara a plantearle opciones al usuario.

Vertster

Vertster centra sus virtudes, y diferencia con otras herramientas, en el tipo de informes que ofrece durante y en la conclusión de un test, con muchas variables de segmentación, como la franja horaria, día de la semana, y otros valores de segmentación, que son empleados para determinar que modelo de landing page funciona mejor para cada uno de esos posibles segmentos, lo cual acaba configurando un mapa de posibles elecciones muy orientado a segmentos específicos de usuarios. Por supuesto, ofrece otras muchas cosas, pero muy similares a cualquier otra de las herramientas vistas. También se centra en la NO necesidad del uso de tags, etc, y que con la inclusión de un único JavaScript, el resto de funcionalidades pueden ser controladas, sin necesidad de actualizaciones FTP de archivos, etc.

Optimizely

De todas las opciones de pago en lo referente a herramientas de testing de este tipo, Optimizely parece ser una de las más completas por las múltiples y completas posibilidades que ofrece. Además de, al igual que Vertster, ofrecer una sola línea de JavaScript para controlar los tagas, etc, ofrece una interfaz muy visual para el cambio de elementos, incluso permitiendo drag&drop, y otras muchas funciones, como testeo múltiple. Quizás lo más interesante sea la posibilidad de hacer edición avanzada de código, seguimiento múltiple de objetivos según las landings pages que se quieran optimizar, y un amplio abánico de opciones en ese sentido que lo convierten en una de las opciones más serias y profesionales por la cantidad de características que ofrece.

WordPress A/B testing plugin

Por un precio de 9.95 $ USA, los chavales de WPPlugins (un interesante marketplace de plugins de WordPress) nos ofrecen este plugin de pago que permite, básicamente, hacer tests A/B para WordPress tomando como base el ofrecer al usuario diferentes versiones del sitio web variando el tema. Es decir, tenemos un sitio web desarrollado con WordPress y lo que hacemos con este plugin es cargar 2 o más temas (con lo cual puedes introducir cambios en base a un tema que tú mismo hayas desarrollado) que son mostrados aleatoriamente a los usuarios, lo que nos permite deteminar cual de esos temas ofrece un mejor rendimiento. Desde luego, es muy limitado en cuanto a funciones, pero también es cierto que por su precio y para hacer testing de este tipo en WordPress es algo de lo más útil, por básico que sea. Más aún si tenemos en cuenta que otros plugins gratuitos de funciones parecidas no funcionan nada bien. Muy muy básico, pero util si trabajais mucho con WordPress.

A/Bingo

La principal característica de A/Bingo es similar a la de Vanity. A/Bingo es un framework de testing A/B para ruby on rails que funciona como un plugin en este entorno de desarrollo web. Lógicamente A/Bingo es open source y está muy orientado al entorno de la programación, con lo que puede ser una muy buena manera de que los desarrolladores habituados a ruby on rails se introduzcan en el mundo del testing.

LiveBall

LiveBall tiene una pinta tremenda, y un precio en consonancia. Lo que LiveBall ofrece es una solución de testing a grandísima escala y pensada para landing pages en múltiples idiomas, y con una cantidad de variables a manejar enormes. Incorpora prácticamente la posibilidad de editar cualquier aspecto concerniente a una landing page, desde su URL, hasta la totalidad de su contenido, optimización y generación de landing pages para dispositivos móviles, orientación 100% pensada en SEO. Por incorporar, incorpora hasta variables de lógica de comportamiento por las que podemos definir la presentación de una landing page tomando como referencia el pais de procedencia del usuario, el día de la semana en que estemos, la cadencia de visita del usuario… En fin, una solución que, en la teoría, prácticamente aglutina y mejora todas las características de todas las herramientas de testing conocidas y por conocer. Es una solución, por precio y características, orientada a sitios web de caracter internacional y multiidioma y compuestos por miles y miles de páginas. No conozco a nadie que la haya usado, pero estaría encantadísimo de tener alguna opinión real sobre LiveBall para ver si realmente responde a las expectativas.

Genetify

Genetify es una solución de testing bastante enfocada a desarrolladores y pensada para poder testear alternativas en diferentes elementos de una landing page, desde el CSS hasta cualquier etiqueta de HTML. Puede utilizarse con la inclusión de un simple script y de manera remota o instalando en nuestras propias máquinas si ya tenemos necesidades concernientes a sitios web con volúmenes de tráfico bastante altos.

MaxTEST

MaxTEST parece una solución de testing muy interesante cuando lees cosas como que permite, entre otras cosas, el testing del contenido generado por el usuario para determinar su calidad, testing múltiple de procesos de compra online, etc… cosas que llaman la atención, que parecen interesantes, pero que no vienen nada explicadas en su presentación, que además debes descargarte facilitando tus datos de contacto, WTF! (si no, lo que puedes leer -el enlace- es una decripción muy genérica). A pesar de ello, por lo poco que se cuenta, parece una opción interesante, aunque se agradecería más claridad y extensión en como funciona y en sus características propias.

Hubspot

La solución de testing de los populares HubSpot no ofrece nada excesivamente nuevo que no hayamos visto antes en otras herramientas, pero si que incide en algo muy interesante: los leads. Todos los que hemos trabajado con captación de leads en internet sabemos de sobra lo importante de la optimización en este tipo de landing pages, y la solución de HubSpot se centra en ofrecer sincronización entre la captación de leads del sitio web con el CRM de la empresa, lo cual es una nota muy característica e interesante que hace que valga la pena curiosearlo.

Test&Target

Test&Target es una solución que ofrece un abanico de opciones de lo más jugoso para todo lo relativo al testing, y por supuesto, se integra a la perfección con las herramientas de analítica web de Omniture, por lo que es la opción más clara para los clientes de la marca. Test&Target, entre otras muchas opciones, ofrece la posibilidad de testear el contenido no solo de sitios web, sino de emailings o publicidad de display, también permite diversificar tráfico por variables como geografía, uso horario y otras opciones. Una opción muy interesante es el aprendizaje automático predictivo, lo que permite extraer información detallada de los segmentos de usuarios que han interactuado con las diferentes opciones de landing pages presentadas. Una solución tremendamente completa con muchísimas opciones y funciones, que en el caso de Test&Target 1:1 ya alcanza el summum de la optimización, que es la personalización y adaptación de elementos web de manera individual, usuario a usuario, ya que se almacena con un ID único la interacción de cada usuario para ofrecerle variables personalizadas según su comportamiento o directrices definidas.

Y para terminar, todas estas herramientas ofrecen vídeos de su funcionamiento y también la posibilidad de disponer de una demo (bien de forma directa o bien bajo petición), lo que realmente es la única forma de valorar (probándolas) si nos sirven o no para nuestros propósitos. Así que ya sabeis… revisad vuestros sitios web y testing time!

Mi intención fue mostrar a través de ejemplos reales y casos de éxito (y de fracaso alguno) como la analítica web aporta un valor fundamental a la empresa cuando está centrada en los aspectos de negocio, y como puede mejorarse el negocio en internet con el uso del análisis web, que nos permite definir estrategias y acciones orientadas a conseguir un determinado objetivo.

El análisis web es un proceso vital en cualquier empresa que genere negocio con su web, porque supone la principal herramienta de decisión a mucho niveles.

El análisis web es igual a medir + comprender + interpretar y/o analizar -> decidir / optimizar / mejorar / actuar. Una “sencilla” fórmula que incluye desde datos a contexto o conocimiento de producto.

Sin más rollos, esta es la presentación que utilicé en el congreso de internet del Mediterraneo como apoyo a mi charla:

¿Qué conté con el apoyo de esta presentación? Básicamente intenté responder a tres preguntas que se plantean generalmente cuando se habla del análisis web:

¿Para qué sirve el análisis web?:

1. Para saber si nuestra web funciona como esperábamos. Superbásico y obvio, pero hay que empezar por el principio.
2. Para saber si conseguimos nuestros objetivos, sean éstos los que sean.
3. Para trasladar los datos web a dirección a través de cuadros de mando (bien de elaboración propia, o bien trabajados, por ejemplo, con la API de analytics). El retorno de información que se produce a través de una web es un conocimiento estratégico para la empresa porque es conocimiento directo de cliente.
4. Para saber si mis potenciales clientes hacen lo que yo pensaba que iban a hacer. Esto si es un mundo de sorpresas.

Ahí estoy, al final de la charla (y al fondo), contestando a una pregunta que me hicieron por twitter sobre google instant, como no

Para decidir:

1. Decidir un diseño, un layout o una arquitectura de información según la opción que mejores resultados nos de. Este es el campo de los famosos test A/B, que bien manejados pueden permitirnos mejorar nuestro negocio en internet de manera muy notable. Este sistema de “diseño” es impopular a nivel conceptual, es cierto, pero también es cierto que si queremos optimizar y mejorar un negocio lo hacemos motivados por datos, como en cualquier negocio, y pocas veces por percepciones de personas individuales.
2. Decidir acciones o estrategias en base a los datos que recogemos e interpretamos. Por ejemplo, ¿cual es nuestra mejor estrategia en SEM?

Para optimizar:

1. Hagamos que si algo ya funciona, que funcione mejor
2. Y si algo no funciona, descubramos porque y arreglémoslo, lo que equivale a optimizar
3. Descubrir puntos de mejora que inicialmente ni siquiera habíamos considerado o que solo conocemos cuando empezamos a analizar el comportamiento o el feedback de nuestros usuarios.

Para conocer a nuestro cliente:

1. De todo lo que tenemos ¿qué es lo que más le gusta a mi potencial cliente?
2. ¿Qué es lo más buscado, qué quieren mis clientes? La importancia de generar oferta de lo que sea en función de lo que mi usuario me demanda está fuera de toda duda y puede suponer mi principal diferencia con la competencia.

Sobre todas estas cuestiones estuve hablando cerca de hora y media y sobre todo llamó mucho la atención de los asistentes lso resultados, a veces sorprendentes de los test A/B y multivariantes, así como los datos de conversión en función de los orígenes de tráfico.

Espero sinceramente que las personas que me escucharon aprendieran algo y por supuesto, tanto ellos, como cualquier otro interesado puede plantearme aquí cualquier cuestión relacionada con esta charla o la presentación.

Nos vemos, espero, en el siguiente congreso de internet del Mediterraneo, aunque eso ya será en 2011, pero ya queda menos.

El Conversion Thursday de Zaragoza generó un interés muy grande con 86 personas inscritas para asistir.

Ahí estoy, dándolo todo en el Conversion Thursday de Zaragoza del 10 de junio de 2010. Foto de @torresburriel.

Este dato me parece muy relevante y significativo del “hambre” que hay en Zaragoza por eventos de este tipo, y además, por lo que pude leer en el resumen de este primer Conversion Thursday de Zaragoza que hizo Andrés Flores, no tenemos nada que envidiar a Madrid o Barcelona en cuanto a inscritos, calidad de ponencias o picoteo (por el estomago se conquista a mucha gente, yeah!).

Hay que dar las gracias por este Conversion Thursday de Zaragoza a Marcos Sicilia, que ha sido el artifice y promotor del tema. Él contactó conmigo para abrir como ponente. Él se encargó de todo, que fue mucho y muy bien planificado, así que enhorabuena Marcos.

Para el que quiera ver la presentación sobre la que apoye mi charla “Analítica web sin herramientas de medición”, aquí la teneis:

Por resumir, diré que finalmente asistieron unas 60 personas, lo que me parece brutal teniendo el cuenta el título de la charla y que era una primera edición, y comencé yo hablando de analítica web sin usar herramientas de medición, y para ejemplificarlo mostré 8 usos prácticos, pero empecé por dejar claros una serie de conceptos, que fueron:

• El análisis web debe usar herramientas de medición, claro que sí, pero no deben monopolizar el análisis, porque si no limitamos nuestra visión.
• El análisis debe tener un objetivo, define el tuyo.
• Las herramientas de medición sirven para decirme lo que está pasando en mi sitio web, pero no me dicen lo que no está pasando ni lo que podría pasar.
• La analítica web que aporta valor real debe tener en cuenta aspectos de negocio, medición y el comportamiento del usuario.
• Esto es un proceso mental, un estudio para sacar conclusiones que conducen a acciones para conseguir algo, no es acumular miles de números ni apabullar a la gente con datos.
• Cada sector, cada web, cada escenario tiene unas métricas propias.
• Hay que trasladar el valor del análisis web a las personas que deciden.
• El análisis, como los sitios web, no termina nunca. Un análisis de 2007 era bueno en 2007, pero ¿lo es hoy?, ¿en 2007 usabais Twitter?, ¿en 2007 que tráfico tenías de Chrome?.
• El análisis web tiene un porcentaje muy alto de actitud, autocrítica y ganas de hacer las cosas mejor día sí y día también.
• Y nunca NUNCA olvidemos que, en el fondo, analizamos el comportamiento de personas.

Para ejemplificar todo esto, mostré 8 casos reales de como interpretar, valorar y actuar en función de determinados datos o comportamientos detectados a través de diferentes herramientas que no son las típicas de medición. En la presentación están bien explicados los 8 casos: email, test multivariante, test A/B, análisis de formularios, mapas de calor, información de los buscadores internos, google webmaster tools y observación. Podeis ver estos ejemplos en detalle en el slideshare que está más arriba.

Asistentes al primer Conversion Thursday Zaragoza. Un buen número de personas. Foto de @davidrosuero.

Cuando terminé y a lo largo de mi charla solo me hicieron 2 preguntas. La verdad es que me hubiera gustado que hubiera algo más de debate y de preguntas sobre el tema, pero supongo que será habitual durante las charlas, porque luego en el rato de después si que pude hablar mucho rato con un buen número de personas interesadas en el tema, en lo que para mi fue uno de los mejores momentos.

Después de mi charla, intervino Marcos Sicilia, para hablar de los social media como distribuidores de contenidos, como el nuevo SEO, entendiéndolo de esa manera, de la forma en la que la gente descubría nuevo contenido. Hizo una exposición del estado de los medios sociales hoy en día y de como algunas empresas han sabido sacarle mucho jugo al tema. Aquí teneis su presentación:

Y después de ambas charlas, un muy buen rato de paella, risotto y bebidas acompañado de buenos amigos, compañeros y colegas como @noemargot, @jdeiviz, @oscargimenez, @calvoconbarba, @torresburriel, @seozaragoza, @davidrosuero, @daniel_cebolla, @srutia y muchísima más gente con la que fue un placer charlar hasta bien entrada la noche.

Para mi, una muy buena experiencia que espero se repita en próximas ediciones del Conversion Thursday en Zaragoza, en el que espero poder repetir como ponente algún día, por el buen sabor de boca que me dejo el evento.

Un test multivariante nos permite comprobar el rendimiento de varias alternativas de un elemento en un diseño web. Para mejorar la conversión es una muy buena herramienta.

Dicho esto, en el caso práctico y real del que voy a hablar aquí, tenemos una web de comercio electrónico, y queríamos comprobar, tras leer un artículo, si la posibilidad de que un usuario haga clic sobre el botón de compra de un producto varia en función del color de éste. Es decir, si tengo un botón de “Iniciar compra” de un producto, ¿el color de este botón influye en la decisión del usuario de hacer clic en él, y por tanto comprar?.

En este test multivariante se utilizaron 3 colores diferentes para el botón de compra, con el objetivo de ver cual ofrecía mayor ratio de conversión.

Por supuesto, yo tengo claro que sí, que influye y mucho, y hay montones de estudios, posts y artículos hablando de ello, porque los colores tienen una asociación inconsciente con el comportamiento del usuario. Pero con creerlo o intuirlo no vale, así que decidí hacer un test multivariante para determinar si el color del botón de “Iniciar compra” influía en el CTR, el índice de clics, en ese botón de compra de los usuarios, en qué medida y qué margen de mejora teníamos en la web.

La prueba se planteó entre tres colores del botón de acción principal. Los colores elegidos fueron el azul, color original, el naranja y el rojo. Anteriormente hicimos otra prueba con más colores en la variación de los que eliminamos aquellos que funcionaron peor que el original: como el color verde, por ejemplo. Así que este segundo test la intención era clara: determinar cual de los tres colores elegidos ofrecía un mayor ratio de clic en el botón objeto del test, un dato muy importante teniendo en cuenta que hablamos del botón que corresponde con la acción de iniciar una compra.

Hacer un test multivariante para determinar el botón más adecuado para una acción que supone una conversión o acción de compra tiene un gran valor comercial.

Desde el principio la idea era probar esas alternativas durante un mes completo, para poder tener un volumen de clics y datos importantes y que permitieran que los cambios en el CTR del botón no se debieran a circunstancias puntuales de un día concreto.

¿Qué cuales fueron los resultados del test multivariante? Aquí los teneis:

Gráfico de la evolución del test multivariante en el que se testearon 3 colroes diferentes para el mismo botón a ver cual ofrecia mejor CTR.

Lógicamente, lo importante aquí es lo que los datos de la prueba nos dicen, no nuestra opinión personal o las sensaciones subjetivas que pudiéramos tener respecto a un color u otro. Y lo que vemos aquí es que ambas versiones alternativas del botón funcionan mejor que la original y ofrecen un mejor CTR y, por tanto, incrementan las probabilidades de compra del producto, ya que cuanta más gente inicie el proceso de compra, más gente lo terminara, siempre y cuando el proceso de compra esté bien pensado y concebido, pero esa es otra historia.

Como puede verse en el gráfico, el botón anaranjado (representado en la gráfica por la línea naranja) nos da una mejora de más del 30% (un 5,38% de conversión frente a un 4,10% del modelo original) en el indice de CTR en el botón. La versión del botón en color rojo se ha quedado en una mejora del CTR de un 27%.

Finalmente, la decisión gracias a los datos de este test multivariante es sencilla: implantaremos el color naranja en el botón de “Iniciar compra”.