¿Cuanto afecta el sistema de recomendación a la conversión de un ecommerce? Test A/B

Hoy en día es lo más habitual del mundo ver en cualquier comercio electrónico un sistema de recomendación de productos, orientado al cross selling o up selling. Básicamente, esos sistemas buscan recomendar al potencial clientes productos similares, parecidos o complementarios de aquel que está viendo. Algunos de los sistemas de recomendación más conocidos son, por ejemplo, Brainsins, Blueknow, Nosto o Baynote. La mecánica de todos ellos es básicamente la misma: estos sistemas de recomendación “aprenden” del comportamiento de los usuarios en un comercio electrónico y recomiendan productos relacionados con aquel que se está viendo en ese momento, bien por ser sustitutivos, complementarios u ofrecer mejores prestaciones / calidad.

Los sistemas de recomendación buscan, sobre todo, mejorar la transaccionabilidad de un comercio electrónico, proponer al usuario alternativas de compra útiles para evitar su fuga y mantener su interés en el site

Imagen de un sistema de recomendacion de ecommerce

El tipico sistema de recomendación que vemos en muchos comercios electrónicos y que nos sugiere productos relacionados con lo que estamos viendo en ese momento.

Lógicamente, es muy importante que un sistema de recomedación sea fiable y propongar recomendaciones con sentido y utilidad para el cliente final, porque de no ser así, la eficacia del propio comercio electrónico se verá notablemente resentida, con toda lógica, porque ¿qué sentido tiene proponer recomendaciones de productos que no están alineadas de ninguna forma con aquel que el cliente está viendo? En ese sentido, los recomendadores pueden convertirse en un aliado o un grave problema.

En Flat 101 decidimos realizar un test en un comercio electrónico sobre la transacción que se produce en diferentes sistemas de recomendación empleados en el mismo periodo de tiempo y en las mismas condiciones. Nuestro objetivo era identificar el sistema de recomendación más eficaz en términos de conversión y venta para este ecommerce en concreto.

Las condiciones del test fueron las siguientes:

  1. Se testaron dos sistemas de recomendación en un formato A/B test. Un 50% de los usuarios emplearían un sistema de recomendación y el otro 50% el otro.
  2. El tiempo de duración del test sería homogéneo e idéntico para ambos sistemas: 46 días
  3. Ambos sistemas de recomendación partían de la misma base. Es decir, eran configurados de cero y debían “aprender” al mismo tiempo del comportamiento de los usuarios en el comercio electrónico
  4. Se definió un macroobjetivo y dos microobjetivos. El macroobjetivo era la compra finalizada a través del uso del sistema de recomendación, y los dos microobjetivos eran la adición al carrito del producto y el inicio del proceso de compra.

Nunca había realizado un test A/B similar y fue muy curioso comprobar los resultados tan dispares entre un sistema de recomendación y otro teniendo en cuenta que las condiciones eran las mimas para ambos.

¿Los resultados? En primer término, el objetivo de adición a carrito de productos ofertados por el recomendador dió los siguientes resultados:

Imagen de A/B test en recomendador ecommerce

Como puede verse, el sistema de recomendación que denominamos “original” ofrecía un ratio de adición al carrito del 1,90% por un 1,67% del otro sistema de recomendación. Una diferencia del 11,8%, pero al hablar de un micrrobjetivo que no implica la compra final, debemos considerarlo como un dato importante por formar parte del proceso de compra, pero no crítico.

El objetivo de inicio de compra sobre clicks en los sistemas de recomendación dió estos resultados:

Imagen de ratio de conversion a inicio de proceso de compra

Como puede verse, de nuevo el sistema de recomendación denominado “original” ofrecía mejores tasas de transacción que el sistema de recomendación alternativo. En este caso, aunque ambos sistemas partían de la misma configuración inicial, el “original” presentaba un ratio del 0,71% de éxito de inicio de compra tras click en producto recomendado por el sistema frente a un 0,59% del sistema alternativo, con lo que la diferencia en la eficacia entre ambos recomendadores para este objetivo era del 17,4%.

Respecto al objetivo más crítico, a priori, que era la finalización del proceso de compra. O sea, la finalización de compra tras hacer click en los productos sugeridos por el recomendador estos fueron los resultados:

Imagen de test A/B de objetivo a compra

Como puede verse en la imagen, de nuevo el sistema de recomendación “original” ofrece un mejor ratio frente al “B”. En este caso, un 0,64% frente a un 0,51%. Aquí ya hablamos de compras finalizadas tras click en producto ofertado por el recomendador. Hablamos de una diferencia de un 20,3% en el ratio de conversión entre dos sistemas, a priori, de idéntico funcionamiento.

Lo que este test deja claro es que no todos los sistemas de recomendación ofrecen resultados de igual valor para los usuarios de un ecommerce

Y esto es algo clave. Un sistema de recomendación, porque sí, no va a ayudarnos a vender más ni a vender mejor. Lo hará en la medida en que su configuración y oferta de productos esté alineado con el target del cliente base del ecommerce, y lo que este test demuestra es que sistemas de recomendación basados en los mismos principios ofrecen resulatdos muy diversos, precisamente porque presentan resultados diversos. Mientras que el sistema original es evidentemente mejor en este ecommerce, el sistema alternativo, pese a ejecutarse en las mismas condiciones que el original, ofrece resultados de conversión muy diversos.

¿A qué se deben esas diferencias si el entorno era idéntico? Sencillamente a que los dos sistemas funcionan con sus propios algoritmos de recomendación y uno de ellos resulta estar más alineado con las intenciones de compra de los usuarios de este comercio electrónico.

La lección a aprender en este caso es sencilla. Hay varios sistemas de recomendación en el mercado, pero no todos ofrecen el mismo rendimiento en un comercio electrónico, y dado el protagonismo que pueden llegar a tener en un ecommerce no parece mala idea testar su eficacia, dado que pueden afectar de manera muy significativa a la capacidad de venta del ecommerce.

Be Sociable, Share!

Tags: , , , ,

  1. Pat’s avatar

    Didáctico, como siempre.
    Gracias por compartir los datos, oiga.

  2. Ricardo Tayar’s avatar

    Muchas gracias por leerme, Pat. Siempre procuro ser didáctico, ya sabes, y lo de compartir los datos es la única manera que conozco de que las cosas sean veraces y no fruto de una opinión 🙂

    Saludotes moza!

  3. Bárbara’s avatar

    A mí lo que me ha llamado la atención es el bajo ratio de conversión (tanto micro como macro) de ambos recomendadores. Aunque uno funcione mejor que el otro, los 2 tienen ratios muy bajos

  4. Ricardo Tayar’s avatar

    Hola Barb!

    Gracias por el comentario. Pero te aseguro que en este ecommerce en concreto esos ratios no son nada bajos. El importe medio de pedido es de más de 100 euros y no son productos de gran consumo, con lo que, creeme, son ratios muy buenos y dentro de las medias del sitio web. Lo relevante es la diferencia de más de un 20% en los sistemas de recomendación.

    Un abrazote!

  5. Federico’s avatar

    Primero de todo, queja:
    Oye! Cómo no me avisas que has publicado un artículo tan pero tan pero tan interesante!!! Está excelente! 😛

    No sabes cuánto me cuesta hacerle entender a la gente que “aquello que NO se puede medir efectivamente, NO se puede mejorar” y este artículo es una ODA a la medición. Enhorabuena!!

    Luego, respecto al argumento del artículo, me gustaría añadir que, últimamente está muy de “moda” juzgar erroneamente este tipo de servicios por sus cualidades “estéticas” más que por sus resultados.

    Que te permita jugar con diseños y colorines pero si no te transmite claramente el resultado que aporta, de poco sirve poder diseñar todo lo que quieras si luego no queda claro lo que genera.

    Otro mito fenomenal es el de las Reglas de Negocio: Una regla de negocio para un motor de recomendaciones es un filtro: una condición que deben cumplir el resultado de las recomendaciones. Cuantas más reglas de negocio pongas, menos por comportamiento será, ya que se limitarán los resultados de los “mejores productos” a mostrar.

    Y lo que es peor de todo: una regla de negocio te podrá aportar un incremento marginal, del 2% – 4% de los resultados pero incluir un widget de recomendaciones donde hay una gran afluencia de tráfico, a lo mejor puede llegar a aumentar los resultados en un 10% – 20%!!

    Me ha encantado este artículo. Gracias por ponerlo tan claro y tan transparente!

    Con tu permiso, voy a utilizar este artículo de referente y lo voy a difundir en la medida en que me sea posible y oportuno. 🙂

  6. Ricardo Tayar’s avatar

    Hola Federico,

    Muchas gracias por tus palabras. Además, en el caso específico de Blueknow, fue uno de los sistemas objeto de este test.

    Sobre tu comentario, estoy de acuerdo en todo, así que podo puedo aportar. El problema de los recomendadores es que son elementos en los que, en general, se invierte poco tiempo de trabajo. Haciéndolo bien pueden conseguirse muchos y buenos resultados, pero claro, eso requiere tiempo y sobre todo, ir afinando poco a poco las recomendaciones y personalizando las mismas.

    Sobre el artículo, puedes usarlo como quieras (mejor si es para algo bueno :)) siempre y cuando menciones la fuente, ¿ok?

    Un saludo,

    Ricardo

  7. Federico’s avatar

    Hola Ricardo!

    Mil gracias por tu autorización! En efecto, cualquier mención que haga al mismo citaré debidamente a la fuente.

    Respecto a tu comentario, sigo estando de acuerdo contigo:

    Una vez que se alcanza a una “meseta” de resultados, lo que se debe hacer es buscar mediante en este caso, Sí, con reglas de negocios específicas para ver cómo inciden en los resultados y siempre buscando mejorar ese extra 2-4% que mencionaba anteriormente.

    En definitiva me gustaría subrayar:

    Sistema de Recomendación + transparencia de Resultados + Test A/B + luego de alcanzar un “techo” en la incidencia, hacer experimentos con reglas de Negocios.

    Gracias por compartir tus conocimientos!

    Saludos!

    Federico