Tests A / B y multivariantes en UX

Seguro que ya has oído hablar sobre los tests A / B dado que son una práctica muy extendida a día de hoy. Sin embargo, si buscas información sobre ellos, verás que la mayoría de información al respecto es cómo usarlos para mejorar los resultados SEO y SEM. Por ello, en esta entrada quiero hablarte sobre cómo usar los test A / B desde la perspectiva del diseño de producto para mejorar la experiencia de uso.

¿Qué es un test A / B?

Un test A / B es un experimento consistente en mostrar dos o más versiones equiparables de un mismo producto a dos grupos diferentes pero similares de personas para comprobar qué opción tiene mejor aceptación.

Algunos de los elementos que como diseñadores nos merece la pena evaluar para mejorar la experiencia de uso son:

• Llamadas a la acción / CTAs (botones):podemos modificar texto, color, tamaño, posición o incluso la forma y la incorporación de icono para comprobar qué tipo de botón es el mejor para los usuarios.
• Textos: nuevamente podemos alterar el copy, el color, el tamaño o los efectos y posición de los textos para ver cuáles son más útiles y claros para los usuarios. También podemos modificar el lenguaje y tono para comprobar cuál funciona mejor con la audiencia seleccionada.
• Imágenes: el cambio de imágenes no es simplemente cambiar el contenido que se representa, también podemos cambiar el estilo de la imagen representando lo mismo, el tono y color de la imagen, el tamaño o su posición.
• Navegación: podemos cambiar la forma de navegar modificando el diseño de los menús, el copy de los enlaces, la jerarquía de los mismos o las direcciones a las que se envía al usuario, aunque esto último se aleja un poco de los tests A / B.
• Efectos visuales y animaciones: podemos comprobar si los efectos visuales y las animaciones son del agrado o no de los usuarios o si les confunden con estos tests A / B. Dependerá del tipo de efecto o animación la utilidad de este tipo de experimento.

Los tests A / B en diseño UX

Es cierto que los tests A / B se utilizan para mejorar las KPIs relacionadas directamente con el negocio. No obstante, también pueden mejorar mucho la experiencia del usuario sin una relación tan cercana a la consecución de objetivos de marketing.

Por ejemplo, con un test A / B podríamos comprobar qué copy es más comprensible, informativo o útil para el usuario. También qué tipografía es más legible o agradable para ellos. De igual forma, podemos comprobar qué manera de destacar la información mejora la encontrabilidad y la navegación resultando en un flujo más directo, eficiente y / o cómodo para el usuario.

En cuanto a la importancia de estos tests en nuestra disciplina UX / UI / producto considero las siguientes razones:

• Identificar patrones de comportamiento: Analizar los resultados de los tests A/B ayuda a comprender qué elementos generan más impacto, permitiendo ajustar la experiencia para diferentes segmentos de usuarios.
• Detectar preferencias ocultas: Por ejemplo, un test puede mostrar que los usuarios prefieren formularios más largos porque perciben que son más completos y confiables, a pesar de que inicialmente el equipo pensó que los formularios cortos serían mejores.
• Respaldo basado en datos: Permite demostrar con métricas claras si un cambio en el diseño realmente mejora la experiencia o los resultados esperados. Por ejemplo, se puede validar si una nueva disposición del menú mejora la navegación del usuario.

Desde la perspectiva del diseño UX y de producto los tests A / B forman parte de las técnicas o metodologías de UX Research. 

Tests A/B, A/B/C y Tests Multivariantes.

Aunque siempre solemos hablar de tests A / B porque son los más comunes, lo cierto es que no son los únicos. Por consiguiente, considero necesario explicar qué tipos de tests podemos hacer.

Los principales son los tests A / B típicos que comparan dos versiones de un mismo elemento de la web. Así pues, estas pruebas muestran dos versiones de una misma web en la que sólo un elemento (CTA, textos, imágenes) cambia.

Por otra parte, tenemos los tests A / B / C… que al igual que los A / B muestran diferentes versiones de un solo elemento, pero en este caso en vez de ser solo dos variantes, son más.

Finalmente, los tests multivariantes, comprueban cambios en varios elementos de la web a la vez y aunque lo más común es que solo comparen dos versiones (por ejemplo página original vs página con título, CTA e imagen de fondo), también pueden comparar más versiones, siempre que los elementos sean los mismos.

¿Cómo organizar un test A / B?

Para realizar un test A / B adaptaremos los 4 pasos que te explicaba en ¿Cómo realizar UX Research? y que son los siguientes:

Planificación

La planificación es vital en cualquier experimento o investigación si queremos que tenga validez. Los puntos que debe recoger esta planificación son los siguientes:

Contexto de la investigación

En el caso de los tests A / B lo primero sería establecer el contexto en el que se desarrolla la investigación. Si es el primer test o ha habido estudios anteriores, qué resultados dieron, por qué hacer un test A / B ahora, etc. 

Objetivos, hipótesis y métricas

El punto más candente de la investigación es saber qué buscamos. Para ello debemos definir los objetivos de la investigación de los que plantearemos hipótesis y a las que asignaremos métricas relevantes.

Por ejemplo, podemos tener el objetivo de mejorar la experiencia de compra. Para ello nuestras hipótesis pueden ser que separar el proceso de check-out en diferentes pantallas mejora la tasa de éxito de conversión en base al efecto de la meta gradual o que  estos cambios aumenten las ventas. Para ello podemos considerar diferentes métricas como son la tasa de abandono y el tiempo de finalización para la primera hipótesis y el valor del ticket medio y los ítems / compra para la segunda hipótesis.

Variaciones y cambios.

Debemos aclarar de inicio cuántas variaciones vamos a comprobar y qué cambios vamos a realizar a cada una. Es decir, saber si vamos a realizar un test A / B o multivariante y qué va a haber diferente en cada versión respecto a la original. Recuerda que los cambios deben ser equiparables.

Logística.

Otro punto importante es establecer quiénes van a llevar a cabo el experimento y qué rol va a ocupar cada uno. También el tiempo o cantidad mínima de participantes que necesitamos como muestra para cada versión o la plataforma (web desktop, web mobile, app) en la que queremos ejecutar el test.

En cuanto a la logística también debemos establecer la herramienta que vamos a usar. Creo que las más conocidas son Optimizely, AB Tasty, FigPii, VWO y Hubspot. Lamentablemente Google Optimize dejó de existir en 2023. También puede ser buena idea vincularlos con Hotjar o Microsoft Clarity para obtener más información.

Ejecución

El proceso de ejecución consiste en llevar tu plan a la práctica. No tiene mucha dificultad y los pasos van a depender de la herramienta que utilices. Así que no tengo mucho que decir al respecto. Eso sí, no interrumpas el test antes de tiempo ni hagas cambios mientras se ejecuta para garantizar la fiabilidad de los resultados.

Volver a ejecutar

Este punto vendría después del análisis, pero por no crear un punto nuevo y por afinidad con la ejecución, lo menciono ya.

Si se puede, es importante volver a ejecutar el test A/B con los mismos criterios para asegurar que el resultado anterior es fiable y no fruto de un momento dado o un falso positivo. Por supuesto habrá diferencias entre los resultados del primer test y los de este último. Si las diferencias son mínimas, significará que es válido y si son altas, es probable que el test no fuera de fiar, por lo que deberíamos hacer un nuevo experimento para salir de dudas.

Análisis

Para el análisis de los tests A / B recogemos los datos que nos da la herramienta y los utilizamos para responder a las preguntas de la investigación.

También es conveniente poner esta información en contexto y comprobar otras métricas fuera del test para enriquecer el análisis.

Presentación

La presentación es la última etapa del proceso de pruebas A / B y posiblemente sea prescindible. No obstante, lo más probable es que debas informar de los resultados a algún stakeholder. Como las herramientas nos muestran la información de forma bastante bruta es necesario hacer un informe donde todos los datos queden de forma visual.

Seguramente queramos que el contenido del informe que debemos presentar incluya una breve presentación de la planificación para dar autoridad a la investigación, una explicación muy visual de los cambios, los resultados y el contexto y finalmente una recomendación de próximos pasos en base a los resultados obtenidos.

Errores Comunes al Realizar Tests A/B en UX

Los tests A/B son herramientas valiosas, pero su eficacia depende de cómo se implementen y analicen. A continuación, te expongo algunos errores frecuentes a evitar respecto a hacer pruebas A/B.

Probar demasiadas variables de una vez. Aunque como hemos visto existen los test multivariantes, los resultados en estos tienen menos fiabilidad que los tests monovariables porque desconocemos cuál es la verdadera causa de la mejora. ¿Hay un elemento que mejora y el resto ni suman ni restan? ¿Suman todos? ¿Suman unos y restan otros?. Yo esta modalidad sólo la he visto aplicada para comprobar qué diseño era mejor si el A o el B en conjunto, no con intención de mejorar elementos particulares.

Aceptar datos insuficientes. Si la muestra es pequeña, aunque a nosotros nos parezca grande, no será suficientemente representativa. De igual manera si realizamos el experimento al final de una página, no nos vale que la visite muchísima gente, necesitamos que esa gran cantidad de personas llegue a la sección donde hacemos el test A/ B. De lo contrario, es fácil caer en falsos positivos.

Cortar el experimento antes de tiempo. De forma similar al punto anterior, es posible que no tengamos una muestra suficiente pero que por impaciencia o por alguna razón de peso, queramos cortar el experimento antes de llegar a un número significativo de casos. No te miento, este es mi principal error, claro que yo soy consciente del problema de fiabilidad que esto supone.

Sobredimensionar las métricas. Cuando vemos que los resultados de las pruebas son positivos, es fácil pecar de euforia y olvidar el contexto, lo cual puede endeudar el futuro. Por ejemplo, es factible que mejorar la tasa de conversión, termine corroyendo la satisfacción y confianza en el producto a posteriori. Por eso, lo ideal es poner cada resultado en contexto y hacer seguimiento de otras métricas.

Hacer cambios insignificantes. El último error que te traigo es casi lo contrario del primero, es hacer pruebas con cambios tan pequeños que no supongan casi mejoras. La solución a esto puede ser apostar por tests multivariables o, al menos, hacer cambios más drásticos y significativos en un elemento. Por ejemplo, si vas a modificar un titular, podrías probar a no solo cambiar el texto, sino también el tono.

Y esto es todo respecto a los tests A / B y multivariantes en diseño UX