INVESTIGACIÓN, ANÁLISIS Y REFINAMIENTO

Una importante empresa multinacional necesita unificar varias herramientas de desarrollo personal y profesional para sus empleados utilizando un nuevo canal, el chatbot.

CLIENTE

Multinacional del sector de las infraestructuras, transporte y servicios a ciudades

CONSULTORA

BEEVA

ROL

UX Researcher

DISPOSITIVOS

Desktop responsive

AÑO

2017

DURACIÓN

2 meses 

TECNOLOGÍA

LUIS Microsoft

METODOLOGÍAS
UTILIZADAS

· User bot
· Voice & Tone
· Shadowing
· Análisis de
  conversaciones
· Encuestas
· Verificación
  de hipótesis
· Diseño UI

El reto

El departamento de Talento (RRHH) de esta multinacional tiene entre otros objetivos proporcionar al empleado herramientas para facilitar su desarrollo y formación continua. Fruto de la gran variedad de herramientas que tienen, necesitan unificar en un mismo espacio toda la información relativa a las habilidades y capacitaciones que tiene a su alcance cada empleado.

Siendo coherentes con la transformación digital que están viviendo en estos momentos y sabiendo que los cambios se originan desde dentro, quieren aprovechar el uso de las nuevas tecnologías para impulsar a los empleados a adoptar una nueva mentalidad.

Tras varias sesiones entre diferentes departamentos internos, se decide utilizar un chatbot para este fin, por su carácter dual entre lo tecnológicamente innovador y la cercanía del diálogo.

Antes de lanzar el chatbot a toda la compañía (casi 96.000 empleados y más de 15 países) se realizó un pequeño proyecto piloto a modo de mpv con una parte de los empleados de España.

El proceso

Punto de partida

Antes de lanzarse a desarrollar el chatbot, siguiendo una metodología Lean, el cliente validó con usuarios reales si esta idea tenía sentido en ese momento para sus empleados.

Para ello realizaron un estudio en el que, mediante diversas técnicas de exploración, detectaron una serie de condicionantes que aprovecharon como punto de partida de cara a diseño.

Condicionantes

Tras las pruebas realizadas con usuarios detectamos algunos puntos importantes a tener en cuenta a la hora de presentar la herramienta. En general los usuarios:

• Esperan encontrarse ante una herramienta muy evolucionada con un nivel de conversación casi humano.
  
• Quieren que el bot les ofrezca respuesta a una batería casi ilimitada de preguntas relacionadas con el ámbito de los RRHH, mucho más allá de las competencias.
  
• Tienen una tolerancia muy baja a los errores.

Estrategia principal

La estrategia principal para combatir estos condicionantes fue la comunicación:

• Modular las expectativas de los usuarios en cuanto al nivel de desarrollo de la herramienta, dejando claro que se trata de una máquina.
• Recalcar que el proyecto está en una fase incipiente, que nace pequeño pero irá evolucionando con el tiempo.
• Acotar de manera clara el rango de respuestas que puede ofrecer el bot, y por tanto el ámbito de preguntas.

FASES DEL LANZAMIENTO

Tras esta primera fase de validación del producto había que desarrollarlo.

Fase 1 - Prepárate. Presentación del bot a los empleados como herramienta que les permitirá autoconocerse y ver que en que áreas de desarrollo profesional pueden enfocarse.  
Fase 2 - Conversa.
Podrán hacer al borrador de su PDI y tener una conversación de calidad con su manager.

Fase 3 - Sigue creciendo. Posicionaremos al bot como herramienta de desarrollo continuo que estará disponible para el empleado durante todo el año.

Mi misión

Entré en el proyecto tras ésta primera fase de exploración. Había una primera versión de la conversación hecha, pero había que darle cuerpo, continuarla y desarrollar todo el proyecto. A grandes rasgos éstas fueron las fases en las que trabajé:

Diseño

Diseñamos la personalidad del bot y su tono de voz, así como la dinámica de la conversación y el interface visual. También diseñamos diverso material corporativo para la campaña de lanzamiento e infografías y presentaciones que mostraban los resultados de la campaña.

Análisis

Trabajé mano a mano con la product manager de talento para detectar, catalogar y solucionar los problemas de fluidez en la conversación. 
Recogimos feedback de los usuarios por diversos canales que utilizamos para refinar el producto.

Refinamiento

Fuimos depurando la conversación introduciendo los cambios y validándolos en iteraciones semanales. Probar el comportamiento de determinadas expresiones en un entorno pequeño, nos permitió aprender mucho y evolucionar en muy poco tiempo.

Proceso de diseño

Diseñar

Diseño del chatbot

Los insights recogidos en el estudio de la fase de exploración nos dieron muchas pistas de cómo debía ser y comportarse el chatbot.
Los requisitos principales pedían que fuera amable y cálido, pero que se notara que no era humano.

Realizamos una especie de user persona del bot que mostraba tanto su personalidad como sus rasgos comunicativos principales.

Imagen: User persona - bot.

· Muchas gracias por visitarme
· Genial, ¡nos vemos pronto!

AGRADECIMIENTO

Gracias feedback

· ¡Muchas gracias por tu opinión!
· ¡Perfecto! ¡Gracias, así me ayudas a mejorar!
· ¡Gracias por ayudarme a mejorar!

Despedida

· Muchas gracias por visitarme
· Genial, ¡nos vemos pronto!

DISCULPA

No comprendo

· Vaya, no te he entendido. Dímelo de otra forma
· Aún estoy en período de prueba...Dímelo de otra manera
· Todavía estoy aprendiendo, explícate de otra forma
· Sigo siendo un poco novato, dímelo con otras palabras
· ¡Vaya día que tengo! Si quieres puedes contactar con ...
· Vaya...Disculpa hoy no es mi día! Si quieres puedes escribir al equipo de Talento {0} para ¡Seguro que logran ayudarte!

ALEGRÍA

Gracias feedback

· ¡Muchas gracias por tu opinión!
· ¡Perfecto! ¡Gracias, así me ayudas a mejorar!
· ¡Gracias por ayudarme a mejorar!

Despedida

· Muchas gracias por visitarme
· Genial, ¡nos vemos pronto!

SORPRESA

Saludo

·¡Wow, no me lo creo! ¡También has consultado todos los "{-}" de esta competencia!. Elige de nuevo otro formato.
· ¡Increíble! Has accedido a todos los recursos de esta competencia.

Imagen: Tono de voz, muestra de algunas expresiones del bot.

Imagen: Extracto del spreadsheet de conversación del bot.

Diseño de la conversación

ESTRUCTURA
Dividimos el flujo de la conversación en 24 categorías diferentes, que eran cada una de las fases del diálogo donde podía estar el usuario: Saludo de bienvenida primera vez, Saludo de bienvenida recurrente, menú competencias, elección competencia, validación selección competencia, etc. A su vez dentro de cada categoría redactamos diferentes frases alternativas para que la conversación no se hiciera repetitiva y monótona para los usuarios recurrentes.

NUESTRO PUNTO CRÍTICO
Uno de los puntos críticos de este proyecto fue diseñar sin botones. Normalmente los chatbots incluyen botones de acción, imágenes y enlaces, para agilizar la conversación y minimizar los errores. Por diversos motivos desde negocio se pidió que no hubiera ninguno de éstos elementos, lo que nos obligó a invertir mucho esfuerzo en diseñar para el fallo. Al no haber enlaces el usuario debía escribir el nombre exacto y desde desarrollo tuvimos que contemplar una serie de variaciones de palabras que el usuario podría haber escrito mal o confundir semánticamente, así como una gran variedad de respuestas para reconducir la conversación.

FLUJO DE CONVERSACIÓN
El objetivo del bot era guiar al usuario, igual que lo hace cualquier interface. El siempre trataba de dirigir la conversación hacia el mismo punto, recordar su misión, preguntar en qué puede ayudarte.
Por lo tanto aunque el usuario quisiera divagar o no entendiera cuál era el orden de la conversación (flujo de navegación) el bot siempre reconducía al usuario de forma natural, hacia el flujo de conversación que a él le interesaba.

BOTÓN DE ÉXIT
Diseñamos un plan B para cuando el bot no entendiera al usuario tras varios intentos, y evitar que la conversación entrara en bucle sin fin. El bot tras mostrar 5 “no comprendos” derivaba al usuario al equipo de Talento.

ENTRENAMIENTO DEL BOT
Previo a la fase de lanzamiento, realizamos un entrenamiento del chatbot. Al utilizar tecnología de machine learning podíamos "enseñarle" algunas palabras y modular su comprensión lingüística de partida. 

Imagen: Reconduciendo diálogo hasta 5 niveles de "no comprendo"

Lo más complicado de diseñar conversaciones ha sido redactar frases lo suficientemente concretas para que tengan continuidad dentro del diálogo, y al mismo tiempo, lo bastante abiertas como para que tengan sentido en cualquier punto de la conversación.

Diseño del interface

El diseño del interface era muy sencillo, el chatbot estaría implantado dentro de una sección de la intranet corporativa, por lo que debía seguir la misma estructura de la web donde se alojaba.

El foco principal del diseño era obviamente el chat de conversación, que ocupaba la gran parte de la pantalla. Se reservó un pequeño espacio que funcionaba como bienvenida y ayuda básica, posteriormente incluímos las Faqs e información relativa al plan de desarrollo corporativo, ya que observamos que muchos empleados no estaban familiarizados con la terminología y no entendían qué capacitaciones estaban dentro del alcance del chatbot y cuáles no.

Imagen: Algunas imágenes del interface y muestras de copywriting en alertas y páginas de error.

Análisis y Refinamiento

Lanzamos el mvp a empleados de España durante 40 días, aprovechando una campaña de marketing cuyo objetivo estaba relacionado con el de el bot. Para el análisis realizamos tres tipos de dinámicas:

- Shadowing previo al lanzamiento, con compañeros de oficina para comprobar a grandes rasgos que el bot funcionaba, los usuarios entendían la dinámica y no había errores graves.
- Análisis y lectura de todas las conversaciones, con el fin de obtener datos cuantitativos, identificar los errores y mejorar la calidad de las conversaciones semana a semana.
- Cuestionarios a usuarios del bot, para obtener datos cualitativos y entender que se ha hecho bien y mal, cómo podemos mejorar y si el bot puede tener vida más allá de este experimento.

Imagen: Resumen en datos de todo el proceso de análisis y refinamiento del bot.

Análisis de las conversaciones

PUNTOS ROJOS
Necesitamos establecer una estructura que nos ayudara a clasificar los distintos puntos en los que se atascaba el bot o había falta de fluidez en la conversación. Lo que nosotros denominamos "puntos rojos" de conversación. Después de analizar varias conversaciones establecimos tres grandes grupos:

- Puntos de mejora de producto
- Puntos de fricción de la conversación
- Áreas de interés de los usuarios

Ésto nos ayudó a detectar qué parte de la conversación era menos fluída y cuáles eran los focos principales de la falta de fluidez. 

Imagen: Extracto del spreadsheet de análisis y taxonomía de los puntos rojos del diálogo.

Refinamiento semántico

INSULTOS Y CUMPLIDOS
No necesitamos hacer muchos test para comprobar que lo primero que hacían los usuarios era forzar al bot y boicotear la conversación, al principio contemplamos la posibilidad de responder a insultos y cumplidos, por dar dinamismo a la conversación. Pero nos dimos cuenta de que tampoco era necesario diferenciar entre un insulto/cumplido y algo que no había entendido el bot semánticamente.

En las fases tempranas, el sistema de procesamiento del lenguaje que utilizamos, (Languaje Understanting LUIS, de Microsoft Azure) identificaba como insultos todas aquellas palabras que no reconocía, y dado que responder al insulto o cumplido tampoco reconducía la conversación, simplemente eliminamos esta posibilidad y minimizamos los errores.

Imagen: Extracto del spreadsheet de conversación del bot.

PALABRAS CLAVE
Detectamos ciertas palabras clave que los usuarios utilizaban mucho, vimos la posibilidad de introducir algunas respuestas específicas para estas palabras. 

Fue muy interesante ir modulando los diálogos del bot, enriqueciendo la conversación semana a semana.
En muy poco tiempo conseguimos que tuviera conversaciones útiles para los usuarios.

Informes semanales

Para que los responsables de Negocio, Talento y Marketing pudieran valorar la evolución del bot, así como entender las distintas problemáticas que fueron surgiendo, realizamos informes semanales durante las cinco semanas que duró el proyecto.

De esta forma conseguimos alinear los tres departamentos, involucrarlos en el desarrollo del producto y que la toma de decisiones fuera más consensuada y participativa.

Imagen: Informe semanal.

Opiniones generales

OBTENIDAS EN LA ENCUESTA

Lanzamos una encuesta a todos los empleados que habían utilizado el bot.
Detectamos un sentimiento común bastante generalizado que mostramos a continuación.

"Un buen inicio pero me parece que aún tiene pocos recursos asociados y por lo tanto sus respuestas son limitadas. Espero que siga aprendiendo y en el futuro sea una herramienta más útil."

ANÓNIMO - DPTO. SERVICIOS

"Muy curioso. Me gusta que la empresa implante ideas originales y sobretodo relacionadas con la innovación."

ANÓNIMO - DPTO. CONSTRUCCIÓN

"Independientemente de que el resultado sea más o menos perfecto, lo importante es que la compañía se involucre en este tipo de iniciativas, introduciendo e impulsando una nueva cultura entre los empleados, que empiezan a ver a su alrededor nuevas formas de hacer las cosas."

ANÓNIMO - DPTO. CORPORATIVO

Validación de hipótesis

Las encuestas (datos cualitativos) y el análisis de las conversaciones (datos cuantitativos) nos arrojaron mucha luz sobre cómo se comportaban los usuarios con el bot y lo que pensaban de él.

Había llegado el momento de la verdad. Recuperamos las opiniones recogidas en el estudio inicial, que habíamos tomado como hipótesis de partida para articular la estrategia y el diseño del bot, y contrastamos con datos que teníamos si eran correctas o no.

Hipótesis uno

"La falta de respuestas por parte del bot puede resultar desmotivador y no fidelizar a los usuarios."

Hipótesis Correcta. La variedad de respuestas que ofrecimos era suficiente para el mpv. Habrá que invertir mucho más esfuerzo en aumentar la variedad de cara a la evolución del bot.

68,6%

de los usuarios han disfrutado mucho la experiencia de hablar con el bot.

79,9%

de los usuarios del bot, afirman que continuarían conversando con él transcurrida la campaña.

14,4%

de usuarios recurrentes. Obtener un 14,4% de retorno en un mvp es muy positivo. 

Hipótesis dos

"Puede ser cansado estar mirando a una pantalla, siguiendo una conversación durante mucho rato."

Hipótesis Incorrecta. Los usuarios no necesitan invertir mucho tiempo para obtener recomendaciones útiles, además consideran que es sencillo interactuar con el bot.

2'

la mediana de duración de las conversaciones es de 2 minutos, constante en toda la campaña.

74%

de los usuarios del chatbot, les ha resultado sencillo hablar e interactuar con el chatbot.

74,4%

de los usuarios consideran útiles las recomendaciones que les ha ofrecido el bot.

Hipótesis tres

"El hecho de estar tu solo con la máquina puede resultar poco ameno."

Hipótesis Incorrecta. Observamos bastantes usuarios que olvidan que es un robot y le hablan como un humano.

Imagen: Extractos de conversaciones de usuarios reales.

Por regla general tras unas pocas líneas los usuarios se soltaban y utilizando un lenguaje coloquial. 

Hipótesis cuatro

"En general nuestros usuarios relacionan los chatbots con la necesidad de encontrar información en la intranet, como ayuda en la navegación o búsqueda de información."

Hipótesis Correcta. Observamos que los usuarios preguntaban por muchos temas informativos.

15 cat.

Detectamos 15 nuevas áreas de interés que podrían incorporarse al chatbot en fases posteriores.

91,8%

de los usuarios afirma que ha disfrutado la experiencia y le gustaría probar otros chatbots. 

Hipótesis cinco

"En general nuestros usuarios tienen una idea aproximada de lo que son las competencias, pero siguen incluyendo en ese grupo los idiomas y otro tipo de formación ajena."

Hipótesis Incorrecta. Los usuarios no tienen claras las competencias que existen. Les cuesta recordar los nombres y a qué se refiere cada una de ellas.

26 cat.

En total detectamos 26 nuevos bloques de conocimiento, divididos en dos grandes grupos: 
· Formación individual
· Desarrollo personal

32,9%

de los usuarios utilizan terminología diferente a la definida en las competencias. Muchos de ellos recurren al listado o preguntan al bot sobre ellas.

Mejoras segunda fase

Este experimento ha sido sólo un mpv. Listamos a continuación las líneas principales de mejora.

• Usuario quiere que el chatbot le haga recomendaciones en base a su nivel en el organigrama corporativo.

• Cuando el BOT pregunta si sirven las recomendaciones los usuarios no responden ni si ni no, responden de forma abierta y la conversación se pierde.

• Los empleados utilizan un lenguaje natural diferente al asociado a competencias. Revisar semántica y unificar estructura, utilizar verbos o sustantivos.

• Cuando el recurso les gusta, solicitan más info (descripción,horario, fecha...) Incluir otro nivel de profundidad en los recursos donde facilitemos esta info.
  

• Les gustaría poder elegir el idioma de los recursos. Ampliar el catálogo de recursos y clasificarlos por idiomas.

• Solucionar casuística: el usuario pide “más recursos” sin aceptar el anterior.

• Conversación repetitiva, aumentar el número de frases alternativas para cada respuesta.

• Plantear respuesta para la petición: “todas las competencias/ todos los recursos”.

• Los usuarios demandan más niveles de complejidad en los recursos.

• Los usuarios piden web responsive (el chatbot es responsive, la landing no)

Conclusiones finales

Los resultados del experimento son muy positivos.
La muestra de empleados que formaba parte del experimento, ha acogido con buenos ojos la tecnología incluso ha propuesto diversas temáticas que podrían abordar otros chatbots de la compañía en un futuro.

Los empleados ven valor en la tecnología siempre que no haya duplicidad de puntos de información y haya un elemento diferenciador detrás. Ven útil la posibilidad de centralizar la información y poder hacer búsquedas más dinámicas, siempre y cuando el procedimiento sea más ágil que el actual y disponga la información de una forma más accesible y entendible.