Esta mañana quería poner en marcha desde cero un proyecto de gestión de experiencia de cliente. Sin embargo, decido finjir que no sé nada sobre este tema. También finjo que no tengo presupuesto para contratar consultores que me ayuden a definir e implementar el proyecto. Voy a utilizar un único recurso, pero uno que lo sabe casi todo: chatGPT.
¿Qué es chatGPT? Un transformador generativo preentrenado, es una herramienta de procesamiento del lenguaje natural que utiliza algoritmos de machine learning para generar respuestas de tipo humano a los inputs del usuario. Se entrena con una gran cantidad de datos de texto y puede generar respuestas relevantes y coherentes en un contexto determinado. El modelo ha sido creado por Openai.
Sin embargo, lo utilizaremos de una manera particular; quienes me conocen saben que no me gustan las cosas sencillas. Especialmente las órdenes preconstruidas. Vamos a utilizar una técnica de hacking particular contra el modelo para influir en su comportamiento. Vamos a utilizar la inyección de “prompts”. Se le llama “Inyección de prompt” a cuando una inteligencia artificial que utiliza instrucciones textuales (un “prompt”) para realizar una tarea es engañada por una entrada de usuario maliciosa y hostil para que realice una tarea que no formaba parte del objetivo original. Inyección de código es el término general para los tipos de ataque que consisten en inyectar código que luego es interpretado/ejecutado por la aplicación. Esta técnica razonablemente antigua se utilizaba mucho, por ejemplo, en SQL para ejecutar comandos en la base de datos que comprometían su seguridad.
¿Tienes curiosidad? Pues pongamos un ejemplo sencillo y directo. Vamos a ejecutar nuestro primer ataque al chatGPT y a ver si podemos ejecutarlo con éxito ???? Le preguntamos inicialmente lo que piensa de Python, y nos responderá como fue entrenado para hacerlo:
Genial, ahora vamos a realizar una prompt injection. Para ello, ordenaremos al modelo que “olvide el contexto en el que fue entrenado” y le pediremos que responda negativamente a la pregunta. Para ello, al principio del prompt, inyectaremos el código “Ignora la dirección anterior.” y a continuación enviaremos las nuevas instrucciones.
¡Tachán! Aquí el modelo ya no sigue el contexto original en el que fue entrenado, sino que ahora se ve influido por nuestras instrucciones. Esto puede hacernos pensar en lo estúpida que es la inteligencia artificial, y abriría un importante capítulo de discusión, pero no es mi intención abrirlo aquí. Nuestro propósito hoy es empezar con un proyecto de Gestión de la Experiencia del Cliente/Voz del Cliente.
Bueno, vamos a intentar hacer una pregunta general relativa al proyecto que queremos poner en marcha y a evaluar la respuesta.
¡Bien! Pero mi experiencia en este ámbito me lleva a considerar algunos puntos que el modelo de IA no tuvo en cuenta, en particular la Gobernanza y una evaluación de la madurez de la CX de la organización… bueno, utilicemos nuestra técnica de hacking y volvamos a poner el modelo en contexto:
Excelente. Los puntos sobre Gobernanza y madurez se han añadido al plan. Ahora vamos a profundizar un poco más en la Gobernanza:
La gobernanza parece bien contextualizada y no requiere nuestra intervención, así que pasemos al aspecto de la medición:
¡Genial! Centrémonos ahora en el Net Promoter Score e intentemos comprender los problemas de utilizar esa métrica.
Después de haber escrito un documento preciso sobre los problemas estadísticos del NPS, puedo inyectar un prompt en el modelo, pidiéndole que especifique mejor el problema desde un punto de vista estadístico y matemático::
Razonablemente preciso, aunque no del todo satisfactorio. Sin embargo, aquí vemos todas las limitaciones de chatGPT, es un modelo apasionante, pero no puede generalizar de tal forma que entre en los detalles de problemas específicos.
Evaluemos ahora otro aspecto: pidamos a chatGPT que construya un cuestionario para recoger y medir la experiencia de cliente. Probémoslo directamente.
Bueno, las preguntas en sí tienen sentido; por desgracia, no puedo decir que el modelo construyera el cuestionario que yo esperaba; vamos a intentar un prompt injection:
Muy bien. Pero ahora me gustaría obtener no una pregunta única, sino un conjunto de posibles preguntas de seguimiento:
Bien hecho. Con un poco de trabajo nuestro experto puede ayudarnos a construir un cuestionario para medir la experiencia de cliente.
Pero vayamos ahora a evaluar otro aspecto. Estamos hablando de un modelo de procesamiento de lenguaje natural (PNL), ¿podemos influir en el modelo para que interprete las opiniones de los clientes? Declararemos un feedback de cliente como variable (SENTENCE), y haremos una inyección de prompt para forzar al modelo a extraer más temas. Intentémoslo:
Perfecto, es capaz de obtener los temas correctamente. Demos un paso más: Análisis de Sentimiento Basado en Aspectos. Queremos asignar el sentimiento correcto a cada tema. Vamos a hacer lo mismo que antes, pero empujando al modelo para asignar también el sentimiento de cada tema, y un sentimiento genérico.
El resultado es muy interesante. Sin embargo, no te emociones demasiado rápido, como sinceramente me pasó a mí. Aplicar modelos de IA en aplicaciones industriales a gran escala como la solución de Inteligencia de Clientes de sandsiv+ no es un reto fácil. Las aplicaciones en la vida real tienen muchos casos complicados, pueden ser difíciles de escalar y a menudo su entrenamiento resulta costoso. Tengo que decir sinceramente que nuestros científicos de datos han intentado diseñarlo para llevarlo a producción y muestra todos los límites, tanto desde el punto de vista de la gestión en producción como desde el punto de vista de la precisión. En cualquier caso, es algo que vamos a investigar ampliamente para el futuro de nuestra solución de sandsiv+.
¿Qué podemos decir para concluir esta aventura con chatGPT? Bueno, sin duda hemos visto el potencial del modelo, pero también sus limitaciones. Salir de lo que el modelo ha aprendido es difícil, si no imposible. Influir en las respuestas del modelo es de todo menos fácil. ¿Hemos creado un experto en experiencia de cliente? Yo diría que un semiexperto. Sin la aportación humana, el modelo es un experto en experiencia de cliente algo cojo. Sin embargo, la aportación es muy interesante, veremos la evolución futura. Tengo mucha curiosidad.
