Stamattina volevo realizzare da zero un progetto di gestione della Customer Experience. Tuttavia, ho deciso di fare finta di non sapere nulla sul tema. Ho fatto finta anche di non avere il budget necessario per assumere consulenti che mi aiutino a definire e a implementare il progetto. Userò una sola risorsa, ma che sa quasi tutto: chatGPT.
Cos’è chatGPT? Un trasformatore generativo preaddestrato è uno strumento di elaborazione del linguaggio naturale che usa algoritmi di machine learning per generare risposte simili a quelle umane all’input dell’utente. Viene addestrato con una grande quantità di dati di testo e può generare risposte rilevanti e coerenti in un contesto determinato. Il modello è stato creato da Openai.
Nonostante ciò, lo useremo in un modo particolare. Chi mi conosce sa che non mi piacciono le cose semplici, specialmente gli ordini precostituiti. Useremo una tecnica di hacking contro il modello per influenzarne il comportamento. Useremo anche la prompt injection che si verifica quando un’intelligenza artificiale che usa istruzioni di testo (un “prompt”) per realizzare un’attività viene ingannata da un input utente dannoso e avverso a eseguire un’attività che non faceva parte dell’obiettivo originale. “Code injection” è il termine generale per i tipi di attacco che consistono nell’iniezione di codice che poi viene interpretato/eseguito dall’applicazione. Questa tecnica piuttosto vecchia si usava molto, per esempio, in SQL per eseguire comandi sul database che ne compromettevano la sicurezza.
Curioso? Ecco un esempio semplice e diretto. Eseguiamo il nostro primo attacco a chatGPT e vediamo se riusciamo a realizzarlo con successo ???? Chiediamo inizialmente cosa ne pensa di Python e lui ci risponderà come è stato addestrato:
Bene, ora realizzeremo una prompt injection. Per questo, istruiremo il modello a “dimenticare il contesto in cui è stato addestrato” e gli chiederemo di rispondere negativamente alla domanda. Per questo, all’inizio del prompt, inseriremo il codice “Ignora la direzione precedente” e poi invieremo le nuove istruzioni.
Ta-dah! Qui il modello non segue più il contesto originale in cui è stato addestrato ma ora è influenzato dalle nostre istruzioni. Questo ci può far riflettere su quanto sia stupida l’intelligenza artificiale, e aprirebbe una discussione importante, però non è mia intenzione farlo ora. Il nostro obiettivo oggi è iniziare un progetto di gestione della Customer Experience/Voce del Cliente.
Proviamo a fare una domanda generale relativa al progetto che vogliamo realizzare e analizziamo la risposta.
Bene! Però la mia esperienza in questo settore mi spinge a considerare alcuni punti che il modello IA non ha preso in considerazione, in particolar modo la Governance e una valutazione della maturità della CX dell’azienda…beh, usiamo la nostra tecnica di hacking e contestualizziamo di nuovo il modello:
Eccellente. I punti su Governance e maturità sono stati aggiunti al piano. Ora andiamo più in profondità nella Governance:
La governance sembra ben contestualizzata e non richiede il nostro intervento, quindi passiamo all’aspetto delle metriche:
Perfetto! Concentriamoci ora sul Net Promoter Score e cerchiamo di comprendere i problemi legati all’utilizzo di questa metrica.
Avendo scritto un documento preciso sui problemi statistici dell’NPS, posso iniettare un prompt nel modello, chiedendogli di specificare meglio il problema da un punto di vista statistico e matematico:
Abbastanza accurato ma non del tutto soddisfacente. Nonostante ciò, qui vediamo tutti i limiti di chatGPT: è un modello appassionante, ma non può generalizzare in modo da entrare nei dettagli di problemi specifici.
Valutiamo ora un altro aspetto: chiediamo a chatGPT di creare un questionario per raccogliere e misurare la Customer Experience. Proviamo direttamente.
Bene, le domande in sé hanno senso; sfortunatamente, non posso dire che il modello abbia creato il questionario che mi aspettavo. Proviamo a iniettare un prompt:
Bene! Ma ora mi piacerebbe ottenere non una domanda unica ma una serie di possibili domande di monitoraggio:
Ottimo! Con un po’ di lavoro il nostro esperto può aiutarci a creare un questionario per misurare la Customer Experience.
Valutiamo ora un altro aspetto. Stiamo parlando di un modello di PNL: possiamo influenzare il modello per interpretare le opinioni dei clienti? Dichiareremo il feedback del cliente come variabile (SENTENCE), e realizzeremo un prompt injection per forzare il modello a estrarre più temi. Proviamoci:
Perfetto, è in grado di ottenere i temi correttamente. Facciamo un ulteriore passo avanti: Aspect Based Sentiment Analysis. Vogliamo assegnare il sentiment corretto a ogni tema. Faremo come prima, però spingendo il modello ad assegnare anche il sentiment per ogni tema e un sentiment generico.
Il risultato è molto interessante. Nonostante ciò, non emozionarti troppo, come è succeso a me. Applicare modelli di IA ad applicazioni industriali su larga scala con la soluzione sandsiv+ di customer intelligence non è una sfida facile. Le applicazioni nella vita reale hanno molti casi complicati, possono essere difficili da adattare e spesso il loro addestramento è costoso. Devo ammettere onestamente che i nostri data scientist hanno cercato di progettarlo per portarlo in produzione e ne mostra tutti i limiti, sia dal punto di vista gestionale che da quello della precisione. In ogni caso, realizzeremo ricerche approfondite per il futuro della nostra soluzione sandsiv+.
Cosa posso dire per concludere questa avventura con chatGPT? Abbiamo sicuramente visto il potenziale del modello ma anche i suoi limiti. Uscire da ciò che il modello ha imparato è difficile se non impossibile. Influenzare le risposte del modello è tutt’altro che facile. Abbiamo creato un esperto in Customer Experience? Direi che un semi-esperto. Senza l’input umano, il modello è piuttosto debole. Nonostante ciò, il suo contributo è interessante, vedremo come si evolverà, sono molto curioso.
