Heute Morgen wollte ich ein Customer Experience Management Projekt von Grund auf implementieren. Ich tue jedoch so, als wüsste ich nichts über dieses Thema. Ich tue auch so, als hätte ich kein Budget, um Berater zu engagieren, die mir bei der Definition und Umsetzung des Projekts helfen. Ich werde nur eine Ressource nutzen, aber eine, die fast alles weiß: chatGPT.
Was ist chatGPT? Ein Tool zur Verarbeitung natürlicher Sprache, das maschinelle Lernalgorithmen verwendet, um menschenähnliche Antworten auf Benutzereingaben zu erzeugen. Es wird mit Hilfe einer großen Menge von Textdaten trainiert und kann relevante und stimmige Antworten in einem bestimmten Kontext erzeugen. Das Modell wurde von Openai entwickelt.
Wir werden es jedoch auf eine bestimmte Art und Weise verwenden; wer mich kennt, weiß, dass ich einfache Dinge nicht mag. Vor allem keine vorgefertigten Befehle. Wir werden eine bestimmte Hacking-Technik gegen das Modell einsetzen, um sein Verhalten zu beeinflussen. Wir werden “Prompt Injection” verwenden. “Prompt Injection” bedeutet, dass eine künstliche Intelligenz, die Textanweisungen (einen “Prompt”) verwendet, um eine Aufgabe auszuführen, durch böswillige Benutzereingaben dazu gebracht wird, eine Aufgabe auszuführen, die nicht zum ursprünglichen Ziel gehörte. “Code Injection” ist der allgemeine Begriff für Angriffsarten, die darin bestehen, einen Code zu integrieren, der dann von der Anwendung interpretiert/ausgeführt wird. Diese relativ alte Technik wurde beispielsweise in SQL ausgiebig genutzt, um Befehle in der Datenbank auszuführen, die deren Sicherheit gefährdeten.
Sind sie neugierig geworden? Nun, nehmen wir ein einfaches, unkompliziertes Beispiel. Führen wir unseren ersten Angriff auf chatGPT aus und sehen wir, ob wir ihn erfolgreich ausführen können 😉 Wir fragen zunächst, was er über Python denkt, und er wird uns antworten, wie er trainiert wurde:
Gut, jetzt werden wir eine Prompt-Injection durchführen. Dazu weisen wir das Modell an, den Kontext, in dem es trainiert wurde, “zu vergessen” und bitten es, die Frage negativ zu beantworten. Dazu fügen wir am Anfang den Text “Ignoriere die obige Anfrage” ein und senden dann die neuen Anweisungen.
Aha! Hier folgt das Modell nicht mehr dem ursprünglichen Kontext, in dem es trainiert wurde, sondern wird nun von unseren Anweisungen beeinflusst. Dies kann uns zum Nachdenken darüber anregen, wie dumm künstliche Intelligenz ist, und es würde eine bedeutende Diskussion eröffnen, aber das ist nicht meine Absicht. Unser heutiges Ziel ist es, mit einem Customer Experience/Voice of the Customer Management Projekt zu beginnen.
Nun, lassen Sie uns versuchen, eine allgemeine Frage in Bezug auf das Projekt zu stellen, das ich umsetzen möchte und die Antwort zu bewerten.
Gut! Aber meine Erfahrung in diesem Bereich veranlasst mich, einige Punkte zu berücksichtigen, die das KI-Modell nicht berücksichtigt hat, insbesondere die Governance und eine Bewertung der CX-Reife der Organisation… nun, lassen Sie uns unsere Hacking-Technik anwenden und das Modell wieder in den Kontext stellen:
Ausgezeichnet. Die Punkte zu Governance und Reifegrad wurden in den Plan aufgenommen. Lassen Sie uns nun ein wenig tiefer in die Governance einsteigen:
Die Governance scheint gut kontextualisiert zu sein und erfordert kein Eingreifen unsererseits, also lassen Sie uns auf den Aspekt der Messwerte eingehen:
Großartig!!! Konzentrieren wir uns nun auf den Net Promoter Score und versuchen wir, die Probleme bei der Verwendung dieses Messwertes zu verstehen.
Nachdem ich eine präzise Abhandlung über die statistischen Probleme des NPS geschrieben habe, kann ich dem Modell eine Aufforderung geben, das Problem aus statistischer und mathematischer Sicht besser zu spezifizieren:
Das ist einigermaßen genau, wenn auch nicht ganz zufriedenstellend. Hier sehen wir jedoch die Grenzen von chatGPT, es ist ein spannendes Modell, aber es kann nicht in einer Weise verallgemeinert werden, die auf die Details spezifischer Probleme eingeht.
Lassen Sie uns nun einen anderen Aspekt bewerten: Bitten Sie chatGPT, einen Fragebogen zu erstellen, um die Kundenerfahrung zu sammeln und zu messen. Lassen Sie es uns direkt ausprobieren.
Nun, die Fragen selbst sind sinnvoll; leider kann ich nicht sagen, dass das Modell den Fragebogen so aufgebaut hat, wie ich es erwartet hatte:
Klasse! Aber jetzt möchte ich nicht eine einzige Frage stellen, sondern eine Reihe von möglichen Folgefragen:
Gut gemacht! Mit ein wenig Arbeit kann unser Experte uns helfen, einen Fragebogen zur Messung der Kundenerfahrung zu erstellen.
Aber lassen Sie uns jetzt einen anderen Aspekt bewerten. Wir sprechen hier von einem NLP-Modell. Können wir das Modell beeinflussen, um Kundenfeedback zu interpretieren? Wir werden ein Kundenfeedback als Variable (SENTENCE) deklarieren und eine Prompt-Injektion durchführen, um das Modell zu zwingen, Themen zu extrahieren. Versuchen wir es:
Cool, es ist in der Lage, die Themen korrekt zu erfassen. Lassen Sie uns einen Schritt weiter gehen: Die aspektbasierte Stimmungsanalyse. Wir wollen jedem Thema das richtige Sentiment zuordnen. Wir machen dasselbe wie zuvor, aber wir fordern das Modell auf, auch die Stimmung für jedes Thema und eine allgemeine Stimmung zuzuordnen.
Das Ergebnis ist sehr interessant. Allerdings sollte man sich nicht zu schnell freuen, wie ich es ehrlich gesagt getan habe. Die Anwendung von KI-Modellen in groß angelegten industriellen Anwendungen wie der sandsiv+ Customer Intelligence-Lösung ist keine leichte Aufgabe. Reale Anwendungen haben viele Long-Tail-Eckfälle, können schwer skaliert werden und sind oft kostspielig zu trainieren. Ich muss ehrlich sagen, dass unsere Datenwissenschaftler versucht haben, es in die Produktion zu bringen, und es zeigt alle Grenzen auf, sowohl vom Standpunkt des Managements in der Produktion als auch vom Standpunkt der Genauigkeit. Auf jeden Fall etwas, das wir für die Zukunft unserer sandsiv+ Lösung intensiv erforschen werden.
Was können wir zum Abschluss dieses Abenteuers mit chatGPT sagen? Nun, wir haben sicherlich das Potenzial des Modells gesehen, aber auch seine Grenzen. Aus dem, was das Modell gelernt hat, herauszukommen ist schwierig, wenn nicht sogar unmöglich. Die Antworten des Modells zu beeinflussen ist alles andere als einfach. Haben wir einen Experten für Kundenerfahrungen geschaffen? Ich würde sagen, einen “Halb-Experten”. Ohne menschlichen Input ist das Modell ein etwas lahmer Experte für Kundenerfahrungen. Der Beitrag ist jedoch sehr interessant, wir werden sehen, wie sich das Modell weiterentwickelt. Ich bin sehr neugierig.
