Ein kürzlich erfolgter Austausch von Beiträgen mit den üblichen flüssigen CX-Influencern (flüssig in Anlehnung an Zygmunt Bauman) veranlasst mich, diesen kurzen Artikel zu schreiben, in der Hoffnung, dass ich diese CX- Denker endlich aufklären kann.
Wichtig ist, dass es sich bei dem, was ich schreiben werde, nicht um meine Gedanken handelt, sondern um wissenschaftlich belegte Fakten aus akademischen Studien, die im neunzehnten Jahrhundert begannen und sich bis in die heutige Zeit entwickelt haben.
Die Frage war einfach, und die Antwort war statistisch und mathematisch ebenso offensichtlich: Können wir den Antwortverweigerern in einer Umfrage einen Wert zuweisen? Da es sich um eine NPS-Umfrage handelte, war in der Diskussion die Rede davon, dass der Wert der Antwortverweigerer willkürlich zugewiesen wird, um das beobachtete Ergebnis stark und negativ zu beeinflussen.
Die Wirklichkeit war viel einfacher: Da wir 100 Interviews von insgesamt 500 Kunden gesammelt haben, können wir sagen, dass n=100 (die beobachtete Stichprobe) und N=500 (die Gesamtpopulation) sind, so dass der geschätzte Mittelwert in der Stichprobe um +/- 8,77 % variieren kann. Da es sich um einen Net Promoter Score handelt, ist die Spanne noch höher, da wir es höchstwahrscheinlich nicht mit einer Normalverteilung zu tun haben. (siehe meinen Artikel)
Dieselbe Logik, die mir diese Fehlerspanne von 8,77 % beschert, sagt mir, dass ich für ein Konfidenzniveau von 95 % eine Stichprobe von 218 Interviews benötige, die eine Fehlerspanne von 4,99 % ergibt. Aber wie kommen wir zu dieser Fehlermarge? Was ist statistische und mathematische Logik? Ich werde versuchen, es ohne mathematische Formeln zu erklären, im Klartext für Geschäftsleute.
Statistische Stichproben und statistische Schlussfolgerungen
Die statistische Stichprobenziehung (die sich auf die Stichprobentheorie stützt) ist die Grundlage der statistischen Schlussfolgerungen, die sich in zwei große Kapitel gliedern: die Schätzungstheorie und die Hypothesentests. Konkret heißt es, dass eine Erhebung dann eine Stichprobenerhebung ist, wenn sie für Schlussfolgerungen hilfreich ist, d. h. wenn man aus der Stichprobe selbst Informationen über die gesamte Population ableiten kann.
Der letzte Satz ist wichtig und erklärt die Bedeutung der Stichprobe selbst: Das Ziel ist es, eine Untergruppe der Gesamtpopulation so auszuwählen, dass sie für die gesamte Population repräsentativ ist. Die Ergebnisse der Untergruppe können dann als für die Gesamtpopulation gültig angesehen werden.
Offensichtlich, oder? Nein, ich habe kürzlich zufällig an einer Unterhaltung auf LinkedIn teilgenommen, in der man denjenigen, die nicht auf eine NPS-Umfrage geantwortet haben, willkürliche Werte zuweisen wollte. Denjenigen, die nicht geantwortet haben, kann nicht einfach eine Standardantwort zugeordnet werden. Warum sollte man also eine Umfrage erstellen und verbreiten? Verwenden Sie Photoshop und erstellen Sie ein Dashboard mit den Ergebnissen, die Sie mögen. Sie beleidigen ohnehin Statistik und Mathematik. Wenn Sie es tun wollen, dann trauen Sie sich, es ganz zu tun! Das wäre so, als ob Sie sagen würden: Ich habe eine Stichprobe der Bevölkerung nach ihrer Größe gefragt, um die Durchschnittsgröße der Menschen zu ermitteln; diejenigen, die nicht geantwortet haben, schreiben die Größe willkürlich mit 190 cm (!) zu. Verstehen Sie, dass das nicht funktioniert? Mir fehlen die Worte angesichts eines solchen Unfugs!
Was ich beschrieben habe, ist genau genommen das Verfahren, mit dem die Merkmale einer Bevölkerung aus der Beobachtung eines Teils von ihr (Stichprobe) abgeleitet werden; dies wird statistische Inferenz genannt und hat seinen Ursprung in der Mitte des 19. Sie wird auch als klassische Inferenz bezeichnet, um sie von der Bayes’schen Inferenz zu unterscheiden, die auf dem Bayes’schen Theorem beruht.
Der Fehler in der Stichprobe und seine Folgen
Durch die Analyse der Ergebnisse einer Studie an einer Untergruppe der Gesamtbevölkerung sollen zwei wichtige Fragen beantwortet werden:
1. Glauben Sie, dass das Ergebnis der Untergruppe zufällig ist, oder bleibt es bei Wiederholung gleich? (d.h., Konfidenz, oder ist das Ergebnis signifikant?)
2. Bitte verwechseln Sie nicht “statistische Signifikanz” mit “Bedeutung”!
Verwechseln Sie nicht “statistische Signifikanz” mit “Wichtigkeit”!
Signifikant bedeutet in Statistik, dass das beobachtete Ergebnis mit einem bestimmten Vertrauensniveau (Konfidenz) nicht rein zufällig ist und dass man bei n-facher Wiederholung der Beobachtung an anderen Untergruppen der Population das gleiche Ergebnis erhält. Das hat nichts mit der Signifikanz des Ergebnisses zu tun.
Ich werde nicht auf die Einzelheiten der Berechnung eingehen. Sie müssen nur wissen, dass diese Art der Analyse von Fisher vorgeschlagen wurde und auf der allgemeinen Vorstellung beruht, dass wir ein Verhältnis von 1/20 (Alpha 0,05) akzeptieren können. Im Allgemeinen ist das Ergebnis in 95 % der Fälle nicht zufällig.
Mit anderen Worten, wenn Sie diesen Schwellenwert festlegen, bedeutet dies, dass es für Ihre Studie in Ordnung ist, dass der beobachtete Unterschied in einem von 20 Fällen allein auf Zufall zurückzuführen ist. Der Schwellenwert könnte auf höhere Werte (z. B. 0,01) angehoben werden. Um 100 % sicher zu sein, sollten Sie die gesamte Population befragen.
Einfach ausgedrückt: Wenn wir sagen, dass ein Ergebnis signifikant ist, bedeutet dies lediglich, dass es nicht das Ergebnis des Zufalls ist, indem wir eine Fehlermarge (in der Regel 0,05) akzeptieren. Wenn wir dieselbe Studie mit einer anderen Stichprobe aus derselben Population als der ersten wiederholen, werden wir in 95 % der Fälle dasselbe Ergebnis erhalten.
Aber ist die Stichprobe auch wirklich repräsentativ?
Dies ist der Anwendungsbereich der Inferenzstatistik, die auf die wahrscheinlichste Herleitung der unbekannten Merkmale einer Grundgesamtheit abzielt. Sie befasst sich mit der Lösung des so genannten umgekehrten Problems, d. h. sie kommt auf der Grundlage von Beobachtungen, die an einer für die gesamte Grundgesamtheit repräsentativen und nach bestimmten Verfahren ausgewählten Stichprobe von Einheiten gemacht wurden, zu Schlussfolgerungen, die innerhalb bestimmter Fehlerwahrscheinlichkeiten auf die Gesamtheit derselben Grundgesamtheit verallgemeinert werden können (Inferenz). Die Grundlage der Inferenzstatistik bilden die Wahrscheinlichkeitstheorie und die Stichprobentheorie.
Sehr vereinfacht ausgedrückt, wird bei einem in der Stichprobe beobachteten Mittelwert versucht, die Differenz zum tatsächlichen Mittelwert der Grundgesamtheit zu berechnen, indem die Fehlermarge geschätzt wird. Man bestimmt den Stichprobenfehler, der das Maß für die Zuverlässigkeit der Stichprobe ist.
Es gibt eine einfache Regel: Je größer die Stichprobe ist, desto repräsentativer ist sie für die gesamte Bevölkerung. Dies hängt jedoch auch von anderen Faktoren ab. Je mehr Elemente in der Bevölkerung variieren, desto größer muss die Stichprobe sein.
Im Folgenden finden Sie drei Schlüsselbegriffe, die Sie verstehen müssen, um den Stichprobenumfang zu berechnen und in einen Zusammenhang zu bringen:
Bevölkerungsgröße – Gesamtzahl der Personen in der Gruppe, die Sie analysieren wollen. Wenn Sie eine Zufallsstichprobe von Menschen in den Vereinigten Staaten nehmen, wird die Bevölkerung etwa 317 Millionen betragen. Bezieht sich die Umfrage auf Ihr Unternehmen, so ist die Grundgesamtheit die Gesamtzahl der Beschäftigten.
Die Fehlermarge – Ein Prozentsatz, der angibt, wie wahrscheinlich es ist, dass die Umfrageergebnisse die Ansichten der Gesamtbevölkerung widerspiegeln. Je kleiner die Fehlermarge ist, desto größer ist die Wahrscheinlichkeit, bei einem bestimmten Konfidenzniveau die richtige Antwort zu erhalten.
Konfidenzniveau der Stichprobe – Ein Prozentsatz, der angibt, wie sicher man sein kann, dass die Bevölkerung eine Antwort innerhalb eines bestimmten Bereichs wählen würde. Ein Konfidenzniveau von 95 Prozent bedeutet zum Beispiel, dass Sie zu 95 Prozent sicher sein können, dass die Ergebnisse zwischen den Zahlen x und y liegen.
Mehrere Websites bieten kostenlose Berechnungen des Stichprobenumfangs auf der Grundlage verschiedener Parameter an. Googeln Sie einfach “Stichprobengrößenrechner”, und Sie erhalten eine Liste von Websites, die diese Möglichkeit anbieten.
Zusammenfassend lässt sich sagen, dass die Statistik eine exakte Wissenschaft ist. Es geht hier nicht um persönliche Interpretationen, sondern um präzise mathematische Konzepte. Wenn Sie Kommentare lesen wie “Welchen Wert messen wir den Antwort Verweigerern bei?” Oder, noch schlimmer: “Wir geben keine Werte für die Fehlerspanne an, weil sie die Zuhörer der Umfrageergebnisse langweilen”, passen ideal zu der Qualität der Diskussion, die Pseudo-Influencer und -Gurus zum Kundenerlebnis führen: praktisch nahe Null, mit einer mageren Fehlermarge und 99,9 % Vertrauen.
