Un reciente intercambio de posts con los influencers líquidos habituales de CX (líquidos parafraseando a Zygmunt Bauman) me lleva a escribir este breve artículo con la esperanza de poder iluminar por fin a estas mentes pensantes de la CX.
Importante: lo que voy a escribir no son mis conclusiones, sino hechos científicamente probados a partir de estudios académicos que comenzaron en el siglo XIX y se han desarrollado hasta nuestros días.
La pregunta era sencilla, y la respuesta era igualmente obvia desde el punto de vista estadístico y matemático: ¿podemos asignar un valor a los que no responden en una encuesta? En el debate, dado que se trataba de una encuesta NPS, se había hablado de asignar arbitrariamente el valor de los detractores para influir negativamente en el resultado observado.
La realidad era mucho más sencilla: habiendo recogido 100 entrevistas de un total de 500 clientes, podemos decir que n=100 (la muestra observada) y N=500 (toda la población), por lo que la media estimada en la muestra puede variar en +/- 8,77%. Dado que se trata de un NPS, el margen es aún mayor porque lo más probable es que estemos tratando con una distribución no normal. (véase mi artículo)
La misma lógica que me lleva a ese margen de error del 8,77% me dice que, para un nivel de confianza del 95%, necesitaré una muestra de 218 entrevistas para un margen de error del 4,99%. Pero, ¿cómo llegamos a este margen de error? ¿Qué es la lógica estadística y matemática? Intentaré explicarlo sin fórmulas matemáticas, en texto llano para gente de negocios.
Muestreo estadístico e inferencia estadística
El muestreo estadístico (que se basa en la teoría de la muestra o “teoría del muestreo”) es la base de la inferencia estadística, dividida en dos grandes capítulos: la teoría de la estimación y los tests de hipótesis. Concretamente, se dice que una encuesta es muestral cuando sirve para hacer inferencias, es decir, para inferir información sobre toda la población a partir de la propia muestra.
La última frase es significativa, y explica la importancia de la propia muestra: el objetivo final es seleccionar un subgrupo de la población total para que sea representativo de toda la población. Así podríamos tratar los resultados del subconjunto como válidos para toda la población.
Es obvio. No, hace poco participé en una conversación en LinkedIn en la que la gente quería asignar valores arbitrarios a quienes no respondían a una encuesta de NPS. A los que no respondieron no se les puede dar simplemente una respuesta por defecto. En la misma línea, ¿por qué construir y distribuir una encuesta? Utiliza PhotoShop y crea un cuadro de mando con los resultados que te gusten. De todas formas estás insultando tanto a la estadística como a las matemáticas. Si quieres hacerlo, ¡atrévete a hacerlo del todo! Sería como decir: He preguntado a una muestra de la población por su altura para averiguar la estatura media de las personas; y a los que no han contestado les atrubimos arbitrariamente una talla de 190 cm (¡!). ¿Se entiende por qué esto no funciona?
Lo que he descrito, para ser precisos, es el procedimiento por el que se inducen las características de una población a partir de la observación de una parte de ella (muestra); se denomina inferencia estadística y se originó a mediados del siglo XIX a partir de los estudios de Fisher y Pearson. También se denomina inferencia clásica para distinguirla de la inferencia bayesiana, basada en el teorema de Bayes.
El error en la muestra y sus consecuencias
Debemos responder a dos preguntas principales analizando los resultados de un estudio de un subgrupo de toda la población:
1. ¿Crees que el resultado obtenido del subgrupo es aleatorio, o seguirá siendo el mismo si se repite? (¿Es la confianza o es el resultado significativo?)
2. No confundir “significación estadística” con “importancia”.
No confundir “significación estadística” con “importancia”.
Significativo en estadística significa que el resultado observado no se debe al mero azar con un determinado nivel de confianza y que si se repite n veces la observación en otros subgrupos de la población, obtendremos el mismo resultado. Nada que ver con la significación del resultado.
No entraré en los detalles del cálculo. Sólo sé que este tipo de análisis fue propuesto por Fisher y se basa en la idea común de que podemos aceptar una proporción de 1/20 (alfa 0,05). Generalmente, el resultado no es debido a la casualidad en el 95% de los casos.
En otras palabras, si se establece este umbral, estamos diciendo que para el estudio está bien que una de cada 20 veces, la diferencia observada pueda deberse únicamente al azar. El umbral podría elevarse a valores más altos (por ejemplo, 0,01). Para estar seguros al 100%, entonces deberíamos encuestar claramente a toda la población.
En pocas palabras, cuando decimos que un resultado es significativo, significa simplemente que no es fruto del azar, aceptando un margen de error (comúnmente 0,05). Si repetimos el mismo estudio con una muestra de la misma población pero diferente de la primera, en el 95% de los casos obtendremos el mismo resultado.
Pero, ¿es realmente representativa la muestra?
Este es el ámbito operativo de la estadística inferencial, que tiene por objeto la inducción probabilística de las características desconocidas de una población. Es decir, se ocupa de resolver el llamado problema inverso: a partir de observaciones realizadas sobre una muestra de unidades representativas de toda la población y seleccionadas por procedimientos dados, llegar a conclusiones generalizables (inferencia), dentro de unos niveles dados de probabilidad de error, al conjunto de la misma población. En la estadística inferencial subyacen la teoría de la probabilidad y la teoría de la muestra.
De forma muy simplista, dada la media observada en la muestra, se intentará calcular la diferencia con la media real de toda la población estimando el margen de error. Se determinará el error de muestreo, que es la medida de la fiabilidad de la muestra.
Existe una regla sencilla: cuanto mayor sea la muestra, más representativa tenderá a ser del conjunto de la población. Sin embargo, esto también depende de otros factores. Por ejemplo, cuanta más variabilidad de elementos haya en las personas, mayor tendrá que ser la muestra.
He aquí tres términos clave que deberás comprender para calcular el tamaño de la muestra y ponerlo en contexto:
Tamaño de la población –Número total de personas del grupo que se intenta analizar. Si se toma una muestra aleatoria de personas en Estados Unidos, la población será de unos 317 millones. Del mismo modo, si la encuesta se refiere a tu empresa, el tamaño de la población será el número total de empleados.
El margen de error – Un porcentaje que indica la probabilidad de que los resultados de la encuesta reflejen las opiniones de la población total. Cuanto menor sea el margen de error, mayor será la probabilidad de obtener la respuesta correcta con un nivel de confianza determinado.
Nivel de confianza de la muestra – Porcentaje que revela el grado de confianza que se puede tener en que la población elegiría una respuesta dentro de un intervalo determinado. Por ejemplo, un nivel de confianza del 95% significa que podemos estar seguros en un 95% de que los resultados se encuentran entre los números x e y.
Varias webs ofrecen cálculos gratuitos del tamaño de la muestra en función de diversos parámetros. Basta con buscar en Google “calculadora del tamaño de la muestra”, y tendrás una lista de sitios web que ofrecen esta posibilidad.
En conclusión, la estadística es una ciencia exacta. No se trata de interpretaciones personales, sino de conceptos matemáticos precisos. Leer comentarios como: “¿Qué valor damos a los no encuestados?”. O, peor aún: “No presentamos los valores de los márgenes de error porque aburren a quienes escuchan los resultados de la encuesta”. se ajustan perfectamente a la calidad del debate que pseudoinfluencers y gurús están aportando a la experiencia de cliente: prácticamente cercana a cero, con un escaso margen de error y un 99,9% de confianza.
