El uso de buenos datos e indicadores es una práctica que también sigue la consultoría artesana, aunque nos guste tanto lo cualitativo. Hay decisiones y aprendizajes que mejoran mucho si podemos cocerlos en la salsa de los datos. De hecho, es algo que hacemos muy a menudo.
La capa cuantitativa aporta rigor al análisis y permite visualizar, en la medida de lo posible, relaciones de causalidad que a veces se escapan sin la ayuda de los datos. Por eso entender fundamentos de estadística e interpretar con criterio y sentido crítico lo que ella nos dice me parece una habilidad muy recomendable en este oficio.
Sin embargo, a veces la consultoría sucumbe al tramposo encanto de los números –bien por complacer al cliente o bien por aderezar con artificios la puesta en escena– obsesionándose con cuantificar cualquier cosa y usando indicadores que no son confiables ni pueden medir lo que prometen. Los números, como sabemos, tienen un extraño efecto validador de cualquier propuesta que se haga. Esa es su virtud y su peligro.
Es bien conocida la muletilla de “Lo que no se mide… no se puede mejorar” o su versión más extrema: “Lo que no se mide, no existe”. La segunda es especialmente falsa y perniciosa en el mundo de la gestión porque justifica precisamente que intentemos medir lo inmedible (para que “exista”) con proxies erróneos que empeoran el diagnóstico. La versión alternativa que permite corregir ese exceso de rotundidad se la debemos al genio de Einstein: “No todo lo que se puede medir importa y no todo lo que importa se puede medir”. Creo que entender eso, de esta manera, atribuye a los datos su justo valor y ayuda a reconocer sus limitaciones.
En contraposición al coleccionismo de datos, solo debe medirse lo que valga la pena y pueda hacerse con un grado razonable de fiabilidad. Si como consultore/as percibimos que los datos para calcular un determinado indicador solo pueden obtenerse de mala manera o que el indicador es confuso porque mide demasiadas cosas a la vez, hay que renunciar a la tentación de torturar datos desde premisas falsas. Si no hay rigor estadístico, no lo hay, ni se nos ocurra sacar conclusiones de impacto basándonos en esos datos.
Cuando eso ocurre, no pasa nada por echar mano de buena información cualitativa. Este tipo de datos, por su propia naturaleza y los tiempos que corren, parecen débiles para avalar decisiones, pero para ciertos análisis, sobre todo en el ámbito de la gestión del cambio y la innovación, lo cualitativo puede ser suficiente como punto de partida para realizar análisis sustanciosos si nos esforzamos por escuchar a todas las partes.
La medición cuantitativa en ciencias sociales, que es el territorio por donde se mueve en gran medida la consultoría en gestión del cambio, plantea desafíos complejos al uso de indicadores. Según mi experiencia, estos son algunos:
- A menudo no hay una única referencia de qué es bueno, mejor o peor, porque eso depende del modelo de interpretación que se use. Cada escuela puede tener algoritmos de medición diferentes, que ponderen más unos factores que otros. De ahí que sea tan importante que consultor/a y cliente se pongan de acuerdo primero en las premisas para el análisis o las gafas que van a usar para interpretar los datos.
- Los indicadores que parecen fiables en ocasiones no capturan el impacto de factores que también son relevantes e influyen en el desempeño. Por ejemplo, si se intenta medir el rendimiento o eficacia de un trabajo a través de un dato que también está muy influido por la suerte o factores ajenos al esfuerzo, podemos realizar evaluaciones injustas.
- Si un indicador se diseña para asignar premios o castigos, también alineará comportamientos en función de los mensajes que transmite. Tratar de encajar la complejidad de la vida organizativa en modelos de este tipo puede generar incentivos perversos. Un ejemplo de este efecto contraproducente es el de los indicadores que se usan para medir la producción científica, aunque no hay que ir tan lejos para encontrar muchos ejemplos de sistemas de incentivos basados en ratios o ecuaciones originales que terminan haciendo más daño que otra cosa.
Entonces, pregunto: ¿por qué seguimos insistiendo en usar datos e indicadores que no miden lo que prometen? En mi opinión, esto ocurre por tres razones:
- Aporta una ilusoria sensación de control, que erróneamente es algo que se espera de la consultoría.
- Sirve para transmitir una falsa apariencia de objetividad (a menudo, para validar decisiones o prejuicios que se tienen de antemano, bien por el/la consultor/a, o bien por el cliente).
- ¡¡Medir es un negocio!!
Este tercer punto es importante. El mundo de la medición es un negocio de muchos miles de millones de euros y eso produce un incentivo brutal a querer medir cualquier cosa, incluso lo que es de naturaleza esencialmente subjetiva. No deja de sorprenderme la cantidad de metodologías que uno se encuentra en Internet para medir con ratios cualquier cosa y que se ofrecen como parte de un servicio de consultoría altamente lucrativo. La industria de la felicidad está siendo especialmente creativa en el capítulo de mediciones. He visto, por ejemplo, que una empresa se ha inventado un dispositivo que en teoría sirve para medir en tiempo real cómo está el clima laboral en nuestras oficinas.
Recuerdo que en un taller que impartí en San Sebastián, en el que la mayoría de los asistentes eran ingeniero/as, cuando compartí estas dudas sobre los riesgos de querer medirlo todo, una participante me pidió varias veces, en tono de desafío, que le pusiera ejemplos de cosas que no se pueden medir con indicadores cuantitativos que sean fiables, porque le costaba aceptarlo. Aproveché el descanso para pensar en mi respuesta y esta fue mi lista (por cierto, te invito a que añadas las tuyas):
- Impacto del liderazgo en los resultados de la innovación
- Grado de compromiso de las personas con su empresa
- Calidad profesional de un directivo
- Calidad de las innovaciones
- Cultura de innovación
- Riqueza o bienestar de un país (¿PIB?)
- La inteligencia (¿cociente de inteligencia vs. Inteligencias múltiples?)
- Calidad de la democracia (¿qué tipo de democracia miden los indicadores “oficiales” occidentales?)
- El amor (un buen ejemplo para cuestionarse lo de que: “lo que no se puede medir, no se puede mejorar”)
- El éxito empresarial (¿Enron?)
- La felicidad: indicador de felicidad de países o de empresas (otra vez: ¿lo que no se puede medir, no se puede mejorar?)
- Capacidad de liderazgo
- Pasión por el trabajo
- El dolor (existen «cuestionarios subjetivos de la percepción del dolor» pero son, como bien indica el nombre, subjetivos)
Vale, algunos de estos puntos admitirían “proxies”, o sea, variables que correlacionen de forma aproximada con lo que se quiere medir y puedan usarse como sucedáneos, pero si es así, es esencial reconocer que lo son, con todas sus limitaciones, lo que significa que cualquier diagnóstico basado en ellos debería venir acompañado de un montón de advertencias y notas al pie que insistan en que seamos prudentes en las conclusiones. Esas matizaciones son las que se quitan después de los PowerPoints por el noble arte de la brevedad, convirtiendo una interpretación muy discutible en recomendaciones rotundas.
Por otra parte, cualquiera de los puntos de mi lista admite modelos dispares de medición según las gafas que usemos. Por ejemplo, ¿qué entendemos unos y otros por “capacidad de liderazgo”, “felicidad”, “calidad profesional de un directivo” o, incluso, “calidad/nivel de vida” en los términos que pretende medir el PIB per cápita de un país? En estos casos, todavía cabe proponer indicadores si explicitamos de forma honesta las premisas que usa nuestro modelo de interpretación, pero dejando claro que este es solo uno más de los modelos posibles. Este descargo, según mi experiencia, se obvia muchas veces.
En fin, el amigo Einstein tenía razón: “No todo lo que se puede medir importa y no todo lo que importa se puede medir”.
Foto por formulario PxHere.
- Que piense el consultor o consultora, que para eso lepago - 25/01/2022
- 11 pistas para una gestión sistémica de los proyectos - 28/09/2021
- Reivindicando el texto escrito para documentar - 27/04/2021
Cuando hice la investigación cualitativa en mi tesis doctoral, me quedó claro que hay que ser muy cuidadoso y, en la medida de lo posible, triangular. Al profundizar en este concepto caí en la cuenta de que, además, hay diferentes enfoques posibles para triangular. Hay un autor al que leí, Denzin, que explicaba estas posibilidades:
1. Triangulación de datos, que pueden provenir de momentos distintos, de poblaciones heterogéneas o del uso de diferentes niveles de análisis.
2. Triangulación de investigadores, lo que supone que sean varias las personas que investigan, en línea con la idea de aprovechar, por ejemplo, los beneficios de los equipos multidisciplinares.
3. Triangulación teórica, que somete el mismo grupo de datos a diferentes perspectivas teóricas.
4. Triangulación metodológica, la más utilizada, que propone el uso de diferentes métodos para investigar.
5. Triangulación multimétodo, que incorpora en la misma investigación todos los tipos anteriores.
Sea como sea, en un campo complejo como en el que nos movemos, si jugamos a lo cualitativo (que no solo), aquí va mi recomendación: triangula hasta donde sea posible 😉
Por cierto, si alguien le interesa la lectura sobre triangulación que cito os dejo la referencia:
Denzin, N. (1970). Strategies of multiple triangulation. The research act in sociology: A theoretical introduction to sociological method, 297, 313.
Llvaba tiempo buscando esa frase que frenara la sensación de impotencia frente a «lo que no se mide, no se puede mejorar». Ya la tengo 😉 … pero no sabía interpretarla.
Me sigue pareciendo que lo importante es conocer información para tomar decisiones. En nuestro sector, el mío el de las marcas, marketing, etc, hacemos mucha investigación, mucha. Es básica. NO podemos tomar decisiones de cambiar percepciones precusamente si no las conocemos. Eso de «conozco muy bien a mi cliente», básicamente en un 100% de los casos no es así, No tienen ni idea. En otros campos como los que citas, me parece que andaremos parecido.
Eso sí. El problema sigue siendo no medir sino qué hacemos con lo que medimos. Que aquí es donde la gente luego se escabulle.
Julen: me interesa esto de la triangulación. Porque sí que tengo esa sensación que le aporta un rigor aún más importante, ¿cierto?
Coincido con lo que planteas en este articulo, Amalio.
La necesidad, tan característica de nuestro tiempo, de orientarse a resultados a corto plazo para poder disfrutarlos y, sobre todo, explicarlos, lleva a sembrar la gestión de indicadores superficiales, con poco recorrido y, prematuros para el impacto que cabe esperar de aspectos relacionados con componentes “orgánicos” de la organización.
En algunos proyectos he observado que la obsesión por medir lo que se hace, acaba determinando que sólo se haga aquello que se puede medir, encorsetando las actuaciones y orientándolas principalmente a obtener datos de su evaluación, lo que explica el abordaje lineal de muchos proyectos.
Como defiendes tu, mi propuesta no es que no se mida, sino que se invierta en valorar otros aspectos del ecosistema de la personas que inciden de manera clave por se condición sine qua non de otros factores “más medibles”.
Un articulo muy oportuno. Gracias!
Además hay que añadir la complejidad y velocidad en que se producen los cambio en el mundo actual (¿quien había pensado en un Covid-19).
Cambios globales que afectan a todo y todos, y a la eficacia de las interpretaciones basadas en datos: cambia el marco de referencia sobre el que medir y evaluar, cambia la fiabilidad de los propios datos, puede incluso cambiar el propósito para el que fueron definidos los datos…
(La triangulación de Denzin al completo)
Me encantó tu enfoque. Es algo que no podía argumentar de manera tan clara.
Tengo la idea de que las empresas deberían terminar por aceptar que a pesar de que la mayoría de las decisiones deben estar basadas en números, siempre habrá en las decisiones un componente basado en alguna inclinación personal, relacionada con valores, sueños, creencias, caprichos. Y que eso no está mal.