Las estadísticas nunca son un sustituto del sentido común
Amit Kalantri
Los resultados se
presentaron en la III Impact Week organizada por la consultora EY (ver video de la sesión)
Por el análisis presentado
el informe pretende determinar cuales son los aspectos de la cultura que
deben mejorarse para lograr la transformación sostenible.
El objetivo de
este artículo es analizar la metodología del estudio con el propósito de determinar si, en efecto, se identifican estos aspectos y
si son válidas las conclusiones a las que llega.
Y un objetivo
paralelo, como la mayoría de mis artículos, es didáctico, en este caso ofrecer
la oportunidad, a los que quieran, de aprender sobre cultura empresarial y el
diseño e interpretación de encuestas.
Como lo hicimos
en el análisis crítico [i] del
estudio IV Barómetro de la Sostenibilidad DIRSE-EY , en el cual también participo una
de las dos empresas consultoras, es necesario repetir la advertencia: Este
artículo no pretende cuestionar los resultados del estudio. Al centrarse en la
metodología, el objetivo es alertar al lector/analista sobre los
riesgos que conlleva utilizarlos para hacer inferencias o sacar conclusiones para
la gestión de la sostenibilidad empresarial, y en el proceso, ofrecer sugerencias
para que encuestas de este tipo mejoren su rigor.
Ambos estudios tienen
en común errores metodológicos en el diseño de la muestra, en la agregación
de los resultados y, en consecuencia, en las inferencias.
El informe,
aunque se presenta integrado, está dividido en dos partes muy distintivas, con
estilos diferentes. En la primera parte (capítulos 2 al 4) se presentan los resultados
de una encuesta celebrada entre 125 personas, en 23 sectores, en empresas de
todos los tamaños (desde 1 a más de 1000 empleados) recopilando sus respuestas
a 23 preguntas divididas en cinco bloques en los tipifican las
características de la cultura empresarial. Esta parte parece ser la
responsabilidad de la consultora DoGoodPeople.
La segunda parte,
el capítulo 5 es un ensayo en el que dicen que presentan las implicaciones de
los resultados de las encuestas para la transformación sostenible, pero que
como analizamos más adelante no surge de los resultados en sí, sino de las
experiencias y deseos de los consultores que colocan en el contexto de la
encuesta. Esta parte parece ser responsabilidad de la consultora EY.
Recomendamos la
lector leer el informe y sacar sus propias conclusiones. No le podemos hace justicia a su amplitud.
I.
La encuesta y sus inferencias.
El propósito de
esta sección no es entrar a discutir las diferentes concepciones de la cultura empresarial,
sino poner en contexto la tipificación que hace el informe de la cultura
empresarial. Siendo que el concepto
de cultura empresarial algo difuso y sujeto a muchas interpretaciones y que su
gestión no está todavía muy extendida y hay diferentes puntos de vista es
necesaria una breve discusión.
Para ponerlo en
contexto y antes de describir como la tipifica el informe, haremos dos consideraciones.
La primera es sobre la interpretación de la cultura empresarial y la segunda es
que es necesario distinguir entre cultura empresarial genérica y cultura
empresarial para la sostenibilidad.
En un artículo
anterior [iii]reproducíamos
una definición muy ilustrativa:
La cultura organizacional es el sistema de
supuestos compartidos, valores, creencias, que gobiernan el comportamiento de
las personas en las organizaciones. Estos valores compartidos tienen una gran
influencia sobre el personal y determinan como se visten, como actúan, como
hacen su trabajo. Cada organización desarrolla y mantiene una cultura
singular que proporciona lineamientos y límites al comportamiento de sus
miembros.
O, como de manera
muy simplista, pero descriptiva, un autor la definía “como se hacen las
cosas aquí”. La cultura empresarial es la respuesta de la organización a
sus valores y principios, no los que están plasmados en una declaración (para
la galería), sino lo que, sobre el terreno, hacen las personas ante las
presiones cotidianas, las limitaciones, las discrepancias. La cultura
empresarial se resalta en condiciones adversas.
Es también un
reflejo de los valores de las personas. Cultura es actitud, lo que se ve, lo que se
siente, lo que es aceptable, el comportamiento que se espera, las actitudes
estimuladas o rechazadas en interacciones personales. Esta cultura no es
algo que implementa por decreto, es algo que se desarrolla con el tiempo como
respuesta al tipo de personal que se recluta, como se le desarrolla, los estímulos
positivos y negativos, monetarios y no monetarios (bonificaciones son una muy
pequeña parte de los estímulos, a veces contraproducentes [iv]), las políticas,
procesos y procedimientos, etc. [v] La
cultura es el carácter de la empresa, es algo mental, no mecánico.
Pero todos los
aspectos de la cultura tienen un denominador común y base fundamental: el comportamiento de las personas. De allí que uno de los aspectos más críticos
de cultura son las políticas, los procesos, procedimientos, estímulos y desestímulos
a través de los cuales se establece, transmite y arraigan los valores de la
empresa.
La cultura empresarial
para la sostenibilidad se fundamenta sobre todos esos aspectos. Lo que cambia
es su implementación. Se requiere que sean conducentes a la responsabilidad de la
empresa ante la sociedad por lo que los valores, políticas, procesos, estímulos,
procedimientos, etc. deben estas alineados con ello. Requiere de una
colaboración más intensa entre las personas, alineación de las subculturas de
las diferentes unidades (suele haber contradicciones entre las áreas de finanzas,
comercialización, legal y producción, por ejemplo), de valores de la empresa
y sus empleados que buscan promover el bien común, en fin, de una visión más amplia
del papel de la empresa (el lector interesado en más detalles puede ver dos
de mis artículos específicos [vi]).
Para intentar
apreciar el efecto que la cultura empresarial pueda tener sobre la
transformación sostenible, el estudio la tipifica en cinco bloques. Incluimos
(en itálicas) breves comentarios para poner la encuesta en contexto (las 23
preguntas se derivan de la descripción de cada bloque) y apreciar si ello puede
lograr ese efecto (algunos autores alegan que esa cultura es medible [vii]).
a.
Propósito
y valores: si el
propósito corporativo está claramente definido y conocido por todos los
empleados, si se ha incorporado a las principales áreas funcionales de la
compañía y si la sostenibilidad está incluida en los valores corporativos.
No se puede caer en la falacia de evaluar la ética de una empresa en base a
la existencia de un código de ética, como hacen las calificadoras de
sostenibilidad.
¿Basta con que existan y se conozcan? ¿Actúan en consecuencia? ¿Cómo se
implementan? ¿Qué estímulos positivos y negativos, monetarios y no monetarios existen
pada ello?
b.
Estructura
formal: si la estructura
formal apoya la transformación sostenible y permite la transversalidad,
algo esencial en proyectos de sostenibilidad.
Son factores muy difíciles de determinar ya que en general están subyacentes, implícitos, pero son críticos.
Los primeros
cuatro bloques (aspectos) son los generalmente considerados en los estudios de
la cultura, sin embargo, el quinto, como está descrito, no es parte de la cultura,
es un instrumento, pero no el más crítico.
2.
Los problemas metodológicos.
Todas las
inferencias del informe se basan en un numero: El promedio de las respuestas de
los 125 encuestados a las 23 preguntas sobre los cinco bloques en los que
tipifican la cultura empresarial, un gran promedio
de 2 875 números. Para el
estudio, este promedio determina las prioridades. Los aspectos (6) cuyas
respuestas promedio se sitúan por encima de este promedio del total se califican
como que ya están activadas en la organización, las que están muy cerca
del promedio como que se pueden perfeccionar (7) y las que están por
debajo como que necesitan ser activadas (7).
Analicemos este promedio
mágico que determina los diferentes tipos de acciones necesarias. Postulamos
diez razones por las que los resultados no son confiables para ese fin:
1.
Es
un promedio sobre 23 preguntas con muy diferentes
grados de relevancia sobre la cultura empresarial y su potencial de
lograr transformación. Pero el promedio supone que todas son de igual
importancia.
2.
Es
un promedio de las opiniones de 125 personas que trabajan en 23 sectores
industriales diferentes, desde biotecnología a instituciones financieras
pasando por gobiernos, consultoras y empresas manufactureras. Supone que los
23 aspectos tienen la misma relevancia para todas las
empresas, independientemente del sector industrial y de sus tamaños.
3.
Es
un promedio de las opiniones de 125 personas sobre temas tan diversos como la
existencia de una declaración de principios, un cuadro de mando “ESG” aprobado por
el consejo y ejecutado por un comité, flexibilidad y adaptabilidad de los
sistemas de gestión, sistemas de información adecuados, sostenibilidad incluida
en el presupuesto, entre otras. El promedio supone que todas las 125
personas conocen como su empresa gestiona todos estos 23 aspectos, que conocen lo que hacen todas las unidades de la empresa
cubiertas (consejo, informática, sostenibilidad, etc.), y que, si no
saben, no responden. ¿Y dónde están los recursos humanos? A lo mejor esto
es posible en el caso del presidente de una pequeña empresa, pero que si es una
pequeña empresa es muy probable que no tenga todos estos sistemas de gestión
desarrollados y que su cultura sea sui generis, por el impacto de unas
pocas personas.
4.
Esto
es corroborado por los promedios de los bloques. El que es mejor
valorado, más avanzado, es el que se refiere a aspectos “blandos” como el
bloque de los valores y propósito, donde las preguntas incitan a una respuesta positiva
(¿Cómo vamos a responder que no tenemos valores definidos?) y es menor en
los bloques “duros”, como el uso de la tecnología y presupuestos, donde
siempre hay quejas. ¿No quiere esto decir que
las respuestas están sesgadas a lo que quisieran que fuera en vez de a lo que
es?
5.
Siendo
los encuestados tan heterogéneos (ni son todos directores de sostenibilidad) y con
posiciones en las empresas tan diferentes (si es que trabajan en empresas) y con
conocimientos muy diversos de la terminología y conceptos utilizados en las
preguntas, cada encuestado tiene su idea de lo que es la sostenibilidad, la transformación
sostenible, lo que es cultura y la encuesta no lo especifica. Por ejemplo,
las preguntas descansan en el término ASG, pero también lo mezcla con
sostenibilidad empresarial, que no es lo mismo. [viii]
6.
En
este caso no se trata de obtener opiniones de una diversidad de profesionales, todo
lo contrario, para el objetivo del estudio es necesario un grado de
homogeneidad, que tengan en común conocimientos de la temática, que estén enfocados
en la sostenibilidad empresarial. La confección de la muestra no lo estimula.
7. El promedio de cada uno de los cinco bloques de la cultura varía entre 2,94 a 3,74 lo que es estadísticamente muy semejante, aunque aritméticamente tengan pequeñas diferencias.
Y los gráficos han sido diseñados para magnificar las diferencias. A la izquierda un gráfico tomado del informe con escala 2.90 a 3.40 y el mismo gráfico con escala de 1,00 a 5,00 que eran las respuestas posibles. Al reducir el escala las diferencias aparecen mayores.
8.
Estos resultados son de esperar en encuestas que piden responder en una
escala del 1 al 5, donde existe la reacción natural de evitar extremos como el
1 o el 5, respondiendo
entre el 2 y el 4. Y más en el caso en
que las encuestados no sean expertos en cada uno de los 23 aspectos. Si no estás seguro, pones 3 (el lector puede
recordar sus respuestas a encuestas que dan como posibilidades 1, 2, 3, 4, 5). Es
la reversión a la media.
9.
En
una muestra tan pequeña como de 125 encuestados, pero distribuidos en 23
sectores industriales, con un promedio de 5 empresas por sector, con culturas
muy diferentes, tiene una confiabilidad estadística muy, muy baja (piense
en el contraste en las culturas de una institución financiera y una de salud y
bienestar). Para ponerlo en contexto el lector puede recordar como en las grandes
encuestas electorales, sobre más de 1 000 personas, con más homogeneidad entre
los votantes que 23 sectores industriales, con empresas que van desde
microempresas a multinacionales, se reporta un margen de error, y una banda de
posibles resultados.
10.
La
encuesta no fue por invitación a personas pre identificadas, conocedoras de la
temática, sino que fue por anuncio público, por lo que cualquier persona que recibiera el nexo podía completarla.
Esto refuerza el argumento de la baja confiabilidad. Esto también explica porque la mayoría de los
encuestados, más del 20%, sean de servicios profesionales y consultoría, que,
si bien pueden ser conocedores de la problemática, tienen
la tendencia a responder lo “que debería ser” y no lo “que es” en la realidad,
que es lo que encuesta debe averiguar.
¿Tiene este promedio algún significado? ¿Se puede usar para inferir lo que
está bien y lo que se debe mejorar?
b.
Validación de resultados.
Encuestas de este
tipo requieren de validación de los resultados. Según el informe los resultados
han sido “validados”. Dice:
“Se han realizado validaciones
internas para asegurar la precisión y consistencia de los datos
recopilados. Esto incluye la revisión de las respuestas incompletas o inconsistentes.”
Pero esto es solo
verificación y corrección de errores en la recopilación de datos. En estudios de
esta naturaleza la validación de los resultados implica asegurarse que son
válidos, no solo que la recopilación es consistente. ¿Qué quiere decir “precisión” y como la
validan?
La validación
requiere de la confirmación de que se puede presumir de que las respuestas son
“validas”, lo cual suele hacerse a través de entrevistas directas, por
muestreo. Ello permite apreciar si el encuestado sabe
de lo que está hablando, que esas respuestas
verbales, de personas identificadas, son compatibles con las que se han
recopilado electrónicamente de forma anónima. Esto es lo que hacen
muchos estudios de gestión empresarial, cuando están basados en encuestas
anónimas, validan vía entrevistas.
Para ilustrar
esto podemos recurrir al caso del aseguramiento de la información sobre sostenibilidad
o la auditoria. No se trata de buscar
errores de redacción, se trata de verificar que lo que se dice es comprobable.
II.
Inferencias del estudio.
Y la pregunta más
importante para un estudio de esta naturaleza es: ¿surge de estos resultados
que mejorando alguno de los aspectos se logrará la transformación
sostenible? El estudio no ha
demostrado la relación causa efecto de los 23 aspectos analizados sobre la
trasformación sostenible (¿qué es transformación sostenible?), ni el impacto
relativo de cada uno a efectos de priorizar las acciones.
Y promueve, subliminalmente,
la asociación de causa efecto y el impacto al referirse a las preguntas como “palancas”,
cuando son características, aspectos y no está de mostrado que puedan levantar
mayores pesos (Dadme una palanca y moveré el mundo: Arquímedes).
Hace el supuesto,
por ejemplo, de que mejorar la aplicación de la tecnología, que está por debajo
del promedio, hay que avanzarla, en tanto que mejorar la transversalidad, que está
por encima el promedio, no hace falta hacerlo. Y aun si supusiéramos que las
diez razones precedentes no son válidas, que todo está bien, al fin y al cabo,
la transversalidad tiene una calificación de 3,64. ¿Qué pasaría si se toman medidas
para que sea 4,5?
LO MÁS DEBATIBLE DE LAS INFERENCIAS:
La posición relativa de un aspecto sobre o por debajo del promedio no se
correlaciona con el impacto positivo que su mejora puede tener, ni refleja la prioridad
de acción. La mejora
de uno que está por debajo puede tener muy poco impacto, en tanto que la mejora
de uno que está por encima si lo puede tener.
El estudio
ignora la causa-efecto del cambio y la necesidad de priorización, y lo que es más
grave, hace el supuesto de sus conclusiones son
universales, para todo tipo de empresas. No se puede hacer de todo, ni el mejorar algún
aspecto tiene el mismo impacto en los diferentes tipos de empresas. Son grandes
generalizaciones que no aplican a ninguna en particular.
b.
¿Son válidas las conclusiones?
Después de
establecer el objetivo, el informe dice que:
Por tanto, el factor diferencial de las compañías será, como en tantas
ocasiones, su capacidad de ejecutar la estrategia definida, modificando hábitos
y comportamientos, desaprendiendo inercias y cambiando las formas de trabajar.
¡TOTALMENTE DE ACUERDO! Es lo mejor del informe. Esto es cambio cultural, pero no tiene nada que ver con la encuesta. ¿Dónde están en las preguntas o conclusiones?:
- su capacidad de ejecutar la estrategia definida;
- modificando hábitos y comportamientos;
- desaprendiendo inercias y,
- cambiando las formas de trabajar.
Con esto no
queremos decir que las conclusiones del informe no sean validas, puede que lo
sean, aunque, por la discusión precedente es muy poco probable.
III.
Ensayo sobre la mejora de la sostenibilidad empresarial
El capítulo 5 y
la sección 3.2 presentan una amplia discusión de actividades que son recomendables
para las empresas que quien mejorar su sostenibilidad, derivada de la extensa
experiencia de una de las consultoras, pero no surgen del análisis de los
datos. En ese sentido su estudio es altamente
recomendado, por
lo que no tenemos nada que añadir, solo una observación de metodología y un
recordatorio.
Si bien cita algunos
resultados de las encuestas, no es una discusión de resultados, es más una justificación
del diseño de la encuesta por lo que debería haber estado al principio del
informe: justificar la razón de ser de las preguntas de la encuesta, mostrar
que las preguntas surgen de ese análisis preliminar, que la encuesta pretende
comprobar la “teoría” desarrollada. Y cerrar el informe con una discusión de
como las respuestas corroboran o no lo que se había postulado.
Aunque ello no
cambiaría los serios problemas metodológicos de la encuesta y la interpretación
de los resultados, pero tendría una secuencia más lógica.
Y recordar que las recomendaciones del ensayo son generales y que a la hora
de implementar se deben hacer especificas a cada empresas teniendo en cuenta el contexto en que
opera, los recursos gerenciales y financieros, su cultura, su capacidad para absorber
el cambio [ix], los
amigos y enemigos y un gran etcétera. No podemos ser exhaustivo sobre todo lo
que hay que tener en cuenta, pero el mensaje debe ser claro: especificidad y
cuidado con las generalizaciones. [x]
IV.
En resumen
El informe tiene
un objetivo muy laudable
y es el de averiguar cuales intervenciones, basadas en la cultura y gestión de la
empresa son conducentes para una transformación sostenible. Lamentablemente, por problemas no menores
de metodología: conformación de la muestra, análisis de los resultados y, en consecuencia,
de las inferencias que se hacen, hace que los resultados sean cuestionables.
El núcleo de los resultados
se resume en una jerarquización de los 23 aspectos considerados, declarando,
sin justificación, que esa posición refleja la intensidad de la acción que se requiere
para la transformación sostenible. Pero la posición
relativa de un aspecto sobre o por debajo del promedio no se correlaciona con
el impacto positivo que su mejora puede tener, ni refleja la prioridad de
acción.
No obstante, las recomendaciones,
resultado de la vasta experiencia de los consultores, reflejan el conocimiento
generalmente aceptado sobre los aspectos de cultura y gestión que son necesarios
para esa transformación sostenible y por ello el ensayo que cierra el informe
es altamente recomendado, haciendo abstracción de las referencias a los resultados
de la encuesta. En este caso los resultados de la encuesta no llevan a las recomendaciones
expuestas, más bien es al contrario, el conocimiento acumulado busca justificar
los resultados, que no son justificables.
Adolece de
problemas muy semejantes a los del estudio IV Barómetro de la Sostenibilidad DIRSE-EY , en el cual también participo una de
las empresas consultoras del informe que comentamos. [xi] Ambos estudios son víctimas
de la vía fácil de hacer encuestas a múltiples personas, sin selección compatible
con los objetivos del estudio, en vez de hacer investigaciones sobre el terreno,
sobre las prácticas y cultura de las empresas exitosas, donde se investigue lo
que hace, como ello conduce a una mejora de la sostenibilidad y el impacto que tienen.
Pero es costoso. Indirectamente el capítulo de cierre detalla lo que
presumiblemente serían los resultados de tales estudios.
La crítica que
suelo recibir a este tipo de análisis críticos es que pretendo demasiado,
pretendo rigor académico. Respondo que el rigor no es lujo, es una necesidad,
que si no es riguroso no se debe publicar. Las publicaciones que pretenden avanzar
el conocimiento en base a investigaciones deben estas basadas en metodologías
reconocidas……., a menos que sean opiniones.
Estimulamos al
lector a formarse su propia opinión leyendo el informe, no es muy largo, solo el
doble de este artículo. Aprenderá mucho, pero recomendamos hacerlo con espíritu
analítico y crítico.
[ii] Ver Mis
diez artículos sobre la cultura empresarial y los cinco artículos, The Leader´s Guide to Corporate Culture, How to manage the eight critical
elements of organizational life, Boris Groysberg, Jeremiah Lee, Jesse Price, and J. Yo-Jud Cheng, Harvard
Business Review, enero-febrero 2018).
[iii] Ver Cultura empresarial y cultura de responsabilidad
social. Ia. Parte: Qué es la cultura empresarial. (con Alberto Andreu)
[iv] Ver Mis siete artículos sobre incentivos y los cuatro artículos sobre Remuneraciones
ligadas a responsabilidad.
[vi] Ver mis artículos Cultura
empresarial y cultura de responsabilidad social. IVa. Parte: ¿Cómo debe ser la
cultura para que sea de responsabilidad? (con Alberto Andreu) y Cultura empresarial para la
responsabilidad.
[xi] Mis recomendaciones de mejora de la
metodología no tuvieron impacto. Ver El Barómetro de sostenibilidad de DIRSE EY: ¿Son confiables los resultados?
No hay comentarios:
Publicar un comentario