Dónde puede salir mal la toma de decisiones basada en datos

La idea en pocas palabras El problema Cuando a los directivos se les presentan datos internos o un estudio externo, con demasiada frecuencia aceptan automáticamente su exactitud y relevancia para su negocio o los descartan de plano. Por qué ocurre Los dirigentes confunden erróneamente causalidad con correlación, subestiman la importancia del tamaño de la muestra, se centran en los resultados equivocados, juzgan mal la generalizabilidad o sobrevaloran un resultado específico. El enfoque correcto Los líderes deben hacer preguntas de sondeo sobre las pruebas en un debate riguroso sobre su utilidad. Deben crear un entorno psicológicamente seguro para que los participantes se sientan cómodos ofreciendo diversos puntos de vista. Supongamos que dirige una reunión sobre el salario por hora de los empleados del almacén de su empresa. Durante varios años se ha incrementado automáticamente en pequeñas cantidades para mantenerse al día con la inflación. Citando un estudio de una gran empresa en el que se constató que un aumento salarial mejoraba tanto la productividad que aumentaba los beneficios, alguien de su equipo aboga por un planteamiento diferente: un aumento sustancial de 2 dólares por hora para todos los trabajadores del almacén. ¿Qué haría usted? Con demasiada frecuencia, los líderes empresariales toman una de estas dos direcciones en estos momentos: o bien toman las pruebas presentadas como evangelio o las descartan por completo. Ambos enfoques son erróneos. En su lugar, los líderes deben organizar debates que evalúen de forma reflexiva las pruebas aparentemente relevantes y su aplicabilidad a una situación determinada. En el escenario que acabamos de describir, debería plantear una serie de preguntas destinadas a evaluar el impacto potencial de los aumentos salariales en su empresa específicamente. Podría preguntar ¿Puede decirnos más sobre el escenario de la investigación para ayudarnos a evaluar si se aplica a nuestros empleados de almacén? ¿Cómo se comparan nuestros salarios con los de otros empleadores que compiten por nuestros trabajadores y cómo se comparan con los del estudio? ¿Se realizó un experimento? En caso negativo, ¿qué enfoque se utilizó para comprender si los salarios más elevados impulsaban el cambio de productividad o simplemente lo reflejaban? ¿Qué medidas de productividad se utilizaron y durante cuánto tiempo se midieron los efectos? ¿Qué otros análisis o datos podrían ser relevantes? Por supuesto, el tono importa. Estas preguntas deben formularse con un auténtico espíritu de curiosidad, con el deseo de aprender y de obtener recomendaciones sólidas. Tanto si las pruebas proceden de un estudio externo como de datos internos, es crucial analizarlas a fondo antes de tomar decisiones importantes. En nuestras interacciones con empresas -incluidas las tecnológicas que manejan muchos datos- hemos observado que esta práctica no se sigue de forma sistemática. Con demasiada frecuencia, las creencias predeterminadas, las comparaciones problemáticas y el pensamiento de grupo dominan los debates. La investigación en psicología y economía sugiere que los sesgos -como el descuido de la tasa de base, la tendencia a pasar por alto la información estadística general en favor de la información de casos específicos o anécdotas, y el sesgo de confirmación, la propensión a buscar y sobreponderar los resultados que apoyan sus creencias existentes- también obstaculizan la ponderación sistemática de las pruebas. Pero las empresas no tienen por qué caer en este patrón. Basándonos en nuestra investigación, trabajo con empresas y experiencia docente (incluidas clases de educación ejecutiva en liderazgo y análisis empresarial y un reciente curso de MBA llamado Liderazgo impulsado por los datos), hemos desarrollado un enfoque que los directores generales pueden aplicar a las discusiones sobre datos para que puedan tomar mejores decisiones. Pruebe a presión el vínculo entre causa y efecto ¿Aumentarán las ventas los anuncios en buscadores? ¿Permitir que los empleados trabajen a distancia reducirá la rotación? Estas preguntas tienen que ver con la causa y el efecto, y son el tipo de preguntas que la analítica de datos puede ayudar a responder. De hecho, hay trabajos de investigación que las han analizado en detalle. Sin embargo, los directivos suelen interpretar erróneamente cómo se aplican las conclusiones de esos y otros estudios a su propia situación empresarial. A la hora de tomar decisiones, los directivos deben tener en cuenta la validez interna: siun análisis responde con precisión a una pregunta en el contexto en el que se estudió. También deben considerar la validez externa:hasta qué punto pueden generalizar los resultados de un contexto a otro. Eso les ayudará a evitar cometer cinco errores comunes: Confundir causalidad con correlación. Aunque la mayoría de la gente sabe que correlación no equivale a causalidad, este error es sorprendentemente frecuente. Tomemos como ejemplo la estrategia publicitaria de eBay. Durante años, la empresa se había anunciado en motores de búsqueda como Google, buscando aumentar la demanda atrayendo a más clientes. Un informe de consultoría concluyó que los anuncios eran eficaces, señalando que cuando se mostraban más anuncios en un mercado, el valor total de las compras en eBay era mayor. Por desgracia, había llegado a una conclusión errónea sobre esos anuncios. Con la ayuda de un experimento realizado por un equipo de economistas dirigido por Steven Tadelis, de la Universidad de California Berkeley, eBay se dio cuenta de que la correlación se explicaba porque los anuncios se dirigían a personas que ya eran propensas a visitar eBay y a mercados en los que se esperaba que la demanda de eBay aumentara incluso sin anuncios. Estas fotos de Docubyte muestran su pasión por las máquinas antiguas y su destreza en la restauración digital. Para comprender la causalidad, profundice en cómo se realizó el estudio en cuestión. Por ejemplo, ¿se trató de un ensayo controlado aleatorizado, en el que los investigadores asignaron aleatoriamente a las personas a dos grupos: uno que fue sometido a una condición de prueba y un grupo de control que no lo fue? Ese suele considerarse el patrón oro para evaluar la causa y el efecto, aunque tales experimentos no siempre son factibles o prácticos. Tal vez los investigadores se basaron en un experimento natural, observando los efectos de un acontecimiento o un cambio de política en grupos específicos. Por ejemplo, un estudio podría examinar el impacto de una prestación cuyos beneficiarios fueron elegidos por sorteo, lo que permite a los investigadores comparar cómo la prestación cambió las circunstancias o el comportamiento de los que ganaron el sorteo con el de los que no ganaron. Los investigadores que no tienen acceso a experimentos planificados o naturales pueden, en cambio, controlar los posibles factores de confusión -variables que afectan a la variable de interés- en sus análisis de datos, aunque esto puede resultar difícil en la práctica. Por ejemplo, si estuviera evaluando el impacto de un programa de formación en la productividad, querría asegurarse de controlar la experiencia previa y otras cosas que pudieran afectar a la productividad. Subestimar la importancia del tamaño de la muestra. Imagine dos hospitales: uno grande que atiende miles de partos al año y otro pequeño con unos cientos de partos anuales. ¿Qué hospital cree que tendría más días en los que más del 60% de los bebés nacidos fueran varones? La respuesta es el hospital pequeño porque tiene más variabilidad en el número de nacimientos diarios. Las muestras pequeñas tienen más probabilidades de mostrar mayores fluctuaciones. Los psicólogos Daniel Kahneman y Amos Tversky, en su obra canónica sobre los sesgos y la heurística, descubrieron que la mayoría de la gente se equivocaba en la respuesta, y más de la mitad decía: "Más o menos lo mismo". La gente tiende a infravalorar el efecto que tiene el tamaño de la muestra en la precisión de una estimación. Este error común puede conducir a malas decisiones. Tanto si está tratando de averiguar cuánto confiar en las reseñas en línea, cómo interpretar las tendencias de productividad o cuánto peso poner en los resultados de un experimento publicitario, es importante tener en cuenta el tamaño de la muestra que se está analizando. Al evaluar los efectos, puede ser útil preguntarse no sólo por el tamaño de la muestra, sino también por el intervalo de confianza. Un intervalo de confianza proporciona un rango de valores en los que es probable que se sitúe el efecto verdadero, y el grado en que se está seguro de que se sitúa dentro de ese rango. Las respuestas deberían dar forma a la conversación sobre qué curso de acción tomar. Centrarse en los resultados equivocados. En su clásico artículo de HBR de 1992 "El cuadro de mando integral: Medidas que impulsan el rendimiento", Robert S. Kaplan y David P. Norton comenzaban con una simple observación: "Lo que mides es lo que obtienes". Aunque su artículo es anterior a la era de la analítica moderna, esa idea es más acertada que nunca. Los experimentos y los análisis predictivos se centran a menudo en los resultados que son fáciles de medir en lugar de en aquellos que realmente preocupan a los líderes empresariales pero que son difíciles o poco prácticos de determinar. Como resultado, las métricas de resultados a menudo no captan plenamente el rendimiento más amplio de las operaciones de la empresa. Volvamos al ejemplo de los aumentos salariales. Los costes se miden fácilmente, mientras que los aumentos de productividad pueden ser difíciles de cuantificar. Eso puede llevar a los directivos a centrarse estrictamente en el coste de una mejora salarial y no apreciar las ganancias potenciales. Un análisis más amplio adoptaría un enfoque como el visto en un estudio de las economistas Natalia Emanuel y Emma Harrington. Se propusieron comprender las implicaciones de los niveles salariales de los almacenes fijados por un gran minorista en línea. Las investigadoras examinaron los cambios en la productividad tras un aumento salarial de 2019 para los trabajadores de almacén y descubrieron que las mejoras en la productividad y la rotación eran tan grandes que los aumentos salariales se amortizaban con creces. Encontraron resultados similares cuando examinaron los efectos de un aumento salarial en la productividad y la rotación de los empleados del servicio de atención al cliente. También es importante asegurarse de que el resultado que se estudia es un buen sustituto del objetivo organizativo real en cuestión. Algunos experimentos de empresa realizan un seguimiento de los resultados durante sólo unos días y asumen que son una prueba sólida de cuál sería el efecto a más largo plazo. Con determinadas preguntas y contextos, un marco temporal breve puede no ser suficiente. Una empresa que trabaja para evitar este problema es Amazon: Invierte mucho en explorar los costes y beneficios a más largo plazo de posibles cambios en los productos. Hay muchas formas de evaluar la relevancia y la interpretación de los resultados, desde debates claros sobre las limitaciones hasta análisis formales del vínculo entre los efectos a corto plazo y a más largo plazo. Para aprender realmente de cualquier conjunto de datos, es necesario plantearse preguntas básicas como: ¿Qué resultados se midieron e incluimos todos los que son relevantes para la decisión que tenemos que tomar? ¿Fueron lo suficientemente amplios como para captar las principales consecuencias previstas y no previstas? ¿Se realizó un seguimiento de los mismos durante un periodo de tiempo adecuado? Juzgar mal la generalizabilidad. Con el ejemplo del aumento salarial de los almacenes, una pregunta vital es qué implican los resultados de un conjunto de almacenes para un conjunto diferente. Además, es posible que una empresa desee saber cómo se aplican los resultados a, por ejemplo, los empleados de un restaurante o de un comercio minorista. Hemos visto a líderes empresariales cometer errores en ambas direcciones, sobreestimando o subestimando la generalizabilidad de los resultados. Por ejemplo, cuando el vicepresidente senior de ingeniería de una importante empresa tecnológica nos habló de la norma de su empresa de no tener en cuenta las notas universitarias en las decisiones de contratación de ingenieros, le preguntamos por los motivos. Dijo que Google había "demostrado que las notas no importan", refiriéndose al comentario de un ejecutivo de Google que había leído en alguna parte, afirmando que no había relación entre las notas escolares y los resultados profesionales. Al tomar esa información como un evangelio, ignoró las limitaciones potenciales tanto de su validez interna como externa. Docubyte A la hora de evaluar la generalizabilidad, puede ser útil analizar los mecanismos que podrían explicar los resultados y si son aplicables en otros contextos. Puede preguntarse cosas como: ¿En qué medida es similar el escenario de este estudio al de nuestra empresa? ¿El contexto o el periodo del análisis lo hacen más o menos relevante para nuestra decisión? ¿Cuál es la composición de la muestra estudiada y cómo influye en la aplicabilidad de los resultados? ¿Varía el efecto según los subgrupos? Sobreponderar un resultado concreto. Confiar en un único resultado empírico sin una discusión sistemática del mismo puede ser tan imprudente como descartar las pruebas por considerarlas irrelevantes para su situación. Merece la pena buscar investigaciones adicionales sobre el tema. Realizar un experimento o un análisis más profundo con su propia organización puede ser otra buena opción. Entre las preguntas que debe plantearse se incluyen: ¿Existen otros análisis que validen los resultados y el enfoque? ¿Qué datos adicionales podríamos recopilar y el beneficio de reunir más pruebas compensaría el coste de ese esfuerzo? Empezar hablando claro En 1906, Sir Francis Galton hizo famoso el análisis de los datos de un concurso celebrado en una feria de ganado en el que la gente adivinaba el peso de un buey. Aunque los aciertos individuales eran desiguales, la media de los aciertos era casi exacta, lo que demostraba la sabiduría de la multitud. Sin embargo, aprovechar esa sabiduría puede ser todo un reto. La inteligencia colectiva es mejor cuando existen mecanismos que promueven una participación activa y diversa. De lo contrario, las multitudes también pueden amplificar los prejuicios, especialmente cuando son homogéneas en sus puntos de vista. Para superar el sesgo, los líderes empresariales pueden invitar a la conversación a colaboradores con perspectivas diversas, pedirles que cuestionen y desarrollen las ideas, y asegurarse de que los debates sean de sondeo y se basen en datos de alta calidad. (Véase "Lo que no sabe sobre la toma de decisiones", de David A. Garvin y Michael Roberto, HBR, septiembre de 2001). Fomentar la disensión y la crítica constructiva puede ayudar a combatir el pensamiento de grupo, facilitar la previsión de consecuencias imprevistas y ayudar a los equipos a evitar dar demasiado peso a las opiniones de los líderes. Los líderes también deben empujar a la gente a considerar el impacto de las decisiones en los diversos stakeholders y romper deliberadamente con las perspectivas de silo. Cómo evitar errores previsibles Comprobar a presión los supuestos, especialmente antes de tomar decisiones difíciles de revertir, es cada vez más vital. He aquí cinco errores comunes que cometen los líderes al interpretar los análisis, junto con las preguntas que le ayudarán a mantenerse alejado de ellos. Para evitar este problema Pregunte al respecto: Ejemplos de preguntas: Para prevenir este problema Confundir correlación y causalidad Pregunte sobre esto Enfoque para determinar la causalidad Ejemplos de preguntas: ¿Se basó este análisis en un experimento? En caso negativo, ¿existen factores de confusión (variables que afectan a las variables independientes y dependientes)? ¿En qué medida se tuvieron en cuenta en el análisis? Para prevenir este problema: Juzgar mal la magnitud potencial de los efectos Pregunte al respecto: El tamaño de la muestra y la precisión de los resultados Preguntas sobre la muestra: ¿Cuál fue el efecto medio del cambio? ¿Cuál fue el tamaño de la muestra y el intervalo de confianza (o rango de valores probables en los que caería el efecto verdadero, y el grado de certeza de que caería en ese rango)? ¿Cómo cambiaría nuestro curso de acción en función de dónde pudiera situarse el efecto verdadero? Para evitar este problema: Una desconexión entre lo que se mide y lo que importa Pregúntese lo siguiente Medidas de resultados Ejemplos de preguntas: ¿Qué resultados se midieron? ¿Fueron lo suficientemente amplios? ¿Captaron las consecuencias clave previstas y no previstas? ¿Se siguieron durante un periodo de tiempo adecuado? ¿Se informó de todos los resultados relevantes? ¿Cómo creemos que se relacionan con objetivos organizativos más amplios? Para evitar este problema: Juzgar mal la generalizabilidad Pregunte al respecto: Entorno empírico y análisis de subgrupos Ejemplos de preguntas: ¿En qué medida se parece el escenario de este estudio a nuestro contexto empresarial? ¿El contexto o el periodo de tiempo del análisis lo hacen más o menos relevante para nuestra decisión? ¿Cuál es la composición de la muestra estudiada y cómo influye en la aplicabilidad de los resultados? ¿Varía el efecto entre subgrupos o entornos? ¿Nos dice esto algo sobre la generalizabilidad de los resultados? Para evitar este problema: Sobrevalorar un resultado específico Pregunte al respecto: Pruebas más amplias y recopilación de más datos Ejemplos de preguntas: ¿Existen otros análisis que validen los resultados y el enfoque? ¿Qué datos adicionales podríamos recopilar, y el beneficio de reunirlos compensaría el coste de su recopilación? ¿Cómo podría cambiar esto nuestra interpretación de los resultados? Este tipo de debates pueden ayudar a sopesar las pruebas de forma reflexiva. Pero con demasiada frecuencia se descarrilan incluso cuando serían productivas. Innumerables estudios han demostrado que las jerarquías pueden llevar a las personas a ocultar opiniones discrepantes y que los participantes en las discusiones tienden a rehuir compartir datos potencialmente relevantes o hacer preguntas de sondeo cuando no experimentan seguridad psicológica: lacreencia de que se espera franqueza y de que no será castigada. Sin seguridad psicológica, es menos probable que funcione el enfoque que hemos descrito. Los equipos se benefician cuando sus miembros sienten que ofrecer datos, ideas, preocupaciones y puntos de vista alternativos será valorado tanto por sus compañeros como por los directivos. Y lo que es más importante, en muchas discusiones, los participantes deben considerar que hacer preguntas de sondeo forma parte de su trabajo. Se ha escrito mucho sobre cómo crear seguridad psicológica en un equipo. (Véase "Por qué los empleados tienen miedo a hablar", de James R. Detert y Amy C. Edmondson, HBR, mayo de 2007). Pero es especialmente crítico establecerla en un equipo que pretende utilizar pruebas para tomar decisiones empresariales, para que el miedo a plantear conclusiones impopulares no haga que los miembros pasen por alto datos críticos. El efecto escalofriante de una baja seguridad psicológica quedó patente en la respuesta a una investigación experimental en Facebook que analizaba si mostrar más publicaciones positivas frente a negativas afectaba a las emociones de los usuarios. En 2014, a raíz de la reacción pública contra la investigación -que surgió en parte porque la gente no sabía que Facebook realizaba este tipo de experimentos-, el CEO Mark Zuckerberg desconectó los proyectos de investigación externos en curso. Eso disuadió a los empleados de emprender experimentos que pudieran explorar el impacto social de Facebook de forma proactiva. Más recientemente, Zuckerberg ha cambiado de rumbo y ha expresado un renovado interés por la investigación externa. Sin embargo, si hace una década hubiera creado un ambiente en el que los ejecutivos de Facebook se sintieran capaces de debatir reflexivamente sobre los efectos negativos de los medios sociales, la empresa podría haber evitado algunos de sus recientes problemas de reputación relacionados con la desinformación y sus efectos en el bienestar de los usuarios. De los datos a las decisiones La toma de decisiones ante la incertidumbre es necesariamente iterativa; requiere pausas regulares para reflexionar tanto sobre la información como sobre el proceso. Los equipos eficaces aprenderán de los datos, ajustarán los planes en consecuencia y trabajarán deliberadamente para mejorar sus debates. Tomarse el tiempo necesario para discutir los matices de los análisis -incluidos el tamaño y la composición de la muestra, los resultados que se miden, el enfoque para separar la causalidad de la correlación y el grado en que los resultados pueden generalizarse de un entorno a otro- es vital para comprender cómo las pruebas pueden, o no, informar una decisión específica. Cuando se considera cuidadosamente, cada resultado empírico presenta una pieza de un rompecabezas, ayudando a las empresas a averiguar si es probable que los diferentes cambios tengan un efecto y cuándo. Estos debates también sentarán las bases para que las organizaciones sean más rigurosas en la recopilación de datos. Incluso en el mejor de los mundos, las pruebas rara vez son definitivas, y la forma en que se desarrollará un movimiento empresarial es incierta. No obstante, puede aspirar a tomar decisiones meditadas basándose en la información que tiene o que podría obtener. Si emplea un enfoque sistemático para su recopilación, análisis e interpretación, podrá cosechar con mayor eficacia los beneficios de la montaña cada vez mayor de datos internos y externos y tomar mejores decisiones.

Dónde puede salir mal la toma de decisiones basada en datos

Resumen.

Partner Center