Onde a tomada de decisão orientada por dados pode dar errado

A ideia em resumo O problema Quando os gerentes recebem dados internos ou um estudo externo, muitas vezes eles aceitam automaticamente a precisão e a relevância desses dados para seus negócios ou os descartam de imediato. Por que isso acontece Os líderes confundem erroneamente a causalidade com a correlação, subestimam a importância do tamanho da amostra, concentram-se nos resultados errados, julgam erroneamente a generalização ou ponderam demais um resultado específico. A abordagem correta Os líderes devem fazer perguntas de sondagem sobre as evidências em uma discussão rigorosa sobre sua utilidade. Eles devem criar um ambiente psicologicamente seguro para que os participantes se sintam à vontade para oferecer diversos pontos de vista. Digamos que o senhor esteja conduzindo uma reunião sobre o pagamento por hora dos funcionários do depósito de sua empresa. Há vários anos, esse salário tem sido automaticamente aumentado em pequenas quantias para acompanhar a inflação. Citando um estudo de uma grande empresa que constatou que um salário mais alto melhorou tanto a produtividade que aumentou os lucros, alguém da sua equipe defende uma abordagem diferente: um aumento substancial de US$ 2 por hora para todos os funcionários do depósito. O que o senhor faria? Com muita frequência, os líderes empresariais tomam uma das duas direções nesses momentos: ou aceitam as evidências apresentadas como verdadeiras ou as descartam completamente. Ambas as abordagens são equivocadas. Em vez disso, os líderes devem organizar discussões que avaliem cuidadosamente as evidências aparentemente relevantes e sua aplicabilidade a uma determinada situação. No cenário que acabamos de descrever, o senhor deve fazer uma série de perguntas com o objetivo de avaliar o impacto potencial dos aumentos salariais na sua empresa especificamente. O senhor poderia perguntar: O senhor pode nos dizer mais sobre o cenário da pesquisa para nos ajudar a avaliar se ela se aplica aos funcionários do nosso depósito? Como nossos salários se comparam aos de outros empregadores que competem por nossos funcionários e como isso se compara ao estudo? Foi realizado um experimento? Caso contrário, qual abordagem foi usada para entender se os salários mais altos estavam impulsionando a mudança de produtividade ou simplesmente refletindo-a? Quais medidas de produtividade foram usadas e por quanto tempo os efeitos foram medidos? Que outras análises ou dados podem ser relevantes? É claro que o tom é importante. Essas perguntas devem ser feitas em um espírito genuíno de curiosidade, com o desejo de aprender e obter recomendações sólidas. Independentemente de a evidência vir de um estudo externo ou de dados internos, é fundamental que o senhor a analise minuciosamente antes de tomar decisões importantes. Em nossas interações com empresas - inclusive empresas de tecnologia com muitos dados - notamos que essa prática não é seguida de forma consistente. Com muita frequência, as crenças predeterminadas, as comparações problemáticas e o pensamento de grupo dominam as discussões. Pesquisas da psicologia e da economia sugerem que vieses - como a negligência da taxa de base, a tendência de ignorar informações estatísticas gerais em favor de informações de casos específicos ou anedotas, e o viés de confirmação, a propensão de buscar e ponderar excessivamente os resultados que apoiam suas crenças existentes - também impedem a ponderação sistemática das evidências. Mas as empresas não precisam cair nesse padrão. Com base em nossa pesquisa, trabalho com empresas e experiência de ensino (incluindo aulas de educação executiva em liderança e análise de negócios e um recente curso de MBA chamado Data-Driven Leadership), desenvolvemos uma abordagem que os gerentes gerais podem aplicar às discussões sobre dados para que possam tomar melhores decisões. Teste de pressão a ligação entre causa e efeito Os anúncios em mecanismos de busca aumentarão as vendas? Permitir que os funcionários trabalhem remotamente reduzirá a movimentação? Essas perguntas são sobre causa e efeito e são o tipo de pergunta que a análise de dados pode ajudar a responder. Na verdade, os trabalhos de pesquisa as analisaram detalhadamente. Entretanto, os gerentes frequentemente interpretam erroneamente como as descobertas desses e de outros estudos se aplicam à sua própria situação de negócios. Ao tomar decisões, os gerentes devem considerar a validade interna - seuma análise responde com precisão a uma pergunta no contexto em que foi estudada. Eles também devem considerar a validade externa -até que ponto podem generalizar os resultados de um contexto para outro. Isso os ajudará a evitar cometer cinco erros comuns: Confundir causalidade com correlação. Embora a maioria das pessoas saiba que correlação não é igual a causalidade, esse erro é surpreendentemente predominante. Veja a estratégia de publicidade do eBay. Durante anos, a empresa fez anúncios em mecanismos de pesquisa como o Google, buscando aumentar a demanda atraindo mais clientes. Um relatório de consultoria concluiu que os anúncios eram eficazes, observando que, quando mais anúncios eram exibidos em um mercado, o valor total das compras no eBay era maior. Infelizmente, a TI havia chegado a uma conclusão errada sobre esses anúncios. Com a ajuda de um experimento conduzido por uma equipe de economistas liderada por Steven Tadelis, da Universidade da Califórnia em Berkeley, o eBay percebeu que a correlação era explicada por anúncios direcionados a pessoas que já estavam propensas a visitar o eBay e a mercados em que se esperava que a demanda pelo eBay aumentasse mesmo sem anúncios. Essas fotos tiradas por Docubyte mostram sua paixão por máquinas antigas e sua habilidade em restauração digital. Para entender a causalidade, o senhor deve se aprofundar em como o estudo em questão foi conduzido. Por exemplo, foi um estudo controlado e randomizado, no qual os pesquisadores distribuíram aleatoriamente as pessoas em dois grupos: um que foi submetido a uma condição de teste e um grupo de controle que não foi? Isso geralmente é considerado o padrão ouro para avaliar causa e efeito, embora esses experimentos nem sempre sejam viáveis ou práticos. Talvez os pesquisadores tenham se baseado em um experimento natural, observando os efeitos de um evento ou de uma mudança de política em grupos específicos. Por exemplo, um estudo pode examinar o impacto de um benefício cujos destinatários foram escolhidos por sorteio, o que permite que os pesquisadores comparem como o benefício mudou as circunstâncias ou o comportamento daqueles que ganharam na loteria com o daqueles que não ganharam. Os pesquisadores que não têm acesso a experimentos planejados ou naturais podem, em vez disso, controlar os possíveis fatores de confusão - variáveis que afetam a variável de interesse - em sua análise de dados, embora isso possa ser um desafio na prática. Por exemplo, se o senhor estivesse avaliando o impacto de um programa de treinamento sobre a produtividade, deveria certificar-se de controlar a experiência anterior e outros fatores que pudessem afetar a produtividade. Subestimar a importância do tamanho da amostra. Imagine dois hospitais: um grande, que lida com milhares de partos por ano, e um pequeno, com algumas centenas de partos por ano. Qual hospital o senhor acha que teria mais dias em que mais de 60% dos bebês nascidos fossem meninos? A resposta é o hospital pequeno, porque ele tem mais variabilidade nos números diários de nascimentos. É mais provável que amostras pequenas apresentem maiores flutuações. Os psicólogos Daniel Kahneman e Amos Tversky, em seu trabalho canônico sobre vieses e heurística, descobriram que a maioria das pessoas errou a resposta, sendo que mais da metade disse: "Mais ou menos o mesmo". As pessoas tendem a subestimar o efeito que o tamanho da amostra tem sobre a precisão de uma estimativa. Esse erro comum pode levar a decisões ruins. Se o senhor estiver tentando descobrir o quanto deve confiar nas avaliações on-line, como interpretar as tendências de produtividade ou quanto peso deve dar aos resultados de um experimento de publicidade, é importante considerar o tamanho da amostra que está sendo analisada. Ao avaliar os efeitos, pode ser útil perguntar não apenas sobre o tamanho da amostra, mas também sobre o intervalo de confiança. Um intervalo de confiança fornece uma faixa de valores em que o efeito verdadeiro provavelmente se enquadra e o grau de certeza de que ele se enquadra nessa faixa. As respostas devem moldar a conversa sobre o curso de ação que o senhor tomará. Concentrar-se nos resultados errados. Em seu clássico artigo da HBR de 1992, "The Balanced Scorecard: Measures That Drive Performance", Robert S. Kaplan e David P. Norton começaram com uma observação simples: "O que o senhor mede é o que o senhor obtém". Embora o artigo deles seja anterior à era da análise moderna, essa ideia é mais adequada do que nunca. Os experimentos e a análise preditiva geralmente se concentram nos resultados que são fáceis de medir, em vez daqueles com os quais os líderes empresariais realmente se preocupam, mas que são difíceis ou impraticáveis de determinar. Como resultado, as métricas de resultados geralmente não capturam totalmente o desempenho mais amplo das operações da empresa. Vamos voltar ao exemplo dos aumentos salariais. Os custos são facilmente medidos, enquanto os aumentos de produtividade podem ser difíceis de quantificar. Isso pode levar os gerentes a se concentrarem estritamente no custo de um salário melhor e a não avaliarem os ganhos potenciais. Uma análise mais ampla adotaria uma abordagem como a observada em um estudo realizado pelas economistas Natalia Emanuel e Emma Harrington. Elas se propuseram a entender as implicações dos níveis de remuneração dos depósitos definidos por um grande varejista on-line. As pesquisadoras examinaram as mudanças na produtividade após um aumento salarial de 2019 para os funcionários do armazém e descobriram que as melhorias na produtividade e na movimentação foram tão grandes que os aumentos salariais mais do que se pagaram. Eles encontraram resultados semelhantes quando analisaram os efeitos de salários mais altos sobre a produtividade e a movimentação dos funcionários de atendimento ao cliente. TI também é importante certificar-se de que o resultado que está sendo estudado é um bom substituto para a meta organizacional real em questão. Alguns experimentos de empresas acompanham os resultados por apenas alguns dias e presumem que eles são uma evidência sólida do efeito de longo prazo. Com determinadas perguntas e contextos, um curto período de tempo pode não ser suficiente. Uma empresa que trabalha para evitar esse problema é a Amazon: A TI investe muito na exploração dos custos e benefícios de longo prazo de possíveis mudanças nos produtos. Há muitas maneiras de avaliar a relevância e a interpretação dos resultados, desde discussões claras sobre as limitações até análises formais da ligação entre os efeitos de curto prazo e os de longo prazo. Para realmente aprender com qualquer conjunto de dados, o senhor precisa fazer perguntas básicas como: Quais resultados foram medidos e incluímos todos os que são relevantes para a decisão que temos de tomar? Eles foram amplos o suficiente para capturar as principais consequências pretendidas e não pretendidas? Eles foram monitorados por um período de tempo adequado? Julgar mal a generalização. Com o exemplo do aumento salarial do armazém, uma questão vital é o que os resultados de um conjunto de armazéns implicam para um conjunto diferente. Além disso, uma empresa pode querer saber como os resultados se aplicam, por exemplo, aos funcionários de restaurantes ou varejistas. Já vimos líderes empresariais cometerem erros em ambas as direções, superestimando ou subestimando a generalização dos resultados. Por exemplo, quando o vice-presidente sênior de engenharia de uma grande empresa de tecnologia nos contou sobre a regra de sua empresa de não considerar as notas universitárias nas decisões de contratação de engenheiros, perguntamos qual era a justificativa. Ele disse que o Google havia "provado que as notas não importam" - referindo-se ao comentário de um executivo do Google que ele havia lido em algum lugar, afirmando que não havia relação entre notas escolares e resultados de carreira. Ao considerar essa informação como um evangelho, o senhor ignorou as possíveis limitações de sua validade interna e externa. Docubyte Quando o senhor está avaliando a generalização, pode ser útil discutir os mecanismos que podem explicar os resultados e se eles se aplicam a outros contextos. O senhor pode fazer perguntas como: Qual é a semelhança entre o cenário deste estudo e o de nossa empresa? O contexto ou o período da análise a torna mais ou menos relevante para nossa decisão? Qual é a composição da amostra que está sendo estudada e como ela influencia a aplicabilidade dos resultados? O efeito varia entre os subgrupos? Ponderação excessiva de um resultado específico. Confiar em uma única descoberta empírica sem uma discussão sistemática sobre ela pode ser tão insensato quanto descartar as evidências como irrelevantes para a sua situação. Vale a pena verificar se há pesquisas adicionais sobre o assunto. A realização de um experimento ou de uma análise mais aprofundada com sua própria organização pode ser outra boa opção. As perguntas a serem feitas incluem: Existem outras análises que validam os resultados e a abordagem? Que dados adicionais poderíamos coletar e se o benefício de reunir mais evidências superaria o custo desse esforço? Comece falando Em 1906, Sir Francis Galton analisou os dados de um concurso em uma feira de gado em que as pessoas adivinhavam o peso de um boi. Embora os palpites individuais estivessem espalhados por todo o mapa, a média dos palpites foi quase exata - demonstrando a sabedoria da multidão. No entanto, aproveitar essa sabedoria pode ser um desafio. A inteligência coletiva é melhor quando existem mecanismos para promover a participação ativa e diversificada. Caso contrário, as multidões também podem ampliar a parcialidade - especialmente quando têm pontos de vista homogêneos. Para superar o preconceito, os líderes empresariais podem convidar colaboradores com perspectivas diversas para uma conversa, pedir-lhes que desafiem e desenvolvam ideias e garantir que as discussões sejam investigativas e se baseiem em dados de alta qualidade. (Consulte "What You Don't Know About Making Decisions", de David A. Garvin e Michael Roberto, HBR, setembro de 2001). Incentivar a discordância e a crítica construtiva pode ajudar a combater o pensamento de grupo, facilitar a previsão de consequências não intencionais e ajudar as equipes a evitar dar muito peso às opiniões dos líderes. Os líderes também devem incentivar as pessoas a considerar o impacto das decisões sobre as várias partes interessadas e deliberadamente romper com as perspectivas isoladas. Como evitar erros previsíveis É cada vez mais vital testar as suposições, principalmente antes de tomar decisões difíceis de reverter. Aqui estão cinco armadilhas comuns que os líderes cometem ao interpretar análises, juntamente com as perguntas que o ajudarão a evitá-las. Para evitar esse problema: Pergunte sobre isso: Exemplos de perguntas: Para evitar esse problema: Confundir correlação e causalidade Pergunte sobre isso: Abordagem para determinar a causalidade Exemplos de perguntas: Essa análise foi baseada em um experimento? Se não, existem fatores de confusão (variáveis que afetam as variáveis independentes e dependentes)? Até que ponto eles foram abordados na análise? Para evitar esse problema: Julgamento errôneo da possível magnitude dos efeitos Pergunte sobre isso: O tamanho da amostra e a precisão dos resultados Perguntas de amostragem: Qual foi o efeito médio da mudança? Qual foi o tamanho da amostra e o intervalo de confiança (ou intervalo de valores prováveis em que o efeito verdadeiro se enquadraria e o grau de certeza de que se enquadraria nesse intervalo)? Como nosso curso de ação mudaria, dependendo de onde o efeito verdadeiro poderia estar? Para evitar esse problema: Uma desconexão entre o que é medido e o que importa Pergunte sobre isso: Medidas de resultados Exemplos de perguntas: Quais resultados foram medidos? Eles foram suficientemente amplos? Eles capturaram as principais consequências pretendidas e não pretendidas? Eles foram monitorados por um período de tempo adequado? Todos os resultados relevantes foram relatados? Como achamos que eles estão relacionados às metas organizacionais mais amplas? Para evitar esse problema: Julgamento errôneo da generalização Pergunte sobre isso: Configuração empírica e análise de subgrupo Exemplos de perguntas: Qual é a semelhança entre o cenário deste estudo e o nosso contexto de negócios? O contexto ou o período de tempo da análise a torna mais ou menos relevante para nossa decisão? Qual é a composição da amostra que está sendo estudada e como ela influencia a aplicabilidade dos resultados? O efeito varia entre subgrupos ou ambientes? Isso nos diz algo sobre a generalização dos resultados? Para evitar esse problema: Ponderação excessiva de um resultado específico Pergunte sobre isso: Evidências mais amplas e coleta de dados adicionais Exemplos de perguntas: Existem outras análises que validam os resultados e a abordagem? Que dados adicionais poderíamos coletar, e o benefício de coletá-los superaria o custo de coletá-los? Como isso poderia mudar nossa interpretação dos resultados? Esses tipos de discussões podem ajudar a garantir a ponderação cuidadosa das evidências. Mas, com muita frequência, elas acabam descarrilando mesmo quando seriam produtivas. Inúmeros estudos demonstraram que as hierarquias podem levar as pessoas a reter opiniões divergentes e que os participantes da discussão tendem a evitar compartilhar dados potencialmente relevantes ou fazer perguntas de sondagem quando não experimentam segurança psicológica -a crença de que a franqueza é esperada e não será punida. Sem segurança psicológica, é menos provável que a abordagem que descrevemos funcione. As equipes se beneficiam quando seus membros sentem que oferecer dados, ideias, preocupações e pontos de vista alternativos será valorizado por seus colegas e gerentes. O mais importante é que, em muitas discussões, os participantes vejam as perguntas de sondagem como parte de seu trabalho. Muito já foi escrito sobre como criar segurança psicológica em uma equipe. (Veja "Why Employees Are Afraid to Speak", de James R. Detert e Amy C. Edmondson, HBR, maio de 2007). Mas é especialmente importante estabelecê-la em uma equipe que busca usar evidências para tomar decisões de negócios - para que o medo de levantar descobertas impopulares não faça com que os membros percam dados críticos. O efeito inibidor da baixa segurança psicológica ficou evidente na resposta à pesquisa experimental do Facebook que analisou se a exibição de publicações mais positivas ou negativas afetava as emoções dos usuários. Em 2014, após a reação do público à pesquisa - que surgiu, em parte, porque as pessoas não sabiam que o Facebook estava realizando esses tipos de experimentos - o CEO Mark Zuckerberg suspendeu os projetos de pesquisa externos em andamento. Isso impediu que os funcionários realizassem experimentos que pudessem explorar o impacto social do Facebook de forma proativa. Mais recentemente, Zuckerberg mudou de rumo e expressou interesse renovado em pesquisas externas. No entanto, se ele tivesse criado uma atmosfera em que os executivos do Facebook se sentissem capazes de discutir cuidadosamente os efeitos negativos da mídia social há uma década, a empresa poderia ter evitado alguns de seus recentes desafios de reputação relacionados à desinformação e seus efeitos no bem-estar do usuário. Dos dados às decisões A tomada de decisões em face da incerteza é necessariamente iterativa; requer pausas regulares para reflexão sobre as informações e o processo. Equipes eficazes aprenderão com os dados, ajustarão os planos de acordo com eles e trabalharão deliberadamente para melhorar suas discussões. Reservar um tempo para discutir as nuances das análises - inclusive o tamanho e a composição da amostra, os resultados que estão sendo medidos, a abordagem para separar a causalidade da correlação e até que ponto os resultados podem ser generalizados de um ambiente para outro - é vital para entender como as evidências podem ou não informar uma decisão específica. Quando considerado com cuidado, cada resultado empírico apresenta uma peça de um quebra-cabeça, ajudando as empresas a descobrir se e quando diferentes mudanças provavelmente terão um efeito. Essas discussões também prepararão o terreno para que as organizações sejam mais rigorosas na coleta de dados. Mesmo no melhor dos mundos, as evidências raramente são definitivas e o resultado de uma mudança comercial é incerto. No entanto, o senhor pode aspirar a fazer escolhas ponderadas com base nas informações que possui ou que poderá obter. Ao empregar uma abordagem sistemática para sua coleta, análise e interpretação, o senhor pode colher com mais eficiência os benefícios da montanha cada vez maior de dados internos e externos e tomar decisões melhores.

Onde a tomada de decisão orientada por dados pode dar errado

Resumo.

Partner Center