Viés de seleção e os perigos do benchmarking

Os gerentes aprendem pelo exemplo. Eles — e os consultores que pagam por conselhos — estudam os métodos e as táticas de empresas bem-sucedidas em busca das fórmulas mágicas para a prosperidade dos negócios. O que poderia fazer mais sentido? O que poderia ser mais perigoso. Analisar empresas bem-sucedidas pode ser extremamente enganador. Certa vez, ouvi uma apresentação sobre os atributos dos principais empreendedores. Com base em vários estudos de caso impressionantes, o palestrante concluiu que todos esses líderes compartilhavam duas características principais que explicaram seu sucesso: eles persistiram, muitas vezes apesar dos fracassos iniciais, e conseguiram persuadir outros a se juntarem a eles. Isso soou bastante razoável para a maioria das pessoas na platéia. O único problema foi que o palestrante não conseguiu apontar que essas mesmas características são necessariamente a marca registrada de empreendedores espetacularmente malsucedidos. Pense nisso: incorrer em grandes perdas exige persistência em face do fracasso e a capacidade de persuadir outras pessoas a despejar seu dinheiro no ralo. Aqui está o problema de aprender por meio de um bom exemplo: qualquer pessoa que tente fazer generalizações sobre o sucesso nos negócios estudando empresas ou gerentes existentes cai na armadilha estatística clássica do viés de seleção, ou seja, de confiar em amostras que não são representativas de toda a população que estão estudando. Portanto, se os pesquisadores de negócios estudarem apenas empresas bem-sucedidas, qualquer relação que eles inferirem entre a prática gerencial e o sucesso será necessariamente enganosa. A maneira teoricamente correta de descobrir o que torna um negócio bem-sucedido é analisar empresas prósperas e fracassadas. Então, os pesquisadores de negócios identificarão corretamente as qualidades que separam os sucessos dos fracassos. Os pesquisadores podem concluir, como muitos concluíram, que a força da cultura de uma empresa está associada ao sucesso porque muitas empresas bem-sucedidas têm culturas fortes. Mas se eles também estudassem empresas falidas, poderiam descobrir que muitas delas também tinham culturas fortes. Eles podem então ser movidos a supor que o natureza da cultura de uma empresa é pelo menos tão importante quanto sua intensidade e depois examine mais profundamente toda a questão da cultura. Da mesma forma, se quisermos examinar traços de liderança eficazes, não podemos olhar apenas para gerentes excelentes. Também devemos considerar os gerentes que não foram promovidos, foram rebaixados ou foram demitidos. Talvez seus estilos de liderança fossem igualmente visionários ou humildes. Sem olhar, não podemos dizer. A luz ofuscante do sucesso O viés de seleção é uma armadilha difícil de ser evitada por acadêmicos e profissionais de negócios, porque o bom desempenho é recompensado pela sobrevivência. Qualquer amostra de gerentes atuais conterá mais sucessos do que fracassos, se os sistemas internos de seleção das empresas funcionarem adequadamente. Da mesma forma, empresas com baixo desempenho tendem a falir e desaparecer e, portanto, qualquer amostra de empresas existentes, por definição, consiste em grande parte em empresas bem-sucedidas. Por esse motivo, os gerentes têm menos probabilidade de serem infectados pelo viés de seleção se estiverem trabalhando em um setor emergente. A evidência do fracasso está por toda parte. Durante o boom da Internet, por exemplo, dezenas de novas empresas entraram e saíram do mercado. Além disso, muitos conseguiram se manter à tona por algum tempo com pouca ou nenhuma receita. Os gerentes que tentam avaliar os méritos das várias estratégias nesse estágio da evolução do setor on-line poderiam trabalhar com um conjunto de dados relativamente imparcial. De todos os gerentes, os capitalistas de risco são talvez os menos propensos a sofrer de viés de seleção. Como apenas cerca de 10% de todos os investimentos que eles fazem se tornarão lucrativos, os VCs investem em muitos empreendimentos diferentes na esperança de que grandes retornos sobre os poucos sucessos compensem as inúmeras perdas. Portanto, os VCs observam muitas falhas e sua base de experiência está quase completamente livre do sucesso. É quando um setor amadurece e a taxa de falha diminui que o viés de seleção se torna um problema. Após o colapso das pontocom, empresas com baixo desempenho finalmente fecharam e menos empresas entraram, o que significou que poucas falharam posteriormente. Ao mesmo tempo, empresas como Amazon, Google e eBay cresceram e até lucraram, atraindo mais atenção. No futuro, é provável que apenas algumas grandes empresas dominem esse setor, e as inúmeras empresas que seguiram estratégias semelhantes, mas falharam, serão esquecidas. O efeito do preconceito é quase certamente maior do que a maioria das pessoas pensa, porque o processo de seleção na maioria dos setores é muito dramático. Alguns estudos mostraram que 50% de todos os novos negócios falham durante os primeiros três a cinco anos. Considere, por exemplo, a indústria de pneus dos EUA. Após um período de rápido crescimento, o número de empresas atingiu o pico em 1922, com 274. Em 1936, havia apenas 49 sobreviventes, um declínio de mais de 80%. Portanto, qualquer pessoa que estudasse o setor na década de 1930 teria sido capaz de observar apenas uma amostra muito pequena da população que havia entrado originalmente. Isso não quer dizer que empresas estabelecidas não falhem. Eles o fazem, especialmente após mudanças radicais na tecnologia ou na demanda. Mas o fato é que as pessoas que trabalham em empresas estabelecidas em setores maduros são as mais suscetíveis ao viés de seleção. Uma gerente regional de marketing em uma empresa como a Coca-Cola ou a Procter & Gamble passa a maior parte do tempo administrando uma marca e uma linha de produtos bem-sucedidas. Ela pode ter falhado na implementação de uma nova prática de marketing em algum momento ou outro, mas ela só terá liderado a introdução de dois ou três novos produtos e provavelmente nunca terá iniciado um novo negócio. Em outras palavras, sua experiência será fortemente orientada para o sucesso. O viés de seleção não é um problema apenas para empresas individuais. Os julgamentos sobre as práticas gerais de gestão também são influenciados por ela. Um novo programa de qualidade em uma empresa pode não funcionar como prometido e ser descontinuado. Outras empresas do mesmo setor podem ter sucesso com o programa e mantê-lo. A menos que você descubra os programas que falharam, você poderá observar apenas os casos bem-sucedidos. Não quero sugerir que gerentes e analistas nunca estudem falhas. Mas aqueles que eles observam tendem a ser fiascos realmente espetaculares ou aqueles, como a Enron, que provocam forte indignação moral. E mesmo assim, geralmente é só no momento. Quantos gerentes gastam seu tempo estudando o colapso corporativo da década de 1980? No entanto, eles ainda leem livros sobre as estratégias de fabricação dos inovadores japoneses da época. Quantos gerentes estudam os colapsos corporativos da década de 1980? No entanto, eles ainda leem sobre as estratégias de fabricação japonesas da época. Onde estão os perigos Em quais tipos de armadilhas os gerentes caem quando confiam em dados tendenciosos? Três são prováveis. Talvez o erro mais comum seja supervalorizar práticas comerciais arriscadas. O problema é fácil de ver na exposição “Os efeitos do viés”, que ilustra o que acontece quando as tendências são extraídas de campos de dados incompletos. Os efeitos do preconceito O que acontece quando as pessoas tiram conclusões de dados incompletos? Suponha que você esteja investigando a relação entre o desempenho corporativo e uma prática comercial arriscada específica, como o uso de equipes multifuncionais. Se você traçasse os resultados de todas as empresas que adotaram essa prática (ou qualquer outra prática desse tipo), descobriria que quanto mais difundida a prática, mais volátil o desempenho da empresa, e seu gráfico ficaria assim: Em média, como indica a linha de tendência, qualquer prática arriscada está correlacionada de forma um tanto negativa com o desempenho. Mas suponha que você analisasse apenas as empresas existentes e excluísse todas aquelas que haviam falido enquanto praticavam essa prática. Então, seu gráfico ficaria assim: Agora, a linha de tendência indicará uma correlação positiva, o que obviamente não é o caso. Assim, o viés de seleção fará com que você tire com precisão a conclusão errada. Os gráficos traçam a relação entre o engajamento em uma prática organizacional arriscada e o desempenho corporativo subsequente. O primeiro gráfico registra dados de todas as empresas que já implementaram a prática arriscada, enquanto o segundo exclui as empresas que falharam. Como era de se esperar, o desempenho das empresas que não empregam a prática é relativamente estável. Porém, quanto maior o grau em que as empresas se engajam na prática, maior se torna a lacuna entre as empresas bem-sucedidas e as malsucedidas, à medida que o desempenho aumenta ou diminui. Em média, porém, como mostra a linha de tendência, envolver-se um pouco na prática arriscada reduz desempenho. Agora, suponha que observamos esse setor somente depois que muitas das empresas com pior desempenho fecharam ou foram adquiridas por outras empresas. Nesse caso, teríamos visto os sucessos, mas poucos fracassos associados à prática arriscada. Como resultado, a associação observada entre a prática de risco e o desempenho seria positivo, como mostra o segundo gráfico — o inverso da verdadeira associação. Lee Fleming ilustra adequadamente essa dinâmica em seu Harvard Business Review artigo “Aperfeiçoando a polinização cruzada” (setembro de 2004). Fleming descobriu que, em média, o valor das inovações provenientes de equipes diversas e multifuncionais é menor do que o valor das inovações produzidas por equipes de cientistas com experiências semelhantes. Mas as inovações que as equipes mais heterogêneas produzem tendem a ser descobertas ou fracassos sombrios. Na verdade, a distribuição dos valores da inovação à medida que a diversidade dos membros da equipe aumenta parece bastante semelhante à que vemos em nosso primeiro gráfico. Na maioria dos casos, no entanto, os dados sobre projetos fracassados não estão disponíveis, pelo menos sobre projetos fracassados em outras empresas, então a maioria dos gerentes seria capaz de observar apenas o padrão de distribuição que vemos em nosso segundo gráfico. Como resultado, eles superestimariam o valor das equipes multifuncionais. Somente coletando dados sobre sucessos e fracassos, como fez Fleming, eles poderiam identificar os riscos envolvidos no uso de equipes de pesquisa multifuncionais. (Outro exemplo da mesma dinâmica é descrito na barra lateral, “Como você pode errar?”) Quão errado você pode errar? Durante a Segunda Guerra Mundial, o estatístico Abraham Wald estava avaliando a vulnerabilidade dos aviões ao fogo inimigo. Todos os dados disponíveis mostraram que algumas partes dos aviões foram atingidas desproporcionalmente com mais frequência do que outras partes. O pessoal militar concluiu, naturalmente, que essas partes deveriam ser reforçadas. Wald, no entanto, chegou à conclusão oposta: as partes atingidas com menos frequência deveriam ser protegidas. Sua recomendação refletiu sua visão sobre o viés de seleção inerente aos dados, que representava apenas os aviões que retornaram. Wald argumentou que um avião teria menos probabilidade de retornar se fosse atingido em uma área crítica e, inversamente, que um avião que retornasse mesmo quando atingido provavelmente não havia sido atingido em um local crítico. Assim, ele argumentou, seria improvável que reforçar as partes dos aviões devolvidos que sofreram muitos ataques valeria a pena.1 1. A história de Wald é uma das anedotas mais citadas na comunidade estatística. Para saber mais sobre isso, consulte W. Allen Wallis, “The Statistical Research Group, 1942—1945”, Jornal da Associação Americana de Estatística, Junho de 1980, e M. Mangel e F.J. Samaniego, “O trabalho de Abraham Wald sobre a sobrevivência de aeronaves”, Jornal da Associação Americana de Estatística, Junho de 1984. Uma segunda armadilha para gerentes incautos surge do fato de que o desempenho geralmente se alimenta de si mesmo, de modo que as realizações atuais são injustamente ampliadas pelas conquistas passadas. Para ver como isso funciona, imagine que uma empresa é uma corredora competindo contra outros corredores. Se o corredor vencer dez corridas independentes, provavelmente é melhor do que os outros, que podem aprender com ele. Mas suponha, em vez disso, que o resultado de uma corrida afete as corridas subsequentes. Ou seja, se o corredor vencer por um minuto na primeira corrida, ele terá um minuto de vantagem na próxima corrida, e assim por diante. Claramente, vencer dez dessas corridas é menos impressionante, já que uma vitória na primeira corrida dá ao corredor uma chance maior de vencer a segunda, e uma chance ainda maior de vencer a terceira, e assim por diante. Muitos setores funcionam da mesma maneira. Por exemplo, uma companhia telefônica ou uma empresa de software que teve uma grande participação de mercado em 2004 provavelmente também terá uma grande participação de mercado em 2005, devido à inércia do cliente e aos custos de mudança. Assim, mesmo que os gerentes façam um trabalho ruim em 2005, essa empresa ainda pode gerar altos lucros, pois os gerentes confiam em suas realizações anteriores ou na boa sorte. Concentrar-se nos retornos do mercado de ações em vez dos lucros mitiga esse problema, uma vez que as mudanças nos preços das ações, em um mercado que funciona bem, refletem mudanças no desempenho. Mas definir o sucesso pelos retornos do mercado de ações introduz outros problemas. Como ressaltou Sidney Winter, professor da Wharton, o preço das ações de uma empresa se manterá estável quando um CEO excelente suceder ao outro. No entanto, o preço das ações aumentará quando a empresa trocar um CEO inferior por um CEO melhor, mas ainda abaixo do padrão. Manter a excelência, em outras palavras, pode ser menos recompensado do que se tornar meramente medíocre. Um terceiro problema de procurar apenas pistas sobre o alto desempenho em busca de pistas sobre o alto desempenho é a questão da causalidade reversa. Os dados podem, por exemplo, revelar uma forte associação entre a força da cultura de uma empresa e seu desempenho. Mas uma cultura forte leva ao alto desempenho ou vice-versa? O problema do ovo e da galinha é especialmente complicado nesse caso, pois o alto desempenho por si só afeta a cultura corporativa de várias maneiras. Para começar, provavelmente é mais fácil construir uma cultura baseada em equipe em uma empresa saudável do que em uma empresa falida, na qual os trabalhadores provavelmente se sentirão desmoralizados e desleais. Empresas de alto desempenho também podem se dar ao luxo de instituir programas e práticas que empresas de baixo desempenho não podem. Algumas dessas atividades caras e demoradas podem, na verdade, reduzir o desempenho em empresas com dificuldades. Além disso, as expectativas de desempenho dos gerentes podem influenciar sua escolha de estratégias e, assim, confundir as interpretações do efeito que essas escolhas têm. Como William Boulding e Markus Christen observaram em “First-Mover Disadvantage” (HBR, outubro de 2001), as empresas que têm produtos inovadores e fortes capacidades de distribuição geralmente optam por entrar em novos mercados mais cedo. Seus fortes produtos e capacidades produzem altos retornos. Como resultado, no entanto, seus gerentes associam a entrada antecipada ao alto desempenho em todos os casos, mesmo quando há uma desvantagem pioneira. Preconceito, preconceito em todos os lugares Muitas das teorias populares sobre desempenho estão repletas de viés de seleção. Uma das ideias mais duradouras em gestão, por exemplo, é a noção de que empresas bem-sucedidas são aquelas que concentram a maior parte de seus recursos em uma área ou tecnologia, em vez de diversificar. Livros como Em busca da excelência, construída para durar, e Lucre com o Core todos recomendam que os gerentes “continuem tricotando” e “se concentrem no núcleo”. Normalmente, os estudos de pesquisa por trás desses livros analisam apenas empresas existentes ou, ainda mais estritamente, apenas empresas de grande sucesso. Como resultado, seus autores superestimam os benefícios do foco. Considere, por exemplo, a descoberta de Chris Zook e James Allen em Lucre com o Core que 78% de todas as empresas de alto desempenho se concentraram em um conjunto de atividades principais, enquanto apenas 22% das empresas de baixo desempenho o fizeram. O estudo incluiu cerca de 1.854 empresas, avaliando o alto desempenho de acordo com os retornos do preço das ações, vendas e índices de lucro, mas incluiu apenas negócios que sobreviveram durante todo o período do estudo. Portanto, não considerou nenhuma empresa que começou com uma estratégia focada, mas depois falhou. Incluir essas falhas teria mudado substancialmente o quadro. De acordo com Zook e Allen, 13% de todas as empresas alcançaram alto desempenho, das quais 78% — ou 188 empresas — se concentraram no núcleo. Se, nesse período, apenas 200 outras empresas com estratégias focadas que haviam saído do mercado tivessem sido incluídas na amostra, a verdadeira relação entre foco e desempenho seria exatamente o oposto da que Zook e Allen inferem. Outra boa ideia frequentemente elogiada pelos gurus da administração e pela imprensa popular é que os CEOs devem ser ousados e assumir riscos. De fato, muitas reportagens na imprensa empresarial celebram a intuição de certos grandes líderes. Não menos autoridade do que Jack Welch intitulou sua autobiografia Direto do intestino . Alguns líderes, principalmente Akio Morita, da Sony, chegaram ao ponto de evitar totalmente a pesquisa de mercado, acreditando que seus instintos são um guia melhor para as mudanças do mercado. Certamente é verdade que as empresas podem ser generosamente recompensadas quando seus CEOs assumem grandes riscos. Suponha que você esteja operando em um setor — moda, por exemplo, ou eletrônicos de consumo — em que os pioneiros têm uma vantagem, mas onde também há uma incerteza considerável em relação às preferências do consumidor. Para obter a vantagem de ser pioneira, a empresa deve agir rapidamente. As empresas com melhor desempenho serão aquelas que, lideradas em grande parte pelos instintos de seus gerentes seniores, tiverem a sorte de lançar produtos que, por acaso, atraem os clientes. Mas as empresas com pior desempenho também serão aquelas que agirem com base em palpites e, por acaso, lançarem produtos que não agradam aos clientes. Como poucas pessoas anunciam seus fracassos e muitas dessas empresas infelizes deixam de existir, ouvimos principalmente sobre o sucesso de decisões baseadas em intuições e pouco sobre os incontáveis “visionários” que, da mesma forma, tentaram revolucionar indústrias, mas não o fizeram. A questão aqui não é que todas as teorias populares sobre desempenho estejam erradas. Eu não sei. Pode haver uma ligação genuína entre sucesso e foco. Em alguns setores, a força de uma cultura pode ser importante, independentemente de sua natureza. E os instintos de alguns gerentes podem ser uma base tão sólida para a tomada de decisões estratégicas quanto qualquer análise. Mas o que eu sei é que nenhum gerente deve aceitar uma teoria sobre negócios, a menos que tenha certeza de que os defensores da teoria estão trabalhando com base em um conjunto de dados imparcial. Corrigindo o problema A medida mais óbvia a ser tomada para se proteger contra o viés de seleção é obter todos os dados possíveis sobre falhas. Em suas organizações, você deve insistir em que os dados sobre falhas internas sejam coletados e analisados sistematicamente. Caso contrário, essas informações podem desaparecer facilmente porque as pessoas responsáveis podem deixar a organização ou não estar dispostas a conversar. Olhando para fora da sua empresa, você deve estender seus exercícios de benchmarking para incluir empresas menos bem-sucedidas. As associações do setor podem ajudá-lo a coletar dados sobre falhas de novas práticas e conceitos. Apesar de seus melhores esforços, é improvável que você tenha certeza absoluta de que seus dados são imparciais. Felizmente, você tem algum apoio, porque economistas e estatísticos desenvolveram várias ferramentas para corrigir o viés de seleção. Essas ferramentas, no entanto, são baseadas em certas suposições, que podem ser mais ou menos realistas, dependendo do contexto. Suponha, por exemplo, que queremos estimar o retorno médio sobre o patrimônio líquido de todas as empresas em um determinado setor, mas temos disponíveis apenas os dados de ROE das empresas sobreviventes. Como empresas de baixo lucro têm maior probabilidade de falir, apenas calcular o ROE médio de todas as empresas sobreviventes resultaria em uma estimativa muito alta. Mas suponha que suponhamos que o ROE seja distribuído ao longo de uma curva de sino padrão e que todas as empresas com um ROE negativo falharão. Então, podemos usar os dados que temos para estimar o ROE médio de todas as empresas, porque as informações disponíveis são suficientes para nos dizer o quão íngreme é a curva, a amplitude e a média. Essa abordagem pode ser usada para corrigir o viés em qualquer situação na qual possamos aplicar ferramentas estatísticas formais. Por exemplo, digamos que suspeitemos que, em um determinado setor, quanto mais treinamento a equipe de vendas de uma empresa recebe, maior será o desempenho médio do vendedor e mais consistente será o desempenho de toda a equipe de vendas. Suponha ainda que tenhamos dados detalhados sobre os investimentos em treinamento feitos pela maioria das empresas que operam atualmente no setor. Se pudermos assumir com segurança que o desempenho segue algum padrão de distribuição especificado, podemos, em princípio, usar os dados que temos para obter uma estimativa imparcial de como os investimentos em treinamento realmente influenciam o nível médio e a variabilidade do desempenho da equipe de vendas, mesmo que não tenhamos dados sobre empresas que falharam. Essencialmente, o que estamos fazendo é inferir a forma de um determinado iceberg observando sua ponta e fazendo (esperamos) uma suposição razoável sobre a relação entre as pontas dos icebergs e o resto deles. O pioneiro desses métodos estatísticos foi James Tobin, ganhador do Prêmio Nobel de Economia de 1981. Seu trabalho foi posteriormente desenvolvido por James Heckman, que recebeu o Prêmio Nobel em 2000 por suas contribuições nessa área. Nos últimos anos, estudiosos de administração aplicaram esses métodos para corrigir o viés de seleção em suas próprias pesquisas e começaram a defender seu uso na comunidade gerencial mais ampla. Em “Obter o máximo de todos os seus clientes” (HBR, julho-agosto de 2004), por exemplo, Jacquelyn S. Thomas, Werner Reinartz e V. Kumar demonstram como essas ferramentas podem ser usadas para melhorar a relação custo-benefício dos investimentos em marketing. Sei que palavras de advertência e conselhos sobre o fracasso raramente são bem recebidos. Os gerentes anseiam por certezas e modelos de comportamento da literatura de negócios e, até certo ponto, precisam. Eles vivem em um mundo acelerado e, muitas vezes, não podem se dar ao luxo de adiar a ação até obterem dados melhores. Mas realmente não há desculpa para ignorar as armadilhas gritantes que descrevemos nestas páginas. O sucesso pode ser mais inspirador, mas a lógica inevitável das estatísticas determina que os gerentes que buscam alto desempenho têm maior probabilidade de atingir sua meta se ouvirem as histórias dos fracassos de seus concorrentes de forma tão completa quanto ouvem as histórias de seus sucessos atualmente.

Viés de seleção e os perigos do benchmarking

Partner Center