Quando a pesquisa deve vir com uma etiqueta de advertência

Em seu novo livro afiado e envolvente, A notícia: um manual do usuário, o filósofo Alain de Botton descreve a experiência de consumir notícias como se fôssemos acordados todas as manhãs por um oficial frenético armado com “uma maleta cheia de questões desconcertantes e, no final, cansativas: “Prevê-se que cinco hospitais violem seus limites de crédito até o final do mês”, “O banco central está preocupado com sua capacidade de arrecadar dinheiro nos mercados de títulos”, “Prevê-se que cinco hospitais violem seus limites de crédito até o final do mês”, “O banco central está preocupado com sua capacidade de arrecadar dinheiro nos mercados de títulos”, “Um navio de guerra chinês acaba de sair o continente a caminho do Vietnã”... O que devemos pensar? Para onde tudo isso deve ir em nossas mentes?” Sua resposta é que, em um mercado de notícias repleto de fatos, os fatos por si só não são vendidos; eles exigem uma história — e essa história, diz ele maliciosamente, precisa de algum tipo de preconceito por parte do autor, “um par de lentes que deslizam sobre a realidade e visam colocá-la mais claramente em foco”. Você pode ver o que ele quer dizer: nossa capacidade de produzir dados sobre tudo requer embalagem; caso contrário, é como se encontrar em uma biblioteca onde todos os livros foram desmontados em pilhas de parágrafos, frases e palavras. Nosso consumo de informações requer um algoritmo de narrativa e uma perspectiva de preconceito para produzir foco. O problema — o principal problema de nossa economia do conhecimento — é se acabamos nos concentrando em algo que é realmente verdadeiro. O tamanho do problema para a indústria — e para uma indústria em particular — é ilustrado por um estudo recente que, ironicamente, afirmou descobrir o tipo de preconceito que não queremos ver quando se trata de avaliar a validade dos dados. O estudo, que apareceu em Medicina PLoS, argumenta que o financiamento da indústria comprometeu as evidências sobre o açúcar. Revisões sistemáticas de estudos sobre consumo de bebidas açucaradas e ganho de peso - ou seja, avaliações que tentam resumir o estado das evidências - tiveram cinco vezes mais chances de concluir que não há relação do que revisões sistemáticas sem financiamento da indústria. Como manchete em Forbes.com coloque, de forma sucinta,” Big Sugar Tips: o equilíbrio da escala de pesquisa.” Essa é uma acusação poderosa justamente porque já ouvimos o mesmo tipo de história antes: quando uma indústria está em apuros, seu primeiro recurso será fabricar dúvidas científicas ou se referir a dúvidas científicas pré-fabricadas. De fato, caso isso não tenha passado pela sua cabeça, os autores do PLoS vinculam suas descobertas ao comportamento anterior das indústrias farmacêutica e de tabaco. A narrativa, o preconceito e o foco fornecem uma justificativa esmagadora para arquivar a história como “má conduta” com uma nota para desconsiderar a legitimidade de quaisquer dados produzidos pelo financiamento desse setor. Mas somente se o estudo da PLoS for verdadeiro. O fascinante de como essas informações entraram no campo do debate público não é apenas que ninguém fez essa pergunta, mas que nosso sistema para produzir e compartilhar esse conhecimento é mal projetado para fazer essas perguntas. Aqui está o problema com o estudo da PLoS: ele não pode responder à pergunta que afirma responder por causa da forma como foi projetado. Os pesquisadores analisaram revisões sistemáticas realizadas entre 2006 e 2013. Mas esse período viu uma mudança significativa no tipo de pesquisa feita sobre açúcar e ganho de peso. No início do período, havia poucos ensaios clínicos randomizados e muitos estudos observacionais; no final, mais ensaios clínicos randomizados, que fornecem evidências muito melhores de causa e efeito. Os tamanhos de efeito desses ensaios ainda são muito pequenos, mas quando somados, havia mais evidências, e qualitativamente melhores, associando o consumo de açúcar e o aumento de peso quanto mais se aproximava de 2013. Na verdade, todas as quatro revisões sistemáticas de 2012 em diante encontraram associações majoritariamente positivas; nenhuma foi financiada pela indústria. Mas uma revisão sistemática “financiada pela indústria” pode ser chamada de “tendenciosa” com base em estudos que não existiam quando a revisão foi originalmente realizada? Uma revisão em 2007 pode ser criticada como tendenciosa por não incluir um estudo publicado em 2012? Agora, você pode achar estranho que esse sempre tenha sido um debate aberto. Certamente todos nós sabemos como fato básico que o açúcar causa ganho de peso. É por isso que é importante lembrar que a questão científica não é o simples ganho de peso, mas se o açúcar calórico por caloria causa ganho de peso extra ou se a redução ou eliminação específica de, digamos, refrigerante em uma dieta levaria à perda de peso. Como observou o painel de especialistas contratado para elaborar as diretrizes dietéticas de 2010 para o Departamento de Agricultura dos EUA, a evidência científica de algo que você pensaria que seria fundamental para nossa compreensão da obesidade era” decepcionante.” Os pesquisadores da PLoS também não incluíram três avaliações, duas de 2006 e uma de 2007, que não encontraram uma associação entre consumo de bebidas açucaradas e peso e não foram financiadas pela indústria. Eles foram incluídos em pelo menos uma outra análise sistemática da literatura de revisão sistemática. Embora incluí-los não elimine a falha temporal no desenho do estudo, eles mostram que mais acadêmicos sem financiamento da indústria não encontraram nenhum efeito ao fazer a mesma pergunta sobre as evidências. Além disso, o desenho do estudo PLoS (conflito com a indústria? Sim/não; associação positiva? Sim/não) também suprime o fato de que as conclusões da revisão sistemática podem ser mistas, com os autores de uma revisão observando que há evidências sugestivas de uma relação entre o consumo de bebidas açucaradas e pessoas com sobrepeso, e que tais descobertas devem ser examinadas com mais ensaios clínicos randomizados. Esta revisão em particular é rotulada como tendo um conflito com a indústria não porque foi financiada pela indústria (foi financiada pelo National Institutes of Health), mas porque os autores já haviam recebido financiamento da indústria alimentícia. Isso pode parecer um erro. Não é. Mas quantas pessoas perceberiam isso? Certamente não chamou a atenção de Forbes colaborador Larry Huston, que é um escritor científico extraordinariamente bom, mas então por que seria? Por que ele estaria familiarizado com a literatura de revisão sistemática sobre esse tópico e com a evolução das pesquisas sobre açúcar e ganho de peso? (Eu só sei disso porque passei meses examinando a literatura acadêmica sobre impostos sobre refrigerantes e alimentos e me envolvi nos problemas metodológicos que assolam todo o campo da nutrição.) O New York Times também relatou o estudo sem nenhuma análise. Na verdade, as pessoas que saberiam imediatamente por que o estudo da PLoS é enganoso são relativamente poucas. A maioria não teria acesso ou mesmo interesse em engajar a mídia, enquanto muitos seriam da indústria, as mesmas pessoas que o estudo da PLoS efetivamente adverte que você não deve confiar. Mas e a avaliação por pares? Se os últimos anos nos ensinaram alguma coisa, é que a publicação acadêmica é o que a Internet já foi chamada — o Velho Oeste. Considere apenas as reclamações apresentadas por um workshop do National Institutes of Health, que se reuniu para lidar com o problema de por que tantas descobertas de estudos com animais não puderam ser replicadas. Houve, como o artigo final, publicado em Natureza disse: “amplo consenso” de que “relatórios inadequados, muitas vezes associados a um projeto experimental deficiente, são um problema significativo nas ciências da vida...” Em outras palavras, os vícios popularmente associados aos estudos financiados pela indústria — a falta de transparência nos dados, métodos e análises, levando a resultados exagerados — eram amplamente prevalentes entre aqueles financiados pelo governo. John Ioannidis, da Universidade de Stanford, que se tornou uma figura de proa de um movimento crescente para melhorar o rigor científico, avisou em novembro passado, o estado da pesquisa nutricional foi atormentado por amostras pequenas, desenho de estudo fraco e métodos de pesquisa inadequados. “Quase todos os nutrientes”, escreveu ele, “têm publicações revisadas por pares que o associam a quase todos os resultados... Muitas descobertas são totalmente implausíveis.” Mesmo algo tão fundamental para a pesquisa nutricional quanto a quantidade de comida que as pessoas consomem, que a Pesquisa Nacional de Exames de Saúde e Nutrição tenta descobrir por meio de questionário, foi exibido no ano passado ser extremamente impreciso. Dois terços dos homens e quase 60% das mulheres relataram consumir menos alimentos do que era fisiologicamente plausível. A revisão por pares é valiosa, mas não garante um conhecimento confiável. E enquanto editor do Medicina PLoS defende o artigo em um prefácio argumentando que a indústria tem motivos específicos para ser tendenciosa (“aumento das vendas de seus produtos”), mas que os pesquisadores acadêmicos não (porque estão engajados na “busca honesta do conhecimento”). A distinção se tornou insignificante em face das pressões acadêmicas de publicar ou morrer, do viés da publicação em direção a descobertas positivas e da crescente consciência de que métodos estatísticos deficientes e projetos experimentais fracos prejudicam muitas pesquisas acadêmicas em medicina e saúde. Considere a descoberta publicado em Significância, o jornal da Royal Statistical Society, no qual Stanley Young, do Instituto Nacional de Ciências Estatísticas, testou 52 alegações (sobre os efeitos das vitaminas) de 12 estudos observacionais contra os resultados de ensaios clínicos randomizados. Nenhuma descoberta observacional pôde ser replicada. Imagine um produto com uma taxa de falha de 100%. Ou uma companhia aérea na qual a maioria dos voos caiu. Lembramos que essa é a natureza da investigação científica: o caminho para a verdade está repleto de falsos positivos e resultados nulos. Mas consumimos informações como qualquer outro produto; aproveitamos a confiabilidade dos dados. E se não houver risco em correr riscos com esses dados, desde divulgar resultados de pesquisas até enterrar dados estatísticos onde o sol não brilha, então — como vimos no mundo das finanças e dos títulos lastreados em hipotecas — os cientistas assumirão riscos e as organizações de notícias divulgarão ansiosamente suas descobertas. A principal diferença entre dados acadêmicos e produzidos pela indústria é que atualmente tratamos os segundos com ceticismo. Essa assimetria é a falha em nossa economia do conhecimento; ela leva ao risco moral — e pior. As descobertas do PLoS podem muito bem ser usadas para deslegitimar perspectivas científicas legítimas em futuros debates sobre bebidas açucaradas e alimentos em geral. Uma coorte de cientistas foi impugnada, e uma coorte mais jovem alertou que esse é o destino deles se trabalharem para a indústria. Como uma borboleta maligna batendo suas asas furiosamente, os danos causados pela tempestade que uma descoberta tendenciosa pode causar em um sistema dinâmico de conhecimento são consideráveis. E consertá-lo com a verdade é muito, muito difícil.

Quando a pesquisa deve vir com uma etiqueta de advertência

Partner Center