Os riscos do Botshit

Logo após a OpenAI lançar seu chatbot ChatGPT da GenAI para o público em novembro de 2022, o Google lançou seu próprio chatbot chamado Bard (agora Gemini). Durante a primeira demonstração pública do Bard, ele gerou um grande erro factual em resposta a uma pergunta sobre as descobertas feitas pelo Telescópio Espacial James Webb. Essa resposta errada do chatbot levou a uma queda de 9% no preço das ações da Alphabet, a empresa-mãe do Google - na época, com valor de mercado de US$ 100 bilhões. Incidentes que demonstram os riscos dos chatbots também estão ocorrendo em diferentes profissões. Em 2023, dois advogados foram multados pelo Tribunal do Distrito Federal de Nova York por enviarem resumos jurídicos contendo casos fictícios e citações legais geradas pelo chatbot ChatGPT. E no jornalismo, várias publicações conhecidas passaram por constrangimentos depois de usar conteúdo gerado por chatbots. Por exemplo, a Sports Illustrated apresentou vários artigos publicados por autores com nomes falsos e fotos de rosto geradas por IA. Em ambos os casos, os profissionais e as empresas usaram acriticamente o conteúdo do chatbot, e eles são apenas a ponta do iceberg. Na pressa de lançar grandes modelos de linguagem (LLM) de chatbots para o público, houve vários problemas com essas ferramentas que geraram falsidades e desinformação. Como resultado, os gerentes e as organizações estão começando a ver uma gama cada vez maior de novos riscos com base nas expectativas e nos padrões profissionais em relação à precisão das informações. Neste artigo, analisamos a natureza desses riscos e oferecemos algumas orientações fundamentadas em nossa pesquisa sobre como gerenciá-los. Novas ferramentas, novos riscos Em meio à promessa genuína e à empolgação com as possíveis aplicações dos chatbots está o que chamamos de "riscos epistêmicos do botshit". Botshit, em nossa definição, é o conteúdo inventado, impreciso e inverídico do chatbot que os humanos usam acriticamente para realizar tarefas. O não gerenciamento eficaz dos riscos de botshit pode ter grandes consequências para profissionais e líderes individuais, bem como para suas organizações. Alguns desses riscos incluem danos à reputação, decisões incorretas, responsabilidade legal, perdas econômicas e até mesmo a segurança humana. Um lugar onde isso pode ser visto é no setor de saúde. Quando confiável, há benefícios claros na introdução de um chatbot em contextos médicos voltados para o consumidor, como farmácias. Os chatbots podem estar disponíveis 24 horas por dia, 7 dias por semana, para fornecer respostas imediatas a perguntas sobre prescrições e serviços farmacêuticos de forma eficiente. No entanto, pesquisadores que se apresentaram na reunião anual de 2023 da American Society for Health-Systems Pharmacists descobriram que, atualmente, cerca de três quartos das respostas geradas pelo ChatGPT sobre perguntas relacionadas a medicamentos eram imprecisas ou incompletas. Pior ainda, quando os pesquisadores pediam referências à ferramenta para apoiar as respostas, ela gerava citações falsas como um tipo de alucinação. Se um clínico estivesse seguindo cegamente (ou terceirizando suas funções) as sugestões do ChatGPT, estaria colocando a vida de seus pacientes em perigo. Uma revisão sistemática recente feita sobre a pesquisa em torno do ChatGPT na área da saúde constatou que a ferramenta foi estudada como útil tanto para tarefas orientadas por aplicativos (ou seja, fluxo de trabalho clínico) quanto para tarefas orientadas pelo usuário, mas suas limitações foram encontradas no fornecimento de informações potencialmente enganosas e perigosas e na transmissão dessas informações em um tom persuasivo. Esse perigo hipotético tornou-se realidade em uma start-up chamada Babylon Health, que desenvolveu um aplicativo com IA chamado GP at Hand. O aplicativo prometia tornar o processo de triagem do sistema de saúde mais eficiente e muito mais barato. Os pacientes digitavam seus sintomas e o aplicativo os aconselhava sobre o tipo de profissional de saúde que precisavam consultar (se fosse o caso). Após o lançamento do aplicativo, vários médicos no Reino Unido descobriram que o aplicativo estava dando orientações incorretas. Por exemplo, o programa Newsnight da BBC apresentou uma história com um médico demonstrando como o aplicativo sugeriu duas condições que não exigiam tratamento de emergência, quando, na verdade, os sintomas poderiam ser indicadores de um ataque cardíaco. A orientação correta teria sido visitar um departamento de emergência imediatamente. Quando ficou claro que as promessas do aplicativo eram exageradas e até perigosas, ele perdeu o brilho e a empresa por trás dele acabou fechando as portas. Gerenciando o risco de Botshit Apesar de casos como o GP at Hand, é improvável que o uso de chatbots em organizações e ambientes profissionais desapareça. Pelo contrário, acreditamos que a tecnologia de IA generativa apresenta novas oportunidades, desde que os riscos epistêmicos relacionados também sejam compreendidos e mitigados. Para tratar disso, nossa pesquisa descreve os riscos epistêmicos apresentados pelos chatbots em duas dimensões principais: Qual a importância da veracidade da resposta do chatbot para uma tarefa? E qual é a dificuldade de verificar a veracidade da resposta do chatbot? Algumas tarefas de trabalho exigem altos níveis de veracidade - é importante que as respostas do chatbot sejam precisas e verdadeiras. Por exemplo, tarefas que lidam com o bem-estar das pessoas em contextos de segurança, saúde e educação. Por outro lado, há também outras tarefas em que é menos importante que a resposta seja perfeitamente precisa e verdadeira, como a geração de ideias para um novo produto ou serviço, a criação de histórias para trabalhos de entretenimento ou o trabalho criativo para nomear produtos, marcas e logotipos. A outra dimensão importante do risco epistêmico é a dificuldade de verificar o conteúdo criado. Para algumas tarefas, é relativamente fácil verificar uma resposta de ferramentas de TI generativas. Por exemplo, não é difícil para um comerciante verificar o valor de uma empresa cotada em bolsa em um determinado momento. Entretanto, há outras tarefas em que é muito mais difícil verificar uma determinada afirmação. Isso pode incluir um vendedor tentando verificar rumores sobre um novo produto futuro de um concorrente ou um criativo de publicidade buscando verificar a viabilidade de uma nova ideia para uma campanha publicitária. Juntando essas duas dimensões, temos quatro tipos diferentes de tarefas em que os chatbots generativos podem ajudar, cada uma com riscos diferentes que precisam ser gerenciados de maneiras diferentes. Veja mais gráficos da HBR em Dados e recursos visuais Tarefas autenticadas. Nas tarefas autenticadas, a veracidade da declaração de um chatbot é crucial, mas muitas vezes é difícil de verificar. Alguns exemplos incluem tarefas orçamentárias complexas, verificação de procedimentos de segurança (como um fluxo de trabalho clínico de diagnóstico para radiologistas que examinam imagens de pacientes) ou julgamentos legais. Nesses contextos, o maior risco que os usuários de chatbot enfrentam é o erro de calibração, quando não há uma ligação precisa entre os resultados e os fatos ou informações cruciais. Foi o que aconteceu quando os dois advogados de Nova York que mencionamos no início deste artigo enviaram um caso jurídico gerado pelo ChatGPT, que continha referências jurídicas inventadas. No entanto, esse risco pode ser gerenciado por meio de uma verificação e calibração cuidadosas do modelo de LLM do chatbot e dos resultados que ele gera. De acordo com a natureza da tarefa de trabalho, isso envolve o treinamento e o teste da veracidade do modelo e a identificação e correção das limitações do modelo. Essa calibração pode envolver um especialista humano bem treinado que verifica os resultados criados por um chatbot em relação aos fatos aceitos, por exemplo. Isso mostra o valor dos chatbots específicos da prática em vez dos de uso geral (como o ChatGPT). As direções promissoras para chatbots específicos de práticas incluem aqueles que empregam tecnologias emergentes de LLM, como a geração aumentada de recuperação (RAG), bem como usuários que desenvolvem um conjunto de práticas de engenharia de prompt. Ao usar efetivamente os prompts em uma sequência eficaz, o usuário e o chatbot podem co-construir insights e corrigir possíveis erros. Tarefas ampliadas. O segundo contexto envolve tarefas ampliadas em que a veracidade ou a precisão do resultado não é particularmente importante, e é difícil verificar a veracidade ou a adequação do resultado de uma TI. Isso acontece em tarefas que exigem pensamento exploratório ou criativo, como brainstorming ou geração de ideias. Nesses tipos de tarefas, o maior risco é a ignorância, em que informações ou ideias importantes são ignoradas ou, talvez, incluídas erroneamente informações inadequadas. Por exemplo, em concursos de crowdsourcing de ideias, as ideias geradas por chatbots foram consideradas por especialistas em inovação como mais viáveis, mais impactantes, mas menos inovadoras do que as ideias geradas por humanos. Isso destaca a importância de ter especialistas humanos adequados para aumentar as respostas aparentemente criativas que essas máquinas baseadas em lógica podem produzir. Tarefas automatizadas. Uma terceira maneira pela qual a IA generativa pode ser usada é em contextos automatizados, em que a precisão da resposta é vital e as informações são relativamente fáceis de verificar. Exemplos desse tipo de tarefa incluem a avaliação de solicitações de empréstimo ou a verificação da funcionalidade de um código de computador. Nesses casos, o maior risco é a rotinização. Isso acontece quando as pessoas confiam demais no resultado de uma IA e não verificam ou avaliam periodicamente a razoabilidade das respostas. Isso aconteceu quando um passageiro da Air Canada, cuja avó havia acabado de falecer, acessou o site da companhia aérea para perguntar quais eram as políticas da empresa para viagens de luto. O chatbot deu a resposta errada, o que mais tarde significou que o passageiro não poderia obter um reembolso. Esse erro administrativo automatizado tornou-se uma notícia internacional quando o cliente conseguiu obter o reembolso levando a companhia aérea ao tribunal. O risco decorrente da automação pode ser gerenciado exigindo-se que os processos automatizados sejam periodicamente copilotados por um usuário humano que verifique as avaliações e decisões. Isso garante que os usuários humanos possam identificar erros e que não "durmam no volante". Tarefas autônomas. Uma última maneira pela qual a IA generativa pode ser usada para o trabalho é em um contexto autônomo. Isso acontece quando a precisão ou a veracidade de uma resposta do chatbot é menos importante e é relativamente fácil verificar o resultado. Alguns exemplos desses tipos de tarefas incluem o processamento de atendimento ao cliente de rotina ou consultas administrativas. Nesses contextos, o maior risco que a TI cria é o black boxing, em que se torna difícil ou impossível entender como uma determinada tecnologia de IA funciona. Foi o que aconteceu quando a empresa francesa de entrega de encomendas DPD lançou um chatbot para responder às perguntas dos clientes. Houve pelo menos um caso em que o chatbot xingou e escreveu haikus que criticavam a empresa. Dada a complexidade dos chatbots, pode ser difícil identificar a origem de tais erros e como evitá-los. Nesses contextos, esse risco pode ser gerenciado por meio de treinamento e limitação da gama de respostas e do vocabulário do modelo LLM do chatbot. Para garantir a confiabilidade e evitar riscos de botshit, o escopo do uso do chatbot deve ser mais restrito e as grades de proteção (ou seja, regras, diretrizes ou limitações para o uso do chatbot) mais restritivas. . . . Os chatbots e outras ferramentas que se baseiam em IA generativa têm um grande potencial para melhorar significativamente muitos processos de trabalho. Entretanto, como qualquer nova tecnologia importante, eles também apresentam riscos. Conforme ilustrado pelos exemplos que fornecemos, se os riscos epistêmicos do uso de bots não forem gerenciados adequadamente, os resultados para indivíduos, empresas e profissões podem ser potencialmente muito caros. No entanto, com um gerenciamento cuidadoso, esses riscos podem ser contidos enquanto os benefícios são explorados.

Os riscos do Botshit

Resumo.

Partner Center