A área da saúde utiliza linguagem especializada. Ela também necessita de inteligência artificial especializada.

A área da saúde sempre enfrentou desafios com a tradução. Não entre o inglês e outros idiomas, mas entre os dialetos utilizados em diferentes setores da indústria. Radiologistas utilizam medidas precisas. Psiquiatras elaboram avaliações narrativas. Oncologistas pensam em probabilidades e protocolos. Até mesmo a palavra “estável” pode ter significados diferentes para diferentes especialistas — às vezes “inalterado”, às vezes “melhorando”, ocasionalmente “precário, mas se mantendo”. Atualmente, estamos solicitando que um tipo de IA generativa, conhecido como modelos de linguagem de grande porte (LLMs) generalistas, preencha essas lacunas, e os primeiros resultados revelam um padrão preocupante: a IA se destaca em velocidade, mas enfrenta dificuldades com nuances. É uma dinâmica especialmente preocupante, considerando que muitos LLMs generalistas estão intensificando suas ofertas na área da saúde. Esses sistemas generalistas — que incluem ChatGPT, Claude e Gemini — se destacam em muitas aplicações empresariais devido à sua capacidade de sintetizar informações de forma ampla em vários domínios, fazer conexões inesperadas e lidar com todo o espectro das comunicações empresariais. Em contrapartida, os modelos de IA generativa especializados compreendem não apenas quais informações recuperar, mas também como essas informações operam dentro da estrutura de tomada de decisão de um domínio específico. Como observaram pesquisadores do Instituto de IA Centrada no Ser Humano da Universidade de Stanford, os modelos linguísticos generalistas de grande porte mostram-se promissores em ambientes clínicos, mas continuam vulneráveis a erros contextuais e generalizações excessivas quando implantados fora de demonstrações controladas. Outro estudo da Nature Medicine demonstrou que tanto os modelos linguísticos generalistas quanto os modelos de grande porte “da área médica” não estão prontos para a tomada de decisões clínicas autônomas, pois muitas vezes não seguem as instruções do fluxo de trabalho e são sensíveis a variações de entrada, ressaltando a importância da supervisão estruturada. Como líderes que enfrentaram essa questão repetidamente nos últimos anos em uma área específica da saúde — criamos sistemas de IA generativa para autorização prévia —, desenvolvemos alguns métodos úteis para lidar com ela que acreditamos que outros no setor fariam bem em adotar e aprimorar. No entanto, o primeiro passo, como em muitos domínios da gestão da mudança, começa com a conscientização. A promessa é real As aplicações potenciais dos LLMs são, naturalmente, extremamente empolgantes. Eles podem gerar materiais educativos para pacientes ou notas clínicas em segundos, sinalizar documentação incompleta para manter o atendimento em dia ou até mesmo sugerir diagnósticos diferenciais. O simples ato de resumir o prontuário eletrônico de um paciente gravemente doente — que pode chegar a 20.000 páginas de informações — pode ser revolucionário para os médicos. No entanto, as comunicações mais críticas na área da saúde ocorrem frequentemente nos pontos de encontro mais movimentados do setor, onde prestadores e seguradoras discutem decisões de tratamento, especialistas interpretam as conclusões uns dos outros, pacientes tentam decifrar as anotações de seus médicos ou clínicos e administradores elaboram estratégias operacionais. Em cada caso, as partes não apenas se comunicam a partir de perspectivas muito diferentes, mas também utilizam uma linguagem distinta de sua experiência e disciplina profissional específica. É aqui que observamos os modelos de linguagem generalistas falharem de maneiras significativas. Onde os modelos falham Nossos próprios exemplos são reveladores. Ao testar os processos de LLMs no âmbito da autorização prévia — em que as seguradoras analisam se os tratamentos propostos são medicamente necessários —, atribuímos modelos generalistas para analisar prontuários hospitalares e chegar a uma decisão recomendada para aprovar ou não o tratamento. Os resultados foram frequentemente preocupantes. Um paciente com dor no joelho teve sua solicitação de ressonância magnética negada. Por quê? O modelo observou que a política exigia seis semanas de fisioterapia primeiro, mas como não encontrou documentação dessas seis semanas, a recusa parecia lógica. O problema: o prontuário documentava uma cirurgia anterior de reparo do LCA — que, de acordo com a apólice de seguro do paciente, automaticamente se qualifica para imagem imediata, independentemente da regra das seis semanas. O modelo leu cada palavra, mas não conseguiu entender o que essas palavras significavam juntas. Um paciente apresentou dor no pescoço e fraqueza nas mãos, e o modelo recomendou, de forma incorreta, tratamento conservador. Por quê? O exame neurológico documentou um “sinal de Hoffman marcadamente positivo” — um reflexo que indica compressão da medula espinhal que, como os médicos sabem, exige exames de imagem urgentes. O problema: o LLM não interpretou corretamente o achado relacionado ao Hoffman e, portanto, não identificou um sinal de alerta. O prontuário de um paciente com asma documentou três ciclos de prednisona oral ao longo de 12 meses, e o modelo recomendou incorretamente contra o aumento do tratamento. Por quê? O médico não havia caracterizado a asma do paciente como “grave”, e o modelo havia sido treinado para intensificar o tratamento apenas em casos graves. O problema: qualquer pneumologista saberia que esse paciente era dependente de esteróides e, portanto, tinha uma doença grave, o que justificava a terapia biológica. Em outras palavras, ele contabilizou as prescrições, mas não conseguiu interpretar o que elas significavam. Esses não são casos isolados. Eles representam um desafio fundamental: os LLMs generalistas não compreendem que a comunicação na área da saúde envolve, na verdade, dezenas de dialetos especializados, cada um com sua própria lógica, suposições e detalhes críticos que não são explicitados porque todos nessa especialidade já os conhecem. O problema se torna ainda mais complexo quando os LLMs generalistas enfrentam dificuldades para formar uma sequência temporal de eventos passados a partir de dados frequentemente incompletos, tudo isso sob a pressão de prazos. Em um ensaio clínico randomizado publicado na JAMA Network Open, médicos que utilizaram um LLM generalista não melhoraram significativamente o raciocínio diagnóstico em comparação com recursos convencionais, destacando que tais LLMs requerem mais refinamento e estratégias de integração para serem eficazes com segurança. O ponto cego organizacional Aqui está o paralelo desconfortável: as organizações de saúde que implantam LLMs generalistas muitas vezes não sabem o que não sabem sobre esses sistemas — assim como os próprios LLMs não sabem o que não sabem sobre dialetos clínicos. Os executivos assistem a demonstrações impressionantes em que a IA resume gráficos com precisão e presumem que a tecnologia é generalizável. Eles não percebem que um modelo com bom desempenho em notas de cardiologia pode interpretar erroneamente protocolos de oncologia, ou que a precisão em casos rotineiros não prediz nada sobre o desempenho em pacientes complexos. Os modelos também podem deixar passar as relações complexas entre conjuntos de dados — cada um prejudicado por limitações distintas — que ocorrem ao longo de longos períodos e em várias consultas, exames, especialistas e hospitalizações. Como observaram os líderes da Stanford Medicine, as implementações clínicas da IA no mundo real são muito mais complexas do que as demonstrações sugerem, muitas vezes revelando desafios operacionais e interpretativos somente após terem sido integradas à prática. Essas falhas muitas vezes são invisíveis até que afetem os pacientes ou gerem disputas onerosas, pois os médicos e administradores podem não estar cientes das limitações do modelo e de sua capacidade de falhar. Eles presumem que o modelo funciona bem (da mesma forma que presumem que o laboratório de química mede com precisão os níveis de açúcar no sangue) até se depararem com situações em que fica claro que o modelo falhou e pode até ser perigoso. Uma situação como o modelo de asma não reconhecer que três ciclos de prednisona indicam que a asma do paciente é grave ou mal controlada. O resultado (frequentemente apropriado) é que a equipe clínica resistirá à adoção. Médicos e enfermeiros observaram décadas de implementações de TI ignorando o fluxo de trabalho e as realidades clínicas. Eles não estão sendo conservadores quando desconfiam de outra ferramenta de “eficiência” — eles estão sendo adequadamente céticos em relação a sistemas criados por pessoas que não compreendem as nuances clínicas que são relevantes. A solução que desenvolvemos — e que recomendamos para outros profissionais da área da saúde — requer a adição de uma etapa adicional de treinamento que, efetivamente, transforma um LLM generalista em um LLM especialista. É uma etapa que as organizações normalmente ignoram: mapeamento sistemático de dialetos com especialistas da área antes da implantação. Em que conhecimento implícito cada especialidade se baseia? Quais descobertas clínicas têm urgência que não está explicitamente documentada? Em que casos as especialidades utilizam termos idênticos para significar coisas diferentes? E em que casos o modelo — e a organização — devem desacelerar para garantir a precisão? Implícita nessa estratégia está a transparência sobre as limitações. Especialistas de Harvard alertaram de forma semelhante que, sem estruturas de governança claras e supervisão clínica, a rápida implantação da IA na área da saúde corre o risco de amplificar preconceitos e minar a confiança dos pacientes. Programas de treinamento que mostram aos médicos exatamente o que a IA vê — e, fundamentalmente, o que ela deixa passar — transformam céticos em colaboradores. Quando a equipe entende que o sistema sinalizará o “sinal de Hoffman” como um ponto de dados, mas não reconhecerá sua urgência, ela sabe onde procurar erros e como fornecer feedback corretivo. Eles se tornam parceiros na melhoria, em vez de obstáculos à adoção. Construindo traduções responsáveis Nossa abordagem trata os modelos de linguagem da mesma forma que os hospitais tratam os residentes médicos: capazes, mas exigindo supervisão estruturada. Chamamos isso de Estrutura de Alinhamento Clínico e Responsabilidade, e a utilizamos até o momento para criar LLMs especializados para planos de saúde, a fim de abordar os desafios técnicos e organizacionais apresentados pelos LLMs generalistas. Exigir que o LLM vincule explicitamente cada resultado à evidência de origem. Deve ser capaz de citar notas clínicas específicas no prontuário eletrônico, comunicando claramente a hora em que a nota foi escrita, ao mesmo tempo em que cita a confiança do algoritmo na precisão de suas conclusões. Resumos refinados são perigosos; precisamos de cadeias de raciocínio visíveis que os médicos possam verificar. Institua uma supervisão clínica ativa da adaptação específica da especialidade. Em vez de um modelo tentar dominar toda a medicina, as organizações de saúde devem considerar o uso de um dos principais LLMs generalistas como base, mas ampliar suas capacidades para abranger as características únicas dos dados de especialidades médicas específicas. Como? Por meio de uma revisão estruturada, na qual os médicos corrigem as interpretações do modelo até que ele aprenda como esse campo realmente funciona. Isso adiciona uma etapa semelhante ao estágio clínico, sim, mas que constrói uma integridade crítica do processo. Calibre a velocidade com o risco. As equipes clínicas e de tecnologia podem permitir que o LLM execute tarefas rotineiras — por exemplo, verificar a integridade da documentação, comparar códigos — automaticamente. No entanto, é necessário adicionar uma etapa de revisão humana, mesmo que isso possa retardar os resultados, para situações que envolvam casos complexos com múltiplas condições ou conclusões conflitantes. Mantenha registros transparentes do raciocínio que levou o LLM a chegar à sua conclusão. Os registros devem incluir os dados usados pelo modelo, a sequência de etapas analíticas e a justificativa para cada etapa. Dessa forma, quando ocorrerem erros, as equipes de tecnologia poderão entender o motivo e atualizar o sistema de acordo. Ao treinar o modelo inicialmente, certifique-se de que médicos especialistas e cientistas de dados trabalhem juntos. O objetivo é identificar situações médicas em que um LLM pode facilmente cometer erros. Ao treinar o modelo para identificar tais situações, ele efetivamente constrói um repositório de conhecimento especializado no qual pode se basear no futuro. Garanta um ciclo contínuo de feedback. Estabeleça protocolos técnicos para capturar e codificar todas as instâncias em que um clínico corrige o modelo, permitindo assim que os desenvolvedores do modelo eliminem pontos cegos. Essa estrutura cria um desacordo visível que os seres humanos podem resolver. Quando o LLM de um hospital e o modelo de uma seguradora interpretam um caso de maneira diferente, ambos devem sinalizar a discrepância, mostrar seu raciocínio e encaminhar para revisão clínica, em vez de gerar silenciosamente conclusões conflitantes que custarão dias ou semanas preciosos para serem julgadas — provavelmente à custa da saúde do paciente. O imperativo mais amplo A autorização prévia representa apenas um dos muitos canais de comunicação existentes em um sistema de saúde repleto deles. Os mesmos problemas de tradução surgem quando especialistas consultam outras disciplinas, quando hospitais relatam métricas de qualidade a reguladores, quando pesquisadores extraem conclusões de registros eletrônicos de saúde e quando pacientes tentam compreender suas próprias informações médicas. À medida que as organizações de saúde se apressam em implantar modelos de linguagem nessas áreas, nos deparamos com uma escolha. É claro que poderíamos tratar os LLMs como ferramentas de eficiência de caixa preta — mais rápidas do que os seres humanos na leitura de gráficos, mais baratas do que contratar mais funcionários — e aceitar os erros como atritos inevitáveis. Mas, como o princípio fundamental da saúde é “não causar danos” — e não “ser mais eficiente” —, acreditamos que devemos projetar LLMs para preservar as nuances clínicas, manter a responsabilidade e nos tornar mais confiáveis por meio de feedback estruturado. A tecnologia está aqui. A questão é se vamos implantá-la com o rigor que a saúde exige — e a humildade de reconhecer o que ainda não entendemos — ou simplesmente mover nossos erros mais rapidamente do que antes.

A área da saúde utiliza linguagem especializada. Ela também necessita de inteligência artificial especializada.

Resumo.

Partner Center