A IA pode ser precisa e transparente

Em 2019, a empresa de cartões de crédito da Apple foi criticada por oferecer a uma mulher o dobro do limite de crédito oferecido a seu marido. Quando ela reclamou, os representantes da Apple teriam lhe dito: "Não sei por que, mas juro que não estamos discriminando. É apenas o algoritmo". Atualmente, cada vez mais decisões são tomadas por algoritmos opacos e inexplicáveis como esse - muitas vezes com resultados igualmente problemáticos. Desde aprovações de crédito até recomendações personalizadas de produtos ou promoções, passando por leitores de currículos e detecção de falhas para manutenção de infraestrutura, as organizações de diversos setores estão investindo em ferramentas automatizadas cujas decisões são tomadas com pouca ou nenhuma percepção de como foram tomadas. Essa abordagem cria um risco real. A pesquisa mostrou que a falta de explicabilidade é uma das preocupações mais comuns dos executivos em relação à IA e tem um impacto substancial na confiança e na disposição dos usuários em usar produtos de IA, sem falar na segurança deles. E, no entanto, apesar das desvantagens, muitas organizações continuam a investir nesses sistemas, porque os tomadores de decisão presumem que os algoritmos inexplicáveis são intrinsecamente superiores aos algoritmos mais simples e explicáveis. Essa percepção é conhecida como a troca entre precisão e explicabilidade: historicamente, os líderes de TI presumem que, quanto melhor um ser humano puder entender um algoritmo, menos preciso ele será. Caixa branca vs. caixa preta Especificamente, os cientistas de dados fazem uma distinção entre os chamados modelos de IA de caixa preta e de caixa branca: Os modelos de caixa branca normalmente incluem apenas algumas regras simples, apresentadas, por exemplo, como uma árvore de decisão ou um modelo linear simples com parâmetros limitados. Devido ao pequeno número de regras ou parâmetros, os processos por trás desses algoritmos geralmente podem ser compreendidos por humanos. Em contrapartida, os modelos black-box usam centenas ou até milhares de árvores de decisão (conhecidas como "florestas aleatórias") ou bilhões de parâmetros (como fazem os modelos de aprendizagem profunda) para informar seus resultados. A teoria da carga cognitiva demonstrou que os seres humanos só conseguem compreender modelos com até sete regras ou nós, o que torna funcionalmente impossível para os observadores explicar as decisões tomadas pelos sistemas black-box. Mas será que sua complexidade necessariamente torna os modelos de caixa preta mais precisos? Desmistificando a troca entre precisão e explicabilidade Para explorar essa questão, realizamos uma análise rigorosa e em grande escala do desempenho dos modelos de caixa preta e branca em uma ampla gama de quase 100 conjuntos de dados representativos (conhecidos como conjuntos de dados de classificação de referência), abrangendo domínios como preços, diagnóstico médico, previsão de falência e comportamento de compra. Descobrimos que, em quase 70% dos conjuntos de dados, os modelos de caixa preta e caixa branca produziram resultados igualmente precisos. Em outras palavras, na maioria das vezes, não houve troca entre precisão e explicabilidade: Um modelo mais explicável poderia ser usado sem sacrificar a precisão. Isso é consistente com outras pesquisas emergentes que exploram o potencial de modelos de IA explicáveis, bem como com nossa própria experiência de trabalho em estudos de caso e projetos com empresas de diversos setores, regiões geográficas e casos de uso. Por exemplo, tem sido demonstrado repetidamente que o COMPAS, a complicada ferramenta de caixa preta amplamente usada no sistema judiciário dos EUA para prever a probabilidade de futuras prisões, não é mais preciso do que um modelo preditivo simples que analisa apenas a idade e o histórico criminal. Da mesma forma, uma equipe de pesquisa criou um modelo para prever a probabilidade de inadimplência em um empréstimo que era simples o suficiente para que os clientes bancários comuns pudessem entendê-lo facilmente, e os pesquisadores descobriram que seu modelo era menos de 1% menos preciso do que um modelo de caixa preta equivalente (uma diferença que estava dentro da margem de erro). É claro que há alguns casos em que os modelos de caixa preta ainda são benéficos. Mas, à luz das desvantagens, nossa pesquisa sugere várias etapas que as empresas devem seguir antes de adotar uma abordagem de caixa preta: 1. Adotar a caixa branca como padrão. Como regra geral, os modelos de caixa branca devem ser usados como referência para avaliar se os modelos de caixa preta são necessários. Antes de escolher um tipo de modelo, as organizações devem testar ambos e, se a diferença de desempenho for insignificante, a opção de caixa branca deve ser selecionada. 2. Conheça seus dados. Um dos principais fatores que determinarão se um modelo black-box é necessário são os dados envolvidos. Em primeiro lugar, a decisão depende da qualidade dos dados. Quando os dados são ruidosos (ou seja, quando incluem muitas informações errôneas ou sem sentido), os métodos de caixa branca relativamente simples tendem a ser eficazes. Por exemplo, conversamos com analistas do Morgan Stanley que descobriram que, para seus conjuntos de dados financeiros altamente ruidosos, regras simples de negociação como "comprar ações se a empresa estiver subvalorizada, tiver tido um desempenho inferior recentemente e não for muito grande" funcionaram bem. Em segundo lugar, o tipo de dados também afeta a decisão. Para aplicações que envolvem dados multimídia, como imagens, áudio e vídeo, os modelos black-box podem oferecer desempenho superior. Por exemplo, trabalhamos com uma empresa que estava desenvolvendo modelos de IA para ajudar a equipe do aeroporto a prever o risco de segurança com base em imagens de cargas aéreas. Eles descobriram que os modelos black-box tinham maior chance de detectar itens de carga de alto risco que poderiam representar uma ameaça à segurança do que os modelos white-box equivalentes. Essas ferramentas de caixa preta permitiram que as equipes de inspeção economizassem milhares de horas ao se concentrarem mais na carga de alto risco, aumentando substancialmente o desempenho da organização em relação às métricas de segurança. Em aplicações igualmente complexas, como detecção de faces para câmeras, sistemas de visão em veículos autônomos, reconhecimento facial, dispositivos de diagnóstico médico baseados em imagens, detecção de conteúdo ilegal/tóxico e, mais recentemente, ferramentas de IA generativas como ChatGPT e DALL-E, uma abordagem de caixa preta pode ser vantajosa ou até mesmo a única opção viável. 3. Conheça seus usuários. A transparência é sempre importante para criar e manter a confiança, mas é especialmente essencial para casos de uso particularmente sensíveis. Em situações em que um processo de tomada de decisão justo é de extrema importância para seus usuários, ou em que alguma forma de justiça processual é um requisito, pode fazer sentido priorizar a explicabilidade, mesmo que seus dados possam se prestar a uma abordagem de caixa preta ou que o senhor tenha descoberto que modelos menos explicáveis são ligeiramente mais precisos. Por exemplo, em domínios como contratação, alocação de órgãos para transplante e decisões jurídicas, optar por um sistema de TI simples, baseado em regras e de caixa branca reduzirá o risco tanto para a organização quanto para seus usuários. Muitos líderes descobriram esses riscos da maneira mais difícil: Em 2015, a Amazon descobriu que seu sistema automatizado de triagem de candidatos era tendencioso contra mulheres desenvolvedoras de software, enquanto uma ferramenta holandesa de detecção de fraudes previdenciárias por IA foi desativada em 2018 depois que os críticos a classificaram como um "buraco negro grande e não transparente". 4. Conheça sua organização. A escolha de uma organização entre IA de caixa branca ou preta também depende de seu próprio nível de prontidão para IA. Para organizações que são menos desenvolvidas digitalmente, nas quais os funcionários tendem a ter menos confiança ou compreensão da TI, pode ser melhor começar com modelos mais simples antes de avançar para soluções mais complexas. Isso normalmente significa implementar um modelo de caixa branca que todos possam entender facilmente e só explorar as opções de caixa preta quando as equipes estiverem mais acostumadas a usar essas ferramentas. Por exemplo, trabalhamos com uma empresa global de bebidas que lançou um sistema simples de IA de caixa branca para ajudar os funcionários a otimizar seus fluxos de trabalho diários. O sistema oferecia recomendações limitadas, como quais produtos deveriam ser promovidos e a quantidade de produtos diferentes que deveriam ser reabastecidos. Depois, à medida que a organização amadureceu em seu uso e confiança na TI, os gerentes começaram a testar se alternativas mais complexas e de caixa preta poderiam oferecer vantagens em qualquer um desses aplicativos. 5. Conheça seus regulamentos. Em certos domínios, a explicabilidade pode ser um requisito legal, e não algo agradável de se ter. Por exemplo, nos EUA, a Equal Credit Opportunity Act (Lei de Oportunidades Iguais de Crédito) exige que as instituições financeiras sejam capazes de explicar os motivos pelos quais o crédito foi negado a um solicitante de empréstimo. Da mesma forma, o Regulamento Geral de Proteção de Dados (GDPR) da Europa sugere que os empregadores devem ser capazes de explicar como os dados dos candidatos foram usados para informar as decisões de contratação. Quando as organizações são obrigadas por lei a explicar as decisões tomadas por seus modelos de IA, os modelos de caixa branca são a única opção. 6. Explicar o inexplicável. Por fim, é claro que há contextos em que os modelos de caixa preta são inegavelmente mais precisos (como foi o caso em 30% dos conjuntos de dados que testamos em nosso estudo) e aceitáveis em relação a preocupações regulamentares, organizacionais ou específicas do usuário. Por exemplo, aplicativos como visão computacional para diagnósticos médicos, detecção de fraudes e gerenciamento de cargas se beneficiam muito dos modelos black-box, e os obstáculos legais ou logísticos que eles representam tendem a ser mais fáceis de gerenciar. Em casos como esses, se uma organização decidir implementar um modelo de TI opaco, ela deve tomar medidas para lidar com os riscos de confiança e segurança associados à falta de explicabilidade. Em alguns casos, é possível desenvolver um proxy de caixa branca explicável para esclarecer, em termos aproximados, como um modelo de caixa preta chegou a uma decisão. Mesmo que essa explicação não seja totalmente precisa ou completa, ela pode ajudar muito a criar confiança, reduzir vieses e aumentar a adoção. Além disso, uma compreensão maior (ainda que imperfeita) do modelo pode ajudar os desenvolvedores a refiná-lo ainda mais, agregando mais valor a essas empresas e a seus usuários finais. Em outros casos, as organizações podem realmente ter uma visão muito limitada do motivo pelo qual um modelo toma as decisões que toma. Se uma explicação aproximada não for possível, os líderes ainda podem priorizar a transparência na forma como falam sobre o modelo, tanto interna quanto externamente, reconhecendo abertamente os riscos e trabalhando para enfrentá-los. *** Em última análise, não existe uma solução única para a implementação da IA. Toda nova tecnologia traz riscos, e a escolha de como equilibrar esses riscos com as possíveis recompensas dependerá do contexto e dos dados específicos da empresa. Mas nossa pesquisa demonstra que, em muitos casos, os modelos de IA simples e interpretáveis funcionam tão bem quanto as alternativas de caixa preta, sem sacrificar a confiança dos usuários ou permitir que vieses ocultos conduzam as decisões. Os autores gostariam de agradecer a Gaurav Jha e Sofie Goethals por sua contribuição.

A IA pode ser precisa e transparente

Resumo.

Partner Center