Precisamos de uma IA que seja explicável, auditável e transparente

Todos os pais se preocupam com as influências a que nossos filhos estão expostos. Quem são seus professores? Que filmes eles estão assistindo? Que videogames estão jogando? Eles estão andando com a turma certa? Examinamos essas influências porque sabemos que elas podem afetar, para o bem ou para o mal, as decisões que nossos filhos tomam. Assim como nos preocupamos com quem está ensinando nossos filhos, também precisamos prestar atenção em quem está ensinando nossos algoritmos. Assim como os seres humanos, os sistemas de inteligência artificial aprendem com os ambientes aos quais estão expostos e tomam decisões com base nos preconceitos que desenvolvem. E, assim como nossos filhos, devemos esperar que nossos modelos sejam capazes de explicar suas decisões à medida que se desenvolvem. Como Cathy O'Neil explica em Weapons of Math Destruction (Armas de destruição matemática), os algoritmos geralmente determinam a faculdade que frequentamos, se somos contratados para um emprego, se nos qualificamos para um empréstimo para comprar uma casa e até mesmo quem vai para a prisão e por quanto tempo. Ao contrário das decisões humanas, esses modelos matemáticos raramente são questionados. Eles simplesmente aparecem na tela do computador de alguém e o destino é determinado. Centro de Insight IA e Preconceito Patrocinado pelo SAS Criando sistemas de aprendizado de máquina justos e equitativos. Em alguns casos, os erros dos algoritmos são óbvios, como quando a Dow Jones informou que o Google estava comprando a Apple por US$ 9 bilhões e os bots caíram nessa, ou quando o chatbot Tay da Microsoft ficou furioso no Twitter - mas muitas vezes não são. O que é muito mais insidioso e difundido são as falhas mais sutis que passam despercebidas, mas que têm efeitos muito reais na vida das pessoas. Quando o senhor fica do lado errado de um algoritmo, sua vida se torna imediatamente mais difícil. Sem poder entrar em uma boa escola ou conseguir um emprego, o senhor ganha menos dinheiro e mora em um bairro pior. Esses fatos são inseridos em novos algoritmos e sua situação se degrada ainda mais. Cada etapa de sua descida é documentada, medida e avaliada. Considere o caso de Sarah Wysocki, uma professora da quinta série que - apesar de ser elogiada por pais, alunos e administradores - foi demitida do distrito escolar de D.C. porque um algoritmo considerou seu desempenho abaixo da média. Por quê? Não está exatamente claro, porque o sistema era complexo demais para ser entendido por quem a demitiu. Não se engane, à medida que terceirizamos cada vez mais as decisões para os algoritmos, o problema tem o potencial de se tornar ainda mais kafkiano. É imperativo que comecemos a levar a sério o problema do viés da TI e tomemos medidas para mitigar seus efeitos, tornando nossos sistemas mais transparentes, explicáveis e auditáveis. Fontes de parcialidade O viés nos sistemas de IA tem duas fontes principais: os conjuntos de dados nos quais os modelos são treinados e o design dos próprios modelos. Os vieses nos conjuntos de dados nos quais os algoritmos são treinados podem ser sutis, por exemplo, como quando aplicativos de smartphones são usados para monitorar buracos e alertar as autoridades para que entrem em contato com as equipes de manutenção. Isso pode ser eficiente, mas é provável que subestime as áreas mais pobres, onde menos pessoas têm smartphones. Em outros casos, os dados que não são coletados podem afetar os resultados. Os analistas suspeitam que foi isso que aconteceu quando o Google Flu Trends previu quase o dobro de casos em 2013 do que realmente houve. O que parece ter acontecido é que o aumento da cobertura da mídia levou a mais pesquisas de pessoas que não estavam doentes. Outra fonte de viés de dados ocorre quando os vieses humanos são transferidos para os sistemas de IA. Por exemplo, as tendências no sistema judicial afetam quem é acusado e condenado por crimes. Se esses dados forem usados para prever quem provavelmente cometerá crimes, esses vieses serão transferidos. Em outros casos, os seres humanos são usados para marcar os dados e podem direcionar a tendência de entrada no sistema. Esse tipo de preconceito é generalizado e difícil de eliminar. Na verdade, a Amazon foi forçada a descartar uma ferramenta de recrutamento baseada em IA porque não conseguiu remover o viés de gênero dos resultados. Eles estavam favorecendo injustamente os homens porque os dados de treinamento que usavam ensinavam ao sistema que a maioria dos funcionários da empresa contratados anteriormente e considerados bem-sucedidos eram homens. Mesmo quando eles eliminaram qualquer menção específica de gênero, certas palavras que apareciam com mais frequência nos currículos masculinos do que nos femininos foram identificadas pelo sistema como proxies para gênero. Uma segunda grande fonte de preconceito resulta da forma como os modelos de tomada de decisão são projetados. Por exemplo, se a capacidade de um professor for avaliada com base nas pontuações dos testes, então outros aspectos do desempenho, como aceitar crianças com diferenças de aprendizado ou problemas emocionais, não seriam registrados ou até mesmo seriam injustamente penalizados. Em outros casos, os modelos são construídos de acordo com os dados mais fáceis de obter ou o modelo é ajustado excessivamente a um conjunto específico de casos e, então, é aplicado de forma muito ampla. Superando o viés Com tantas fontes diversas de viés, não achamos realista acreditar que podemos eliminá-lo totalmente, ou mesmo substancialmente. Entretanto, o que podemos fazer é tornar nossos sistemas de IA mais explicáveis, auditáveis e transparentes. Sugerimos três medidas práticas que os líderes podem adotar para mitigar os efeitos da parcialidade. Em primeiro lugar, os sistemas de IA devem ser submetidos a uma rigorosa revisão humana. Por exemplo, um estudo citado por um relatório da Casa Branca durante o governo Obama descobriu que, embora as máquinas tivessem uma taxa de erro de 7,5% na leitura de imagens radiológicas e os humanos tivessem uma taxa de erro de 3,5%, quando os humanos combinavam seu trabalho com as máquinas, a taxa de erro caía para 0,5%. Em segundo lugar, assim como os bancos são obrigados por lei a "conhecer seus clientes", os engenheiros que criam sistemas precisam conhecer seus algoritmos. Por exemplo, Eric Haller, diretor de Datalabs da Experian, nos disse que, ao contrário de décadas atrás, quando os modelos que eles usavam eram bastante simples, na era da IA, seus cientistas de dados precisam ser muito mais cuidadosos. "No passado, precisávamos apenas manter registros precisos para que, se um erro fosse cometido, pudéssemos voltar, encontrar o problema e corrigi-lo", disse ele. "Agora, quando muitos de nossos modelos são alimentados por inteligência artificial, isso não é tão fácil. Não podemos simplesmente baixar o código-fonte aberto e executá-lo. Precisamos entender, em um nível muito profundo, cada linha de código que entra em nossos algoritmos e ser capazes de explicá-los às partes interessadas externas." Terceiro, os sistemas de IA e as fontes de dados usadas para treiná-los precisam ser transparentes e estar disponíveis para auditoria. Estruturas legislativas como o GDPR na Europa deram alguns primeiros passos promissores, mas é evidente que ainda há muito trabalho a ser feito. Não acharíamos aceitável que os seres humanos tomassem decisões sem nenhuma supervisão, portanto, não há razão para aceitarmos que as máquinas tomem decisões. Talvez acima de tudo, precisamos mudar de uma cultura de automação para uma cultura de aumento. A inteligência artificial funciona melhor não como uma espécie de caixa mágica que o senhor usa para substituir os humanos e cortar custos, mas como um multiplicador de força que o senhor usa para criar um novo valor. Ao tornar a IA mais explicável, auditável e transparente, não só podemos tornar nossos sistemas mais justos, como também podemos torná-los muito mais eficazes e úteis.

Precisamos de uma IA que seja explicável, auditável e transparente

Resumo.

Partner Center