Quando a aprendizagem automática sai dos trilhos

Resumo da ideia O problema As ofertas que dependem do aprendizado de máquina estão se proliferando, levantando todos os tipos de novos riscos para as empresas que as desenvolvem e usam ou que fornecem dados para treiná-las. Isso ocorre porque esses sistemas nem sempre fazem escolhas éticas ou precisas. As causas Primeiro, os sistemas geralmente tomam decisões com base em probabilidades. Em segundo lugar, seus ambientes podem evoluir de forma imprevista. Terceiro, sua complexidade dificulta determinar se ou por que cometeram um erro. As soluções Os executivos devem decidir se querem deixar um sistema evoluir continuamente ou introduzir versões bloqueadas em intervalos. Além disso, eles devem testar a oferta adequadamente antes e depois de ser lançada e monitorá-la constantemente quando estiver no mercado. O que acontece quando o aprendizado de máquina - programas de computador que absorvem novas informações e depois mudam a forma como tomam decisões - leva a perdas de investimentos, contratações ou empréstimos tendenciosos ou acidentes de carro? As empresas devem permitir que seus produtos e serviços inteligentes evoluam de forma autônoma ou devem "travar" seus algoritmos e atualizá-los periodicamente? Se as empresas optarem pela segunda opção, quando e com que frequência essas atualizações devem ocorrer? E como as empresas devem avaliar e mitigar os riscos apresentados por essas e outras escolhas? Em todo o mundo dos negócios, à medida que a inteligência artificial baseada em aprendizado de máquina permeia cada vez mais ofertas e processos, os executivos e os conselhos devem estar preparados para responder a essas perguntas. Neste artigo, que se baseia em nosso trabalho em direito da saúde, ética, regulamentação e aprendizado de máquina, apresentamos os principais conceitos para entender e gerenciar as possíveis desvantagens dessa tecnologia avançada. O que torna o aprendizado de máquina arriscado A grande diferença entre o aprendizado de máquina e as tecnologias digitais que o precederam é a capacidade de tomar decisões cada vez mais complexas de forma independente - como, por exemplo, quais produtos financeiros comercializar, como os veículos reagem a obstáculos e se um paciente tem uma doença - e de se adaptar continuamente em resposta a novos dados. Mas esses algoritmos nem sempre funcionam sem problemas. Eles nem sempre fazem escolhas éticas ou precisas. Há três razões fundamentais para isso. Um deles é simplesmente o fato de que os algoritmos normalmente se baseiam na probabilidade de alguém, por exemplo, ficar inadimplente em um empréstimo ou ter uma doença. Como eles fazem muitas previsões, é provável que algumas estejam erradas, simplesmente porque sempre há uma chance de estarem erradas. A probabilidade de erros depende de muitos fatores, incluindo a quantidade e a qualidade dos dados usados para treinar os algoritmos, o tipo específico de método de aprendizado de máquina escolhido (por exemplo, aprendizado profundo, que usa modelos matemáticos complexos, versus árvores de classificação que dependem de regras de decisão) e se o sistema usa apenas algoritmos explicáveis (o que significa que os seres humanos podem descrever como chegaram às suas decisões), o que pode não permitir que ele maximize a precisão. Em segundo lugar, o próprio ambiente em que o aprendizado de máquina opera pode evoluir ou ser diferente daquele para o qual os algoritmos foram desenvolvidos. Embora isso possa ocorrer de várias maneiras, duas das mais frequentes são o desvio de conceito e a mudança de covariável. No primeiro caso, a relação entre os inputs que o sistema usa e seus outputs não é estável ao longo do tempo ou pode ser mal especificada. Considere um algoritmo de aprendizado de máquina para negociação de ações. Se ele tiver sido treinado usando apenas dados de um período de baixa volatilidade do mercado e alto crescimento econômico, poderá não ter um bom desempenho quando a economia entrar em recessão ou passar por turbulências - por exemplo, durante uma crise como a pandemia de Covid-19. À medida que o mercado muda, a relação entre os inputs e os outputs - por exemplo, entre o grau de alavancagem de uma empresa e o retorno de suas ações - também pode mudar. Um desalinhamento semelhante pode ocorrer com modelos de pontuação de crédito em diferentes pontos do ciclo de negócios. Na medicina, um exemplo de desvio de conceito é quando um sistema de diagnóstico baseado em aprendizado de máquina que usa imagens de pele como inputs para detectar cânceres de pele não consegue fazer diagnósticos corretos porque a relação entre, por exemplo, a cor da pele de alguém (que pode variar de acordo com a raça ou a exposição ao sol) e a decisão de diagnóstico não foi capturada adequadamente. Muitas vezes, essas informações não estão disponíveis nem mesmo nos registros eletrônicos de saúde usados para treinar o modelo de aprendizado de máquina. As mudanças de covariáveis ocorrem quando os dados inseridos em um algoritmo durante seu uso diferem dos dados que o treinaram. Isso pode acontecer mesmo que os padrões que o algoritmo aprendeu sejam estáveis e não haja desvio de conceito. Por exemplo, uma empresa de dispositivos médicos pode desenvolver seu sistema baseado em aprendizado de máquina usando dados de grandes hospitais urbanos. Mas quando o dispositivo estiver no mercado, os dados médicos inseridos no sistema pelos prestadores de serviços de saúde em áreas rurais podem não se parecer com os dados de desenvolvimento. Os hospitais urbanos podem ter uma concentração maior de pacientes de determinados grupos sociodemográficos que têm condições médicas subjacentes não comumente observadas em hospitais rurais. Essas disparidades podem ser descobertas somente quando o dispositivo cometer mais erros no mercado do que durante os testes. Dada a diversidade dos mercados e o ritmo em que eles estão mudando, está se tornando cada vez mais desafiador prever o que acontecerá no ambiente em que os sistemas operam, e nenhuma quantidade de dados pode capturar todas as nuances que ocorrem no mundo real. Como devemos programar um carro autônomo para valorizar a vida de três idosos em comparação com, digamos, a vida de uma pessoa de meia-idade? O terceiro motivo pelo qual o aprendizado de máquina pode tomar decisões imprecisas tem a ver com a complexidade dos sistemas gerais nos quais ele está incorporado. Considere um dispositivo usado para diagnosticar uma doença com base em imagens inseridas por médicos - como o IDx-DR, que identifica distúrbios oculares como retinopatia diabética e edema macular e foi o primeiro dispositivo médico autônomo baseado em aprendizado de máquina autorizado para uso pela U.S. Food and Drug Administration. A qualidade de qualquer diagnóstico depende da nitidez das imagens fornecidas, do algoritmo específico usado pelo dispositivo, dos dados com os quais o algoritmo foi treinado, se o médico que está inserindo as imagens recebeu as instruções adequadas e assim por diante. Com tantos parâmetros, é difícil avaliar se e por que esse dispositivo pode ter cometido um erro, quanto mais ter certeza sobre seu comportamento. Mas decisões imprecisas não são os únicos riscos do aprendizado de máquina. Vejamos agora duas outras categorias: risco de agência e risco moral. Risco de agência As imperfeições do aprendizado de máquina levantam outro desafio importante: riscos decorrentes de coisas que não estão sob o controle de uma empresa ou usuário específico. Normalmente, é possível recorrer a evidências confiáveis para reconstruir as circunstâncias que levaram a um acidente. Como resultado, quando ocorre um acidente, os executivos podem, pelo menos, obter estimativas úteis da extensão da possível responsabilidade de sua empresa. Porém, como o aprendizado de máquina geralmente está incorporado em um sistema complexo, muitas vezes não fica claro o que levou a uma falha - qual parte ou "agente" (por exemplo, o desenvolvedor do algoritmo, o implantador do sistema ou um parceiro) foi responsável por um erro e se houve um problema com o algoritmo, com alguns dados fornecidos pelo usuário ou com os dados usados para treiná-lo, que podem ter vindo de vários fornecedores terceirizados. As mudanças ambientais e a natureza probabilística do aprendizado de máquina tornam ainda mais difícil atribuir a responsabilidade a um agente específico. Na verdade, acidentes ou decisões ilegais podem ocorrer mesmo sem negligência da parte de alguém, pois sempre há a possibilidade de uma decisão imprecisa. Gregory Reid/Gallery Stock Os executivos precisam saber quando suas empresas provavelmente serão responsabilizadas de acordo com a legislação atual, que também pode evoluir. Considere o contexto médico. Historicamente, os tribunais consideram os médicos como os responsáveis pelas decisões finais e, portanto, têm hesitado em aplicar a responsabilidade pelo produto aos fabricantes de software médico. No entanto, isso pode mudar à medida que mais sistemas autônomos ou de caixa preta fazem diagnósticos e recomendações sem o envolvimento de (ou com um envolvimento muito menor de) médicos em clínicas. O que acontecerá, por exemplo, se um sistema de aprendizado de máquina recomendar um tratamento fora do padrão para um paciente (como uma dosagem de medicamento muito mais alta do que o normal) e a regulamentação evoluir de tal forma que o médico provavelmente será responsabilizado por qualquer dano somente se não seguir a recomendação do sistema? Essas mudanças na regulamentação podem transferir os riscos de responsabilidade dos médicos para os desenvolvedores dos dispositivos médicos habilitados para aprendizado de máquina, para os provedores de dados envolvidos no desenvolvimento dos algoritmos ou para as empresas envolvidas na instalação e implantação dos algoritmos. Risco moral Os produtos e serviços que tomam decisões de forma autônoma também precisarão resolver dilemas éticos - um requisito que gera riscos adicionais e desafios regulatórios e de desenvolvimento de produtos. Os estudiosos começaram agora a enquadrar esses desafios como problemas de design responsável de algoritmos. Eles incluem o quebra-cabeça de como automatizar o raciocínio moral. A Tesla, por exemplo, deve programar seus carros para pensar em termos utilitários de custo-benefício ou em termos kantianos, em que certos valores não podem ser negociados independentemente dos benefícios? Mesmo que a resposta seja utilitarista, a quantificação é extremamente difícil: como devemos programar um carro para valorizar a vida de três idosos em relação, digamos, à vida de uma pessoa de meia-idade? Como as empresas devem equilibrar as compensações entre, por exemplo, privacidade, imparcialidade, precisão e segurança? Todos esses tipos de riscos podem ser evitados? Os riscos morais também incluem vieses relacionados a grupos demográficos. Por exemplo, os algoritmos de reconhecimento facial têm dificuldade em identificar pessoas de cor; os sistemas de classificação de pele parecem ter precisão desigual entre raças; os instrumentos de previsão de reincidência dão aos negros e hispânicos classificações falsamente altas e os sistemas de pontuação de crédito dão a eles classificações injustamente baixas. Com muitos usos comerciais difundidos, os sistemas de aprendizado de máquina podem ser considerados injustos para um determinado grupo em algumas dimensões. O problema é agravado pelas várias maneiras, possivelmente incompatíveis entre si, de definir justiça e codificá-la em algoritmos. Um algoritmo de empréstimo pode ser calibrado - o que significa que suas decisões são independentes da identidade do grupo após o controle do nível de risco - e ainda assim negar desproporcionalmente empréstimos a minorias dignas de crédito. Como resultado, uma empresa pode se encontrar em uma situação do tipo "condenado se o fizer, condenado se não o fizer". Se ela usar algoritmos para decidir quem recebe um empréstimo, poderá ter dificuldade em evitar acusações de que está discriminando alguns grupos de acordo com uma das definições de justiça. Culturas diferentes também podem aceitar definições e compensações éticas diferentes - um problema para produtos com mercados globais. Um white paper da Comissão Europeia de fevereiro de 2020 sobre IA aponta para esses desafios: A TI pede o desenvolvimento de IA com "valores europeus", mas será que essa IA será facilmente exportada para regiões com valores diferentes? Os executivos precisam pensar no aprendizado de máquina como uma entidade viva, não como uma tecnologia inanimada. Por fim, todos esses problemas também podem ser causados pela instabilidade do modelo. Essa é uma situação em que as entradas que estão próximas umas das outras levam a decisões muito distantes. Algoritmos instáveis provavelmente tratarão pessoas muito semelhantes de forma muito diferente - e possivelmente de forma injusta. Todas essas considerações, é claro, não significam que devemos evitar totalmente o aprendizado de máquina. Em vez disso, os executivos precisam aproveitar as oportunidades que ele cria e, ao mesmo tempo, certificar-se de que estão lidando adequadamente com os riscos. Bloquear ou não bloquear? Se os líderes decidirem empregar o aprendizado de máquina, uma próxima pergunta importante é: a empresa deve permitir que ele evolua continuamente ou, em vez disso, introduzir apenas versões testadas e bloqueadas em intervalos? A última opção mitigaria os riscos que acabamos de descrever? Esse problema é familiar ao mundo da medicina. Até o momento, a FDA normalmente aprovou apenas "software como dispositivo médico" (software que pode executar suas funções médicas sem hardware) cujos algoritmos são bloqueados. O raciocínio: A agência não queria permitir o uso de dispositivos cujos procedimentos de diagnóstico ou caminhos de tratamento continuassem mudando de maneiras que ela não entendesse. Mas, como a FDA e outros órgãos reguladores estão percebendo agora, bloquear os algoritmos pode ser igualmente arriscado, pois não elimina necessariamente os seguintes perigos: Decisões imprecisas. O bloqueio não altera o fato de que os algoritmos de aprendizado de máquina geralmente baseiam as decisões em probabilidades estimadas. Além disso, embora a entrada de mais dados geralmente leve a um melhor desempenho, isso nem sempre acontece, e a quantidade de melhoria pode variar; as melhorias nos algoritmos desbloqueados podem ser maiores ou menores em diferentes sistemas e com diferentes volumes de dados. Embora seja difícil entender como a precisão (ou imprecisão) das decisões pode mudar quando um algoritmo é desbloqueado, é importante tentar. Mudanças ambientais. Também é importante saber se e como o ambiente no qual o sistema toma decisões está evoluindo. Por exemplo, os pilotos automáticos de automóveis operam em ambientes que são constantemente alterados pelo comportamento de outros motoristas. Os sistemas de precificação, pontuação de crédito e marketing podem enfrentar um regime de mercado mutável sempre que o ciclo comercial entrar em uma nova fase. O desafio é garantir que o sistema de aprendizado de máquina e o ambiente evoluam de forma a permitir que o sistema tome as decisões adequadas. Riscos de agência. O bloqueio de um algoritmo não elimina a complexidade do sistema no qual ele está incorporado. Por exemplo, ainda podem ocorrer erros causados pelo uso de dados inferiores de fornecedores terceirizados para treinar o algoritmo ou por diferenças de habilidades entre os usuários. A responsabilidade ainda pode ser difícil de ser atribuída aos provedores de dados, desenvolvedores de algoritmos, implementadores e usuários Riscos morais. Um sistema bloqueado pode preservar imperfeições ou vieses desconhecidos por seus criadores. Ao analisar mamografias em busca de sinais de câncer de mama, um algoritmo bloqueado seria incapaz de aprender com as novas subpopulações às quais é aplicado. Como a densidade média da mama pode diferir de acordo com a raça, isso poderia levar a diagnósticos incorretos se o sistema selecionasse pessoas de um grupo demográfico que estivesse sub-representado nos dados de treinamento. Da mesma forma, um algoritmo de pontuação de crédito treinado em um subconjunto socioeconomicamente segregado da população pode discriminar determinados tomadores de empréstimos da mesma forma que a prática ilegal de redlining. Queremos que os algoritmos corrijam esses problemas o mais rápido possível, atualizando-se à medida que "observam" mais dados de subpopulações que podem não ter sido bem representadas ou mesmo identificadas anteriormente. Por outro lado, os dispositivos cujos sistemas de aprendizado de máquina não estão bloqueados podem prejudicar um ou mais grupos ao longo do tempo se estiverem evoluindo usando principalmente dados de um grupo diferente. Além disso, pode ser difícil identificar o ponto em que o dispositivo se torna comparativamente pior no tratamento de um grupo. Um kit de ferramentas para executivos Então, como os executivos devem gerenciar os riscos existentes e emergentes do aprendizado de máquina? Desenvolver processos adequados, aumentar o conhecimento da gerência e do conselho, fazer as perguntas certas e adotar a estrutura mental correta são passos importantes. Tratar o aprendizado de máquina como se fosse humano. Os executivos precisam pensar no aprendizado de máquina como uma entidade viva, não como uma tecnologia inanimada. Assim como os testes cognitivos dos funcionários não revelam como eles se sairão quando adicionados a uma equipe preexistente em uma empresa, os testes de laboratório não podem prever o desempenho dos sistemas de aprendizado de máquina no mundo real. Os executivos devem exigir uma análise completa de como os funcionários, clientes ou outros usuários aplicarão esses sistemas e reagirão às suas decisões. Mesmo quando não for exigido pelos órgãos reguladores, as empresas podem querer submeter seus novos produtos baseados em aprendizado de máquina a testes controlados e randomizados para garantir sua segurança, eficácia e imparcialidade antes do lançamento. Mas elas também podem querer analisar as decisões dos produtos no mercado real, onde há vários tipos de usuários, para ver se a qualidade das decisões difere entre eles. Além disso, as empresas devem comparar a qualidade das decisões tomadas pelos algoritmos com as decisões tomadas nas mesmas situações sem empregá-los. Antes de implementar produtos em escala, especialmente, mas não apenas, aqueles que não foram submetidos a testes controlados randomizados, as empresas devem considerar testá-los em mercados limitados para ter uma ideia melhor de sua precisão e comportamento quando vários fatores estão em jogo - por exemplo, quando os usuários não têm a mesma experiência, os dados das fontes variam ou o ambiente muda. As falhas em ambientes reais indicam a necessidade de melhorar ou aposentar os algoritmos. Pense como um órgão regulador e certifique primeiro. As empresas devem desenvolver planos para certificar as ofertas de aprendizado de máquina antes de entrarem no mercado. As práticas dos órgãos reguladores oferecem um bom roteiro. Em 2019, por exemplo, a FDA publicou um documento de discussão que propunha uma nova estrutura regulatória para modificações no software baseado em aprendizado de máquina como um dispositivo médico. A TI definiu uma abordagem que permitiria que esse software melhorasse continuamente e, ao mesmo tempo, mantivesse a segurança dos pacientes, o que incluía uma avaliação completa da empresa - ou equipe - que desenvolvia o software para garantir que ela tivesse uma cultura de excelência organizacional e alta qualidade que a levasse a testar regularmente seus dispositivos de aprendizagem de máquina. Se as empresas não adotarem esses processos de certificação, poderão se expor à responsabilidade - por exemplo, por realizar uma due diligence insuficiente. Muitas start-ups fornecem serviços para certificar que os produtos e processos não sofrem de parcialidade, preconceito, estereótipos, injustiça e outras armadilhas. Organizações profissionais, como o Institute of Electrical and Electronics Engineers (Instituto de Engenheiros Elétricos e Eletrônicos) e a International Organization for Standardization (Organização Internacional de Padronização), também estão desenvolvendo padrões para essa certificação, enquanto empresas como o Google oferecem serviços de ética em IA que examinam várias dimensões, desde os dados usados para treinar sistemas até seu comportamento e seu impacto no bem-estar. Talvez as empresas precisem desenvolver suas próprias estruturas semelhantes. Gregory Reid/Gallery Stock Monitore continuamente. À medida que os produtos e serviços baseados em aprendizado de máquina e os ambientes em que operam evoluem, as empresas podem descobrir que suas tecnologias não funcionam como inicialmente previsto. Portanto, é importante que elas estabeleçam maneiras de verificar se essas tecnologias se comportam dentro dos limites adequados. Outros setores podem servir de modelo. A Iniciativa Sentinela da FDA utiliza fontes de dados díspares, como registros eletrônicos de saúde, para monitorar a segurança de produtos médicos e pode forçá-los a serem retirados do mercado se não forem aprovados. Em muitos aspectos, os programas de monitoramento das empresas podem ser semelhantes às ferramentas e aos processos de manutenção preventiva usados atualmente por empresas de manufatura ou energia ou em segurança cibernética. Por exemplo, as empresas podem realizar os chamados ataques adversários à IA, como os usados para testar rotineiramente a força das defesas dos sistemas de TI. Faça as perguntas certas. Os executivos e os órgãos reguladores precisam se aprofundar nos seguintes aspectos: Precisão e competitividade. Qual é a probabilidade de o desempenho do sistema baseado em aprendizado de máquina melhorar com o volume de novos dados de seu uso se não bloquearmos o algoritmo? O que essas melhorias significarão para a empresa? Até que ponto os consumidores entenderão os benefícios e as desvantagens dos sistemas bloqueados e desbloqueados? Vieses. Quais dados foram usados para treinar o algoritmo? Até que ponto eles são representativos da população na qual o algoritmo acabará operando? Podemos prever se um algoritmo desbloqueado produzirá resultados menos tendenciosos do que um bloqueado se permitirmos que ele aprenda com o tempo? Os erros do algoritmo afetam as minorias ou outros grupos em particular? Uma abordagem de monitoramento contínuo pode estabelecer "grades de proteção" que impeçam o algoritmo de se tornar discriminatório? O ambiente. Como o ambiente no qual a oferta é usada mudará com o tempo? Existem condições sob as quais o aprendizado de máquina não deve ser autorizado a tomar decisões e, em caso afirmativo, quais são elas? Como podemos garantir que o comportamento da oferta evolua adequadamente, considerando como o próprio ambiente está mudando? Quando devemos retirar nossa oferta porque a lacuna entre o ambiente e o comportamento de nossa oferta se tornou muito grande? Quais são os limites do ambiente dentro dos quais nossa oferta pode se adaptar e operar? Qual é a robustez e a segurança de nossos sistemas de aprendizado de máquina ao longo de seus ciclos de vida? Agência. De quais componentes de terceiros, incluindo fontes de dados, o comportamento de nossos algoritmos de aprendizado de máquina depende? Quanto ele varia quando são usados por diferentes tipos de pessoas - por exemplo, pessoas menos qualificadas? Quais produtos ou serviços de outras organizações usam nossos dados ou algoritmos de aprendizado de máquina, possivelmente nos expondo a responsabilidades? Devemos permitir que outras organizações usem os algoritmos de aprendizado de máquina que desenvolvemos? Desenvolva princípios que abordem seus riscos comerciais. As empresas precisarão estabelecer suas próprias diretrizes, inclusive éticas, para gerenciar esses novos riscos - como algumas empresas, como o Google e a Microsoft, já fizeram. Essas diretrizes geralmente precisam ser bastante específicas (por exemplo, sobre quais definições de justiça são adotadas) para serem úteis e devem ser adaptadas aos riscos em questão. Se o senhor estiver usando o aprendizado de máquina para tomar decisões de contratação, seria bom ter um modelo que seja simples, justo e transparente. Se estiver usando o aprendizado de máquina para prever os preços de contratos futuros de commodities, talvez o senhor se importe menos com esses valores e mais com a perda financeira potencial máxima permitida para qualquer decisão tomada pelo aprendizado de máquina. Existem condições sob as quais o aprendizado de máquina não deve ser autorizado a tomar decisões e, em caso afirmativo, quais são elas? Felizmente, a jornada para desenvolver e implementar princípios não precisa ser solitária. Os executivos têm muito a aprender com os esforços de vários anos de instituições como a OCDE, que desenvolveu os primeiros princípios intergovernamentais de IA (adotados em 2019 por muitos países). Os princípios da OCDE promovem uma IA inovadora, confiável e responsavelmente transparente que respeita os direitos humanos, o Estado de Direito, a diversidade e os valores democráticos, e que impulsiona o crescimento inclusivo, o desenvolvimento sustentável e o bem-estar. Eles também enfatizam a robustez, a segurança, a proteção e o gerenciamento contínuo de riscos dos sistemas de IA ao longo de seus ciclos de vida. O Observatório de Políticas de IA da OCDE, lançado recentemente, oferece outros recursos úteis, como uma compilação abrangente de políticas de IA em todo o mundo. . . . O aprendizado de máquina tem um enorme potencial. Mas à medida que essa tecnologia, juntamente com outras formas de TI, for incorporada ao nosso tecido econômico e social, os riscos que ela representa aumentarão. Para as empresas, mitigá-los pode ser tão importante quanto - e possivelmente mais crítico do que - gerenciar a adoção do aprendizado de máquina em si. Se as empresas não estabelecerem práticas adequadas para lidar com esses novos riscos, provavelmente terão dificuldade para ganhar força no mercado.

Quando a aprendizagem automática sai dos trilhos

Resumo.

Partner Center