Necesitamos una IA explicable, auditable y transparente

A todos los padres nos preocupan las influencias a las que están expuestos nuestros hijos. ¿Quiénes son sus profesores? ¿Qué películas ven? ¿A qué videojuegos juegan? ¿Se juntan con la gente adecuada? Escudriñamos estas influencias porque sabemos que pueden afectar, para bien o para mal, a las decisiones que tomen nuestros hijos. Al igual que nos preocupamos por quién enseña a nuestros hijos, también debemos prestar atención a quién enseña a nuestros algoritmos. Al igual que los humanos, los sistemas de inteligencia artificial aprenden de los entornos a los que están expuestos y toman decisiones basadas en sesgos que desarrollan. Y al igual que nuestros hijos, debemos esperar que nuestros modelos sean capaces de explicar sus decisiones a medida que se desarrollan. Como explica Cathy O'Neil en Weapons of Math Destruction, los algoritmos determinan a menudo a qué universidad vamos, si nos contratan para un trabajo, si cumplimos los requisitos para obtener un préstamo para comprar una casa e incluso quién va a la cárcel y durante cuánto tiempo. A diferencia de las decisiones humanas, estos modelos matemáticos rara vez se cuestionan. Simplemente aparecen en la pantalla del ordenador de alguien y los destinos están determinados. Centro Insight IA y sesgo Patrocinado por SAS Construir sistemas de aprendizaje automático justos y equitativos. En algunos casos, los errores de los algoritmos son evidentes, como cuando Dow Jones informó de que Google iba a comprar Apple por 9.000 millones de dólares y los robots se lo creyeron o cuando el chatbot Tay de Microsoft se volvió loco en Twitter, pero a menudo no lo son. Lo que es mucho más insidioso y omnipresente son los fallos más sutiles que pasan desapercibidos, pero que tienen efectos muy reales en la vida de las personas. Una vez que se encuentra en el lado equivocado de un algoritmo, su vida se vuelve inmediatamente más difícil. No puede acceder a una buena escuela o conseguir un trabajo, gana menos dinero y vive en un barrio peor. Esos hechos se introducen en nuevos algoritmos y su situación se degrada aún más. Cada paso de su descenso se documenta, se mide y se evalúa. Considere el caso de Sarah Wysocki, una profesora de quinto curso que -a pesar de ser alabada por padres, alumnos y administradores por igual- fue despedida del distrito escolar de D.C. porque un algoritmo juzgó que su rendimiento era inferior al esperado. ¿Por qué? No está muy claro, porque el sistema era demasiado complejo para que lo entendieran quienes la despidieron. No se equivoque, a medida que externalizamos cada vez más las decisiones a los algoritmos, el problema tiene el potencial de volverse aún más kafkiano. Es imperativo que empecemos a tomarnos en serio el problema del sesgo de la IA y adoptemos medidas para mitigar sus efectos haciendo que nuestros sistemas sean más transparentes, explicables y auditables. Fuentes de sesgo El sesgo en los sistemas de IA tiene dos fuentes principales: los conjuntos de datos sobre los que se entrenan los modelos y el diseño de los propios modelos. Los sesgos en los conjuntos de datos sobre los que se entrenan los algoritmos pueden ser sutiles, por ejemplo, cuando se utilizan aplicaciones de teléfonos inteligentes para vigilar los baches y alertar a las autoridades para que se pongan en contacto con los equipos de mantenimiento. Eso puede ser eficiente, pero está destinado a infravalorar las zonas más pobres, donde menos gente tiene teléfonos inteligentes. En otros casos, los datos que no se recogen pueden afectar a los resultados. Los analistas sospechan que eso es lo que ocurrió cuando Google Flu Trends predijo casi el doble de casos en 2013 de los que hubo en realidad. Lo que parece haber ocurrido es que el aumento de la cobertura mediática provocó más búsquedas de personas que no estaban enfermas. Otra fuente de sesgo de los datos se produce cuando los sesgos humanos se trasladan a los sistemas de IA. Por ejemplo, los sesgos del sistema judicial afectan a quiénes son acusados y condenados por delitos. Si esos datos se utilizan después para predecir quién es probable que cometa delitos, entonces esos sesgos se trasladarán. En otros casos, se utilizan seres humanos para etiquetar los datos y pueden introducir sesgos en el sistema. Este tipo de sesgo es omnipresente y difícil de eliminar. De hecho, Amazon se vio obligada a desechar una herramienta de contratación impulsada por IA porque no podía eliminar el sesgo de género de los resultados. Estaban favoreciendo injustamente a los hombres porque los datos de entrenamiento que utilizaron enseñaron al sistema que la mayoría de los empleados de la empresa contratados anteriormente y considerados exitosos eran hombres. Incluso cuando eliminaron cualquier mención específica al género, ciertas palabras que aparecían con más frecuencia en los currículos masculinos que en los femeninos fueron identificadas por el sistema como aproximaciones al género. Una segunda fuente importante de sesgo se deriva de cómo se diseñan los modelos de toma de decisiones. Por ejemplo, si la capacidad de un profesor se evalúa en función de las puntuaciones obtenidas en los exámenes, otros aspectos de su rendimiento, como la aceptación de niños con diferencias de aprendizaje o problemas emocionales, no se registrarían, o incluso se penalizarían injustamente. En otros casos, los modelos se construyen en función de los datos más fáciles de adquirir o el modelo se ajusta en exceso a un conjunto específico de casos y luego se aplica con demasiada amplitud. Superar el sesgo Con tantas fuentes diversas de sesgo, no creemos que sea realista creer que podemos eliminarlo por completo, ni siquiera sustancialmente. Sin embargo, lo que sí podemos hacer es que nuestros sistemas de IA sean más explicables, auditables y transparentes. Sugerimos tres pasos prácticos que los dirigentes pueden dar para mitigar los efectos del sesgo. En primer lugar, los sistemas de IA deben someterse a una enérgica revisión humana. Por ejemplo, un estudio citado por un informe de la Casa Blanca durante la administración Obama descubrió que, mientras que las máquinas tenían una tasa de error del 7,5% en la lectura de imágenes radiológicas y los humanos del 3,5%, cuando los humanos combinaban su trabajo con las máquinas la tasa de error descendía al 0,5%. En segundo lugar, al igual que los bancos están obligados por ley a "conocer a su cliente", los ingenieros que construyen sistemas necesitan conocer sus algoritmos. Por ejemplo, Eric Haller, jefe de Datalabs en Experian nos dijo que a diferencia de hace décadas, cuando los modelos que utilizaban eran bastante sencillos, en la era de la IA, sus científicos de datos tienen que ser mucho más cuidadosos. "En el pasado, sólo necesitábamos mantener registros precisos para que, si se cometía un error, pudiéramos volver atrás, encontrar el problema y solucionarlo", nos dijo. "Ahora, cuando muchos de nuestros modelos funcionan con inteligencia artificial, no es tan fácil. No podemos simplemente descargar código de fuente abierta y ejecutarlo. Tenemos que entender, a un nivel muy profundo, cada línea de código que entra en nuestros algoritmos y ser capaces de explicárselo a los stakeholder externos." En tercer lugar, los sistemas de IA, y las fuentes de datos utilizadas para entrenarlos, deben ser transparentes y estar disponibles para su auditoría. Los marcos legislativos como el GDPR en Europa han dado algunos primeros pasos prometedores, pero está claro que hay que trabajar más. No nos parecería aceptable que los humanos tomaran decisiones sin ningún tipo de supervisión, así que no hay razón para que lo aceptemos cuando las máquinas toman decisiones. Quizá lo más importante sea que pasemos de una cultura de automatización a una de aumento. La inteligencia artificial funciona mejor no como una especie de caja mágica que se utiliza para sustituir a los humanos y reducir costes, sino como un multiplicador de fuerza que se utiliza para crear nuevo valor. Si hacemos que la IA sea más explicable, auditable y transparente, no sólo conseguiremos que nuestros sistemas sean más justos, sino que serán mucho más eficaces y útiles.

Necesitamos una IA explicable, auditable y transparente

Resumen.

Partner Center