Necesitamos transparencia en los algoritmos, pero demasiada puede ser contraproducente

En 2013, el profesor de Stanford Clifford Nass se enfrentó a una revuelta estudiantil. Los estudiantes de Nass afirmaban que los de una sección de su curso sobre interfaces tecnológicas recibían notas más altas en el examen final que sus homólogos de otra. Desgraciadamente, tenían razón: dos profesores asistentes diferentes habían calificado los exámenes de las dos secciones, y uno había sido más indulgente que el otro. Estudiantes con respuestas similares habían acabado con notas diferentes. Nass, un informático, reconoció la injusticia y creó una solución técnica: un sencillo modelo estadístico para ajustar las calificaciones, por el que los estudiantes obtenían un determinado porcentaje de aumento en su nota final cuando eran calificados por un asistente docente conocido por dar notas ese porcentaje más bajas que la media. En un espíritu de apertura, Nass envió correos electrónicos a la clase con una explicación completa de su algoritmo. Le llovieron más quejas, algunas incluso más airadas que antes. ¿En qué se había equivocado? Las empresas y los gobiernos confían cada vez más en los algoritmos para tomar decisiones que afectan a la vida y el sustento de las personas: desde la aprobación de préstamos hasta la contratación de personal, las sentencias judiciales y las admisiones universitarias. Las decisiones menos vitales también se están delegando en las máquinas, desde los resultados de las búsquedas en Internet hasta las recomendaciones de productos, los emparejamientos de citas y el contenido que aparece en nuestros feeds de las redes sociales. En respuesta, muchos expertos han pedido normas y reglamentos que hagan transparente el funcionamiento interno de estos algoritmos. Pero como deja claro la experiencia de Nass, la transparencia puede ser contraproducente si no se aplica con cuidado. Afortunadamente, existe una forma inteligente de avanzar. Transparencia y confianza Dos años después de las protestas en la clase de Nass, René Kizilcec, un joven estudiante de PhD de Stanford que había trabajado bajo las órdenes de Nass, decidió realizar un estudio sobre los efectos de la transparencia en las calificaciones sobre la confianza de los estudiantes. Utilizó la plataforma de cursos masivos abiertos en línea (MOOC) Coursera, que, como muchos MOOC, emplea la calificación por pares para gestionar un volumen extraordinariamente alto de exámenes. El trabajo se hace, pero la calificación por pares agrava el problema de la parcialidad en la calificación, ya que implica a un gran número de calificadores con personalidades y tendencias diversas. Centro de información Adoptar la IA Patrocinado por SAS Cómo están utilizando las empresas la inteligencia artificial en sus operaciones comerciales. En el estudio de Kizilcec, 103 estudiantes enviaron redacciones para que las calificaran sus compañeros y recibieron de vuelta dos notas: una nota que representaba la nota media de los compañeros y una nota "computada" que era el producto de un algoritmo que ajustaba los sesgos. A algunos estudiantes se les dijo: "Su nota computada es X, que es la nota que recibió de sus compañeros". A otros se les proporcionó mayor transparencia: de hecho, un párrafo entero en el que se explicaba cómo se había calculado la nota, por qué se habían hecho ajustes (para tener en cuenta el "sesgo y la precisión" de los compañeros) y se nombraba el tipo de algoritmo utilizado ("un algoritmo de maximización de expectativas con un prior"). A continuación, se pidió a ambos grupos que calificaran su confianza en el proceso. También se preguntó a los estudiantes qué nota pensaban que obtendrían, y resultó que los niveles de confianza en aquellos estudiantes cuyas notas reales alcanzaban o superaban esa estimación no se veían afectados por la transparencia. Pero las personas cuyas expectativas fueron violadas -los estudiantes que recibieron notas más bajas de lo que esperaban- confiaron más en el algoritmo cuando recibieron más explicaciones sobre su funcionamiento. Esto fue interesante por dos razones: confirmó una tendencia humana a aplicar un mayor escrutinio a la información cuando se violan las expectativas. Y demostró que la desconfianza que puede acompañar a los resultados negativos o decepcionantes puede aliviarse si la gente cree que el proceso subyacente es justo. Pero, ¿cómo conciliar este hallazgo con la experiencia de Nass? De hecho, Kizilcec había probado tres niveles de transparencia: bajo y medio, pero también alto, en el que los estudiantes no sólo recibían un párrafo explicando el proceso de calificación, sino también sus puntuaciones brutas calificadas por los compañeros y cómo cada una de ellas era ajustada con precisión por el algoritmo para llegar a una calificación final. Y aquí es donde los resultados se volvieron más interesantes. En el experimento, mientras que la transparencia media aumentaba la confianza de forma significativa, la transparencia alta la erosionaba por completo, hasta el punto de que los niveles de confianza eran iguales o inferiores a los de los estudiantes que experimentaban una transparencia baja. Hacer que la IA moderna sea transparente: ¿Una misión imposible? ¿Qué deben llevarse a casa las empresas de este experimento? Sugiere que la transparencia técnica -revelar el código fuente, las entradas y las salidas del algoritmo- puede generar confianza en muchas situaciones. Pero la mayoría de los algoritmos del mundo actual son creados y gestionados por empresas con ánimo de lucro, y muchas empresas consideran sus algoritmos como formas muy valiosas de propiedad intelectual que deben permanecer en una "caja negra". Algunos legisladores han propuesto un compromiso, sugiriendo que el código fuente se revele a los reguladores o auditores en caso de que se produzca un problema grave, y que este adjudicador garantice a los consumidores que el proceso es justo. Este enfoque simplemente traslada la carga de la creencia del propio algoritmo a los reguladores. Esta puede ser una solución aceptable en muchos ámbitos: por ejemplo, pocos de nosotros entendemos completamente los mercados financieros, por lo que confiamos en que la SEC se encargue de la supervisión. Pero en un mundo en el que las decisiones grandes y pequeñas, personales y sociales, se están entregando a los algoritmos, esto resulta menos aceptable. Otro problema de la transparencia técnica es que hace que los algoritmos sean vulnerables al juego. Si un instructor publica el código fuente completo de un algoritmo que califica las redacciones de los estudiantes, resulta fácil que éstos exploten las lagunas del código: tal vez, por ejemplo, el algoritmo busque pruebas de que los estudiantes han investigado buscando frases como "según investigaciones publicadas". Entonces, un estudiante podría utilizar deliberadamente este lenguaje al principio de cada párrafo de su redacción. Pero el mayor problema es que la IA moderna está haciendo que el código fuente -transparente o no- sea menos relevante en comparación con otros factores del funcionamiento algorítmico. En concreto, los algoritmos de aprendizaje automático -y los de aprendizaje profundo en particular- se construyen normalmente sobre unos pocos cientos de líneas de código. La lógica de los algoritmos se aprende en su mayor parte a partir de los datos de entrenamiento y rara vez se refleja en su código fuente. Es decir, algunos de los algoritmos con mejor rendimiento de la actualidad son a menudo los más opacos. Una gran transparencia puede implicar que nos hagamos a la idea de montones y montones de datos, y que después sólo podamos adivinar qué lecciones ha aprendido el algoritmo a partir de ellos. Aquí es donde el trabajo de Kizilcec cobra relevancia: una forma de abrazar, en lugar de desesperarse, la impenetrabilidad del aprendizaje profundo. Su trabajo demuestra que los usuarios no confiarán en los modelos de caja negra, pero no necesitan -ni siquiera quieren- niveles extremadamente altos de transparencia. Eso significa que las empresas responsables no necesitan preocuparse por qué porcentaje de código fuente revelar, o cómo ayudar a los usuarios a "leer" conjuntos de datos masivos. En lugar de ello, deben trabajar para ofrecer una visión básica de los factores que impulsan las decisiones algorítmicas. IA explicable: el camino a seguir Una de las secciones más importantes del innovador Reglamento General de Protección de Datos (RGPD) de la UE se centra en el derecho a la explicación. Esencialmente, ordena que los usuarios puedan exigir los datos que hay detrás de las decisiones algorítmicas que se toman por ellos, incluso en los sistemas de recomendación, los sistemas de riesgo crediticio y de seguros, los programas publicitarios y las redes sociales. De este modo, aborda la "ocultación intencionada" por parte de las empresas. Pero no aborda los retos técnicos asociados a la transparencia en los algoritmos modernos. Aquí, un movimiento llamado IA explicable (xAI) podría ser útil. Los sistemas de xAI funcionan analizando varias entradas utilizadas por un algoritmo de toma de decisiones, midiendo el impacto de cada una de las entradas individualmente y en grupos, y finalmente informando del conjunto de entradas que tuvieron el mayor impacto en la decisión final. Por ejemplo, si un sistema de este tipo se aplicara a un algoritmo de calificación de ensayos, podría analizar cómo los cambios en diversas entradas como el contenido, el recuento de palabras, el nivel de vocabulario, la gramática o la procedencia afectaron a la calificación final y ofrecer una explicación como ésta: Tim obtuvo una puntuación de 73 en su redacción. El 49 por ciento de la puntuación de Tim se explica por la coincidencia del contenido con los conceptos clave enumerados en la clave de calificación. El 18 por ciento de la puntuación se explica porque la redacción de Tim superó el umbral de recuento de palabras de 1.000 palabras pero no sobrepasó el límite de 1.300 palabras. El 13 por ciento de la puntuación se explica porque el ensayo de Tim mencionó documentos fuente relevantes en contextos apropiados. El resto de la puntuación de Tim se explica por otros factores menos significativos. En algunas de nuestras investigaciones en curso, descubrimos que alcanzar este nivel de transparencia está dentro de las capacidades de los métodos estadísticos y de aprendizaje automático actuales. Este tipo de análisis podría ayudar a los ingenieros a sortear el problema de la caja negra, es decir, el problema de que ellos mismos no siempre saben qué motiva las decisiones de sus algoritmos de aprendizaje automático. Identifica las relaciones entre las entradas y los resultados, detecta posibles sesgos y ofrece vías para solucionar los problemas. ¿Daría también, para los usuarios, en el clavo de la transparencia que identificó Kizilcec? Es demasiado pronto para saberlo. Mientras tanto, vale la pena recordar que generar confianza en el aprendizaje automático y el análisis requerirá un sistema de relaciones, en el que los reguladores, por ejemplo, obtengan altos niveles de transparencia, y los usuarios acepten niveles medios. "Ambas partes son importantes", dice Kizilcec sobre cómo la transparencia para los auditores frente a los usuarios puede afectar a la aceptación. "Si sólo acertamos con un lado, no funcionará". Nota del editor: Debido a un error de edición, una versión anterior de este artículo indicaba erróneamente el año en que los alumnos de Clifford Nass plantearon la queja sobre sus calificaciones. Hemos corregido el error.

Necesitamos transparencia en los algoritmos, pero demasiada puede ser contraproducente

Resumen.

Partner Center