Llevar los valores humanos a la IA

La idea en breve El problema Los productos y servicios aprovechan cada vez más la inteligencia artificial para mejorar la eficacia y el rendimiento, pero los resultados pueden ser impredecibles, intrusivos, ofensivos e incluso peligrosos. La solución Las empresas deben tener en cuenta el comportamiento y los valores de la IA en sus procesos de innovación y desarrollo para asegurarse de que sacan al mercado ofertas basadas en la IA que sean seguras de utilizar y estén en consonancia con los valores generalmente aceptados y los específicos de la empresa. Cómo proceder Este artículo identifica seis retos clave a los que se enfrentarán los ejecutivos y empresarios y describe cómo superarlos. Las empresas que se muevan pronto para adquirir las capacidades necesarias encontrarán en ellas una importante fuente de ventaja competitiva. Cuando lanzó la GPT-4, en marzo de 2023, OpenAI pregonó su superioridad con respecto a su ya impresionante predecesora, afirmando que la nueva versión era mejor en términos de precisión, capacidad de razonamiento y puntuación en las pruebas, todas ellas métricas de rendimiento de la IA que se vienen utilizando desde hace tiempo. Sin embargo, lo más sorprendente fue la caracterización que hizo OpenAI de la GPT-4 como "más alineada", quizá la primera vez que un producto o servicio de IA se ha comercializado en términos de su alineación con los valores humanos. La idea de que la tecnología debe estar sujeta a algún tipo de guardarraíles éticos dista mucho de ser nueva. Norbert Wiener, el padre de la cibernética, propuso una idea similar en un artículo seminal de Science de 1960, lanzando toda una disciplina académica centrada en garantizar que las herramientas automatizadas incorporen los valores de sus creadores. Pero sólo hoy, más de medio siglo después, estamos viendo que los productos integrados en la IA se comercializan en función de lo bien que encarnan valores como la seguridad, la dignidad, la equidad, la meritocracia, la inocuidad y la utilidad, así como las medidas tradicionales de rendimiento, como la velocidad, la escalabilidad y la precisión. Estos productos incluyen desde coches autoconducidos hasta soluciones de seguridad, software que resume artículos, electrodomésticos inteligentes que pueden recopilar datos sobre la vida cotidiana de las personas e incluso robots de compañía para ancianos y juguetes inteligentes para niños. A medida que la alineación del valor de la IA se convierta no sólo en un requisito normativo sino en un diferenciador del producto, las empresas tendrán que ajustar los procesos de desarrollo de sus productos y servicios habilitados para la IA. Este artículo trata de identificar los retos a los que se enfrentarán empresarios y ejecutivos a la hora de sacar al mercado ofertas seguras y alineadas con los valores. Las empresas que se muevan pronto para abordar esos retos obtendrán una importante ventaja competitiva. Los retos se dividen en seis categorías, que corresponden a las etapas clave de un proceso de innovación típico. Para cada categoría presentamos una visión general de los marcos, prácticas y herramientas a los que pueden recurrir los ejecutivos. Estas recomendaciones se derivan de nuestra investigación conjunta e individual sobre los métodos de alineación de la IA y de nuestra experiencia ayudando a las empresas a desarrollar e implantar productos y servicios basados en la IA en múltiples ámbitos, como los medios sociales, la atención sanitaria, las finanzas y el entretenimiento. La primera tarea consiste en identificar a las personas cuyos valores deben tenerse en cuenta. Dado el impacto potencial de la IA en la sociedad, las empresas tendrán que tener en cuenta a un grupo de stakeholders más diverso que el que tendrían al evaluar otras características del producto. Entre ellos pueden encontrarse no sólo empleados y clientes, sino también organizaciones de la sociedad civil, responsables políticos, activistas, asociaciones industriales y otros. El panorama puede volverse aún más complejo cuando el mercado del producto abarca geografías con culturas o normativas diferentes. Hay que comprender las preferencias de todos estos stakeholder y salvar los desacuerdos entre ellos. Este reto puede abordarse de dos maneras. Incrustar los principios establecidos. En este enfoque, las empresas recurren directamente a los valores de sistemas y teorías morales establecidos, como el utilitarismo, o a los desarrollados por instituciones mundiales, como los principios de la IA de la OCDE. Por ejemplo, la start-up Anthropic, financiada por Alphabet, basó los principios que guían a su asistente de IA, Claude, en la Declaración Universal de los Derechos Humanos de las Naciones Unidas. Otras empresas han hecho lo mismo; los principios de BMW, por ejemplo, se parecen a los desarrollados por la OCDE. Articule sus propios valores. Algunas empresas reúnen a un equipo de especialistas -tecnólogos, especialistas en ética, expertos en derechos humanos y otros- para desarrollar sus propios valores. Estas personas pueden tener un buen conocimiento de los riesgos (y oportunidades) inherentes al uso de la tecnología. Salesforce ha adoptado un enfoque de este tipo. En el preámbulo de su declaración de principios, la empresa describe el proceso como "un viaje de un año en el que se solicitó la opinión de colaboradores individuales, gerentes y ejecutivos de toda la empresa en todas las organizaciones, incluyendo ingeniería, desarrollo de productos, UX, ciencia de datos, legal, igualdad, asuntos gubernamentales y marketing". Otro enfoque fue desarrollado por un equipo de científicos de DeepMind, un laboratorio de investigación de IA adquirido por Google en 2014. Este enfoque implica consultar a clientes, empleados y otras personas para obtener los principios y valores de la IA de forma que se minimice el sesgo interesado. Se basa en el "velo de ignorancia", un experimento mental concebido por el filósofo John Rawls, en el que las personas proponen reglas para una comunidad sin ningún conocimiento de su posición relativa en esa comunidad, lo que significa que no saben cómo les afectarán las reglas. Los valores producidos mediante el enfoque de DeepMind están menos orientados al interés propio de lo que estarían de otro modo, se centran más en cómo la IA puede ayudar a los más desfavorecidos y son más sólidos, porque la gente suele aceptarlos más fácilmente. Más allá de establecer valores rectores, las empresas deben pensar en limitar explícitamente el comportamiento de su IA. Prácticas como la privacidad por diseño, la seguridad por diseño y similares pueden ser útiles en este esfuerzo. Ancladas en principios y herramientas de evaluación, estas prácticas integran el valor objetivo en la cultura de una organización y en el proceso de desarrollo del producto. Los empleados de las empresas que aplican estas prácticas están motivados para evaluar cuidadosamente y mitigar los riesgos potenciales en las primeras fases del diseño de un nuevo producto; para construir circuitos de retroalimentación que los clientes puedan utilizar para informar de los problemas; y para evaluar y analizar continuamente esos informes. Las plataformas en línea suelen utilizar este enfoque para reforzar la confianza y la seguridad, y algunos reguladores son receptivos a él. Una de las principales defensoras de este enfoque es Julie Inman Grant, comisaria de esafety en Australia y veterana de las políticas públicas del sector. Los sistemas de IA generativa necesitarán barandillas formales escritas en los programas para que no violen los valores definidos ni crucen las líneas rojas, por ejemplo, accediendo a peticiones indebidas o generando contenidos inaceptables. Empresas como Nvidia y OpenAI están desarrollando marcos para proporcionar tales guardarraíles. GPT-4, por ejemplo, se comercializa como un 82% menos propenso que GPT-3.5 a responder a solicitudes de contenidos no permitidos, como discursos de odio o código para malware. Si los comportamientos y los datos de la IA incluyen contenidos potencialmente dañinos, habrá que tener en cuenta cualquier impacto psicológico en los revisores de contenidos. Las líneas rojas también están definidas por la normativa, que evoluciona. En respuesta, las empresas tendrán que actualizar su cumplimiento de la IA, que cada vez será más divergente en los distintos mercados. Pensemos en un banco europeo que quiere desplegar una herramienta de IA generativa para mejorar las interacciones con los clientes. Hasta hace poco, el banco sólo tenía que cumplir el Reglamento general de protección de datos de la UE, pero pronto tendrá que cumplir también la Ley de IA de la UE. Si quiere implantar la IA en China o en Estados Unidos, tendrá que cumplir la normativa de allí. A medida que cambien las normas locales, y a medida que el banco esté sujeto a normativas de distintas jurisdicciones, tendrá que adaptar su IA y gestionar los requisitos potencialmente incompatibles. Los valores, las líneas rojas, los guardarraíles y las normativas deben estar todos integrados e incrustados en la programación de la IA para que los cambios en las normativas, por ejemplo, puedan teclearse y comunicarse automáticamente a todas las partes del programa de IA afectadas por ellos. A continuación hay que identificar qué aspecto tiene el cumplimiento de los valores y hacer un seguimiento de los progresos realizados en ese sentido. Por ejemplo, los medios sociales y los mercados en línea se han centrado tradicionalmente en el desarrollo de algoritmos de recomendación que maximicen el compromiso del usuario. Pero como la preocupación por la confianza y la seguridad ha aumentado tanto para los usuarios como para los reguladores, plataformas de medios sociales como Facebook (ahora Meta) y Snapchat rastrean no sólo el tiempo que se pasa en sus plataformas, sino también lo que los clientes ven y hacen allí, con el fin de limitar el abuso de los usuarios y la difusión de material extremista o terrorista. Y las empresas de juegos en línea rastrean la conducta de los jugadores, porque un comportamiento agresivo puede tener un impacto negativo en el atractivo de sus juegos y comunidades. En los últimos años hemos visto cómo las empresas luchan por equilibrar la privacidad con la seguridad, la confianza con la protección, la utilidad con el respeto a la autonomía de los demás y, por supuesto, los valores con las métricas financieras a corto plazo. Por ejemplo, las empresas que ofrecen productos para asistir a los ancianos o para educar a los niños deben tener en cuenta no sólo la seguridad, sino también la dignidad y la agencia: ¿Cuándo no debe la IA ayudar a los usuarios ancianos para reforzar su confianza y respetar su dignidad? ¿Cuándo debe ayudar a un niño para garantizarle una experiencia de aprendizaje positiva? Una forma de abordar este reto es segmentar un mercado en función de sus valores. Por ejemplo, una empresa puede decidir centrarse en un mercado más pequeño que valore más principios como la privacidad que, por ejemplo, la precisión algorítmica. Este es el camino elegido por el motor de búsqueda DuckDuckGo, que limita la publicidad dirigida y prioriza la privacidad. La empresa se posiciona como una alternativa para los internautas que no quieren ser rastreados en línea. La disyuntiva entre el tiempo de comercialización y el riesgo de desajuste de valores es especialmente difícil de gestionar. Algunos comentaristas han argumentado que, para obtener la ventaja de ser el primero, OpenAI se apresuró a introducir ChatGPT en el mercado en noviembre de 2022, a pesar de la debilidad de las barreras de seguridad en ese momento. Tales movimientos pueden resultar contraproducentes: Google perdió casi 170.000 millones de dólares de valor después de que su chatbot Bard cometiera un error público en un acto de lanzamiento en París. Aunque todos los chatbots tienden a cometer errores similares, informes internos sugirieron más tarde que la presión de Google por un lanzamiento rápido podría haber provocado fallos tempranos en el producto. Dados los retos a los que se enfrentan, los directivos se ven obligados a realizar juicios muy matizados. Por ejemplo, ¿cómo deciden si determinados contenidos generados o recomendados por la IA son perjudiciales? Si un vehículo autónomo evita por los pelos atropellar a un peatón, ¿se trata de un fallo de seguridad o de una señal de que el sistema de seguridad del vehículo funciona? En este contexto, las organizaciones necesitan establecer procesos y canales de comunicación claros con los stakeholder desde el principio, para garantizar una retroalimentación, alineación y aprendizaje continuos. Giulio Bonasera Un buen ejemplo de lo que pueden hacer las empresas, aunque no se centre específicamente en la IA, nos lo proporciona Meta. En 2020, en medio de la creciente preocupación pública sobre cómo las plataformas en línea moderan el contenido, la empresa estableció su Junta de Supervisión para ayudarla a tomar decisiones basadas en valores. La junta es un grupo de personas independientes y experimentadas de diversos países y procedencias que no sólo toman algunas decisiones difíciles, sino que también ayudan a la empresa a escuchar las opiniones de sus diversos stakeholders. El gigante farmacéutico Merck y la empresa francesa de telecomunicaciones Orange, entre otras, también están creando ahora consejos de vigilancia o comités de supervisión para supervisar sus esfuerzos en materia de IA. En algunos casos puede ser necesario establecer equipos formales de políticas de IA que supervisen y actualicen los principios, las políticas y las métricas relacionadas con los valores del comportamiento de la IA. (Para un análisis de algunas de las dificultades a las que pueden enfrentarse estos consejos y comités, véase "La ética de la gestión de los datos de las personas", HBR, julio-agosto de 2023). Sam Altman, como CEO de OpenAI, compartió un reto en el podcast In Good Company : ¿Cuánta flexibilidad debe dar su empresa a las personas de diferentes culturas y sistemas de valores para personalizar los productos de OpenAI? Se refería a una tendencia por la que las empresas toman modelos preentrenados, como GPT-4, PaLM, LaMDA y Stable Diffusion, y los ajustan para construir sus propios productos. Como señaló Altman, el problema de esto es que los propietarios de los modelos fundacionales tienen poco o ningún control sobre lo que se hace con sus productos. Las empresas que adaptan los modelos tienen un problema similar: ¿cómo pueden garantizar que los nuevos productos creados con modelos de terceros se ajustan a los valores deseables, sobre todo teniendo en cuenta las limitaciones sobre cuánto pueden afinarlos? Sólo los desarrolladores de los modelos originales saben qué datos se utilizaron para entrenarlos, por lo que las empresas tendrán que seleccionar cuidadosamente a sus socios de IA. También deberán alinearse con otros socios, como los proveedores de datos de entrenamiento, que pueden tener todo tipo de sesgos indeseables que podrían infectar el producto final. Para abordar estas cuestiones, los desarrolladores de IA pueden tener que establecer procesos para evaluar los modelos y los datos externos de IA y descubrir los valores y los sistemas técnicos subyacentes de los socios potenciales antes de lanzar nuevas asociaciones. (Esto puede ser similar a la forma en que las empresas gestionan los riesgos de los socios potenciales en relación con la sostenibilidad y las prácticas para medir y gestionar las emisiones de Alcance 3). No se trata de un juego de una sola partida. A medida que se desarrolla la carrera entre potentes modelos fundacionales, las empresas pueden cambiar los modelos que utilizan para sus productos con el tiempo. Descubrirán que las capacidades de prueba de la IA y una diligencia debida eficaz en torno a los valores bien podrían ser fuentes de ventaja competitiva. La incorporación de valores en la IA requiere enormes cantidades de datos, muchos de los cuales serán generados o etiquetados por humanos, como ya se ha señalado. En la mayoría de los casos, proceden de dos fuentes: los datos utilizados para entrenar a la IA y los datos procedentes de la retroalimentación continua sobre su comportamiento. Para garantizar la alineación de los valores, deben establecerse nuevos procesos para la retroalimentación. Una práctica común para hacer esto se denomina "aprendizaje de refuerzo a partir de la retroalimentación humana" (RLHF), un proceso por el que las salidas indeseables -como el lenguaje abusivo- pueden minimizarse mediante la aportación humana. Los humanos revisan la salida de un sistema de IA, como su clasificación del currículum de alguien, su decisión de realizar una acción de navegación o el contenido que genera, y la califican según lo desalineada que pueda estar con determinados valores. La calificación se utiliza en nuevos datos de entrenamiento para mejorar el comportamiento de la IA. Por supuesto, una decisión clave en este enfoque es quién debe proporcionar la retroalimentación y cómo. La retroalimentación puede producirse en varias etapas del ciclo de vida de la IA, tanto antes como después del lanzamiento de un producto. En las primeras etapas, los ingenieros pueden proporcionar retroalimentación mientras prueban el resultado de la IA. Otra práctica consiste en crear "equipos rojos" cuyo mandato sea empujar a la IA hacia comportamientos no deseados. Los equipos rojos se utilizan mucho en otros ámbitos, como la ciberseguridad. Actúan como adversarios y atacan un sistema para explorar si puede fallar y cómo. Aunque estos equipos suelen ser internos a una organización, también se pueden aprovechar las comunidades externas. Por ejemplo, en 2023 miles de hackers se reunieron en la principal conferencia sobre ciberseguridad, Def Con, para "atacar" grandes modelos lingüísticos e identificar vulnerabilidades. Enseñar a la IA a comportarse de acuerdo con determinados valores continúa después de su lanzamiento. En muchos sentidos, la IA es como los humanos en este sentido: Independientemente de nuestra educación formal, ajustamos continuamente nuestro comportamiento para alinearlo con los valores de nuestras comunidades a la luz de la retroalimentación. A medida que las personas utilizan la IA, o se ven afectadas por ella, pueden observar comportamientos que parecen violar sus valores comercializados. Permitirles dar su opinión puede ser una fuente importante de datos para mejorar la IA. Las plataformas en línea ofrecen un ejemplo de cómo establecer procesos para la retroalimentación de los clientes. Las redes sociales y las empresas de juegos en línea, por ejemplo, permiten a los usuarios denunciar con sólo pulsar un botón comportamientos o contenidos potencialmente sospechosos, ya sean publicados por otros usuarios o recomendados o generados por un algoritmo. Los moderadores de contenidos, siguiendo unas directrices detalladas, revisan esas denuncias, deciden si eliminan el contenido de la plataforma y motivan sus decisiones. Al hacerlo, desempeñan efectivamente el papel de "anotadores de datos", etiquetando los datos como violaciones de determinados valores o condiciones de servicio. Sus etiquetas se utilizan para seguir mejorando tanto las políticas de la empresa como los algoritmos que utiliza. Si un vehículo autónomo evita por los pelos atropellar a un peatón, ¿se trata de un fallo de seguridad o de una señal de que el sistema de seguridad del vehículo funciona? También hay que gestionar los sesgos y las incoherencias de los anotadores. Las plataformas en línea han establecido procesos de moderación de contenidos y de gestión de la calidad, así como protocolos de escalada que se utilizan cuando resulta difícil decidir si un determinado contenido o comportamiento infringe las directrices. Al establecer sistemas y prácticas de retroalimentación humana, las empresas deben asegurarse de que tanto la formación como los datos de RLHF representen diversos puntos de vista y culturas. Además, los empleados y los clientes deben comprender cómo se utilizan sus aportaciones y comentarios y cómo se toman las decisiones de anotación. Por ejemplo, la Ley de Servicios Digitales de la UE y otras normativas exigen que las plataformas en línea proporcionen informes anuales transparentes sobre sus decisiones de moderación de contenidos. Por último, si los comportamientos y los datos de la IA incluyen contenidos potencialmente nocivos -lo que puede ser un riesgo particular con la IA generativa- es necesario tener en cuenta cualquier impacto psicológico en los anotadores que revisan esos contenidos. En 2021, Meta pagó 85 millones de dólares para resolver una demanda colectiva derivada de los daños psicológicos causados por exponer a sus empleados moderadores a imágenes gráficas y violentas. Los programas de IA muestran cada vez más comportamientos inesperados. Por ejemplo, una herramienta de simulación de IA utilizada en un experimento reciente de las Fuerzas Aéreas de EE.UU. al parecer recomendó que se matara al piloto de un avión para asegurarse de que la misión de la aeronave se ejecutaba correctamente. En otro ejemplo, el programa de juego de Go AlphaGo inventó nuevas jugadas que los expertos en Go consideraron "sobrehumanas e inesperadas". Quizá el ejemplo más conocido sea el del chatbot Bing de Microsoft, que empezó a mostrar un comportamiento agresivo e incluso amenazador hacia los usuarios poco después de su lanzamiento, y que sólo se detuvo después de que Microsoft redujera considerablemente la duración posible de la conversación. Experiencias imprevistas similares aumentarán en frecuencia, especialmente porque el chat GPT y otros grandes modelos de IA pueden ahora realizar tareas para las que no fueron programados explícitamente, como traducir de idiomas que no estaban incluidos en ningún dato de entrenamiento. Algunos comportamientos impredecibles pueden ser inducidos, intencionadamente o no, por las interacciones de los usuarios con productos habilitados para la IA. Esos productos pueden permitir un versionado extremo y una hiperpersonalización por parte de individuos y empresas que afinan los modelos con datos de diversos mercados. De este modo pueden crearse innumerables versiones de un producto de IA y personalizarse en función de cómo interactúe cada usuario con él. Garantizar que todas esas versiones permanezcan alineadas y no muestren comportamientos emergentes novedosos puede resultar todo un reto. Aunque las mejores prácticas, como la realización de pruebas sólidas y la formación de equipos rojos, pueden disminuir esos riesgos, puede resultar imposible garantizar que los productos habilitados para la IA no exhiban comportamientos inesperados una vez que han sido lanzados. Una situación paralela existe desde hace muchos años en el sector farmacéutico. Por muchos recursos que se inviertan en ensayos clínicos, cada año se retiran del mercado varios medicamentos aprobados porque producen efectos secundarios no identificados antes de su lanzamiento. Por eso existe la "farmacovigilancia", por la que médicos y pacientes comunican cualquier efecto secundario de un medicamento a un organismo regulador o a un fabricante de forma estandarizada; se elabora un análisis estadístico de esos informes y, finalmente, si es necesario, se retira el medicamento del mercado. Del mismo modo, las empresas deben poner en marcha procesos sólidos para detectar y mejorar los comportamientos nocivos o inesperados después de que un producto de IA haya salido al mercado. Los incidentes deben ser identificados, notificados por los usuarios o cualquier otra persona afectada, y analizados por la empresa. Es posible que las empresas necesiten crear bases de datos de incidentes de IA, como las que han desarrollado la OCDE y la Asociación sobre IA, para aprender y documentar constantemente cómo evolucionan sus productos de IA. La propia IA puede facilitar la supervisión de estos productos durante su uso. Por ejemplo, las empresas pueden hacer que un modelo de IA desafíe a otro con un aprendizaje adversario. El enfoque es similar a las pruebas previas al despliegue y al red teaming, pero éstas son difíciles de escalar y no son aplicables a los modelos de IA que se actualizan durante el uso, mientras que el aprendizaje adversarial permite realizar pruebas continuas de cualquier número de versiones de modelos de IA. Más recientemente, se han utilizado herramientas de detección fuera de distribución(OOD) para ayudar a la IA con cosas con las que no se ha encontrado antes, como objetos desconocidos para un vehículo autónomo o un electrodoméstico. El robot jugador de ajedrez que agarró la mano de un niño porque confundió la mano con una pieza de ajedrez es un ejemplo clásico de lo que podría resultar. Esencialmente, lo que hacen las herramientas de OOD es permitir que la IA reconozca nuevas variables o cambios en el entorno, ayudándola a "saber lo que no sabe" y a abstenerse de actuar en situaciones para las que no ha sido entrenada. Las herramientas basadas en el lenguaje natural pueden permitir a los clientes mantener un diálogo directo con los productos habilitados para la IA: A medida que los usuarios experimentan desviaciones de los patrones de comportamiento esperados, pueden comunicar sus necesidades, intenciones y comentarios a la IA en su propio idioma. Este tipo de herramientas permite a las empresas adoptar un enfoque comunitario y participativo para garantizar que sus productos se mantienen alineados con los valores fundamentales. . . . En un mundo en el que la alineación de los valores de la IA puede determinar los resultados competitivos e incluso convertirse en un requisito para la calidad del producto, es fundamental reconocer los riesgos y las oportunidades de diferenciación del producto y adoptar nuevas prácticas y procesos para mantenerse a la vanguardia. Los clientes -y la sociedad en general- esperan que las empresas operen de acuerdo con determinados valores. En este nuevo mundo no pueden permitirse lanzar productos y servicios basados en la IA que se comporten mal.

Llevar los valores humanos a la IA

Resumen.

Partner Center