Los riesgos del botshit

Justo después de que OpenAI lanzara al público su chatbot GenAI ChatGPT en noviembre de 2022, Google lanzó su propio chatbot llamado Bard (ahora Gemini). Durante la primera demostración pública de Bard, éste generó un importante error factual en respuesta a una pregunta sobre los descubrimientos realizados por el telescopio espacial James Webb. Esta respuesta errónea del chatbot provocó una caída del 9% en el precio de las acciones de Alphabet, la compañía madre de Google, que en aquel momento tenía un valor de mercado de 100.000 millones de dólares. Los incidentes que demuestran los riesgos de los chatbots se están produciendo también en distintas profesiones. En 2023, dos abogados fueron multados por el Tribunal Federal de Distrito de Nueva York por presentar escritos jurídicos que contenían casos ficticios y citas legales generadas por el chatbot ChatGPT. Y en el periodismo, varias publicaciones conocidas se han visto avergonzadas tras utilizar contenidos generados por chatbots. Por ejemplo, Sports Illustrated publicó varios artículos de autores con nombres falsos con titulares generados por IA. En ambos casos, profesionales y empresas utilizaron acríticamente contenidos generados por chatbots, y son sólo la punta del iceberg. En la prisa por lanzar al público los chatbots de grandes modelos lingüísticos (LLM), se han producido numerosos problemas con estas herramientas que generan falsedades e información errónea. Como resultado, los directivos y las organizaciones están empezando a ver un conjunto creciente de nuevos riesgos basados en las expectativas y las normas profesionales en torno a la exactitud de la información. En este artículo, examinamos la naturaleza de estos riesgos y ofrecemos algunas orientaciones basadas en nuestra investigación sobre cómo gestionarlos. Nuevas herramientas, nuevos riesgos En medio de la promesa genuina y el entusiasmo por las posibles aplicaciones de los chatbots está lo que llamamos los "riesgos epistémicos del botshit". Botshit, en nuestra definición, es contenido de chatbot inventado, inexacto y falso que los humanos utilizan acríticamente para realizar tareas. No gestionar eficazmente los riesgos del botshit podría tener grandes consecuencias para los profesionales y líderes individuales, así como para sus organizaciones. Algunos de estos riesgos incluyen daños a la reputación, decisiones incorrectas, responsabilidad legal, pérdidas económicas e incluso seguridad humana. Un lugar donde esto puede verse es en el sector sanitario. Cuando es fiable, la introducción de un chatbot en contextos médicos orientados al consumidor, como las farmacias, presenta claras ventajas. Los chatbots podrían estar disponibles las 24 horas del día, los 7 días de la semana, para dar respuesta inmediata a preguntas sobre recetas y servicios de farmacia de forma eficaz. Sin embargo, los investigadores que presentaron en la reunión anual de 2023 de la Sociedad Americana de Farmacéuticos de Sistemas de Salud descubrieron que, en la actualidad, cerca de tres cuartas partes de las respuestas generadas por ChatGPT sobre preguntas relacionadas con medicamentos eran inexactas o incompletas. Peor aún, cuando los investigadores pedían a la herramienta referencias que respaldaran las respuestas, ésta generaba citas falsas como una especie de alucinación. Si un clínico siguiera ciegamente (o externalizara sus funciones) las sugerencias de ChatGPT, estaría poniendo en peligro la vida de sus pacientes. Una reciente revisión sistemática realizada sobre la investigación en torno a ChatGPT en la atención sanitaria descubrió que la herramienta se ha estudiado como útil tanto para tareas orientadas a la aplicación (es decir, el flujo de trabajo clínico) como para tareas orientadas al usuario, pero se descubrieron sus limitaciones a la hora de proporcionar información potencialmente engañosa y peligrosa y de transmitirla en un tono persuasivo. Este peligro hipotético se hizo realidad en una start-up llamada Babylon Health, que desarrolló una app potenciada por IA llamada GP at Hand. La app prometía hacer más eficaz y mucho más barato el proceso de triaje de la atención sanitaria. Los pacientes tecleaban sus síntomas y la aplicación les aconsejaba a qué tipo de profesional sanitario debían acudir (si es que debían hacerlo). Tras el lanzamiento de la aplicación, varios médicos del Reino Unido descubrieron que la aplicación daba consejos incorrectos. Por ejemplo, el programa Newsnight de la BBC presentó un reportaje con un médico que demostraba cómo la app sugería dos afecciones que no requerían tratamiento de urgencia, cuando en realidad los síntomas podrían haber sido indicadores de un ataque al corazón. El consejo correcto habría sido acudir inmediatamente a un servicio de urgencias. Cuando quedó claro que las promesas de la aplicación eran exageradas e incluso peligrosas, perdió su brillo y la empresa que estaba detrás acabó cerrando. Gestionar el riesgo de botshit A pesar de casos como el de GP at Hand, es poco probable que desaparezca el uso de chatbot en organizaciones y entornos profesionales. Al contrario, creemos que la tecnología de IA generativa presenta nuevas oportunidades, siempre y cuando también se comprendan y mitiguen los riesgos epistémicos relacionados. Para abordar esta cuestión, nuestra investigación esboza los riesgos epistémicos que presentan los chatbots a lo largo de dos dimensiones clave: ¿Qué importancia tiene la veracidad de la respuesta del chatbot para una tarea? ¿Y hasta qué punto es difícil verificar la veracidad de la respuesta del chatbot? Algunas tareas requieren altos niveles de veracidad: es importante que las respuestas del chatbot sean exactas y verdaderas. Por ejemplo, las tareas que se ocupan del bienestar de las personas en contextos de seguridad, asistencia sanitaria y educación. Alternativamente, también hay otras tareas en las que es menos importante que la respuesta sea perfectamente exacta y verdadera, como la generación de ideas para un nuevo producto o servicio, la creación de historias para trabajos de entretenimiento o el trabajo creativo para dar nombre a marcas y logotipos de productos. La otra dimensión importante del riesgo epistémico es lo difícil que resulta verificar el contenido que se crea. Para algunas tareas, es relativamente fácil verificar una respuesta de las herramientas de IA generativa. Por ejemplo, no es difícil para un operador verificar el valor de cotización de una empresa que cotiza en bolsa en un momento determinado. Sin embargo, hay otras tareas en las que es mucho más difícil verificar una afirmación concreta. Por ejemplo, un vendedor que trata de verificar rumores sobre un próximo nuevo producto de un competidor o un creativo publicitario que trata de verificar la viabilidad de una nueva idea para una campaña publicitaria. La unión de estas dos dimensiones nos da cuatro tipos diferentes de tareas en las que pueden ayudar los chatbots generativos, cada una de ellas con riesgos diferentes que deben gestionarse de formas distintas. Ver más gráficos de HBR en Datos y visuales Tareas autenticadas. En las tareas autenticadas, la veracidad de la declaración de un chatbot es crucial, pero a menudo es difícil de verificar. Algunos ejemplos son las tareas presupuestarias complejas, la comprobación de procedimientos de seguridad (como un flujo de trabajo clínico de diagnóstico para radiólogos que examinan imágenes de pacientes) o los juicios legales. En estos contextos, el mayor riesgo al que se enfrentan los usuarios de chatbot es la descalibración, cuando no existe un vínculo preciso entre los resultados y los hechos o la información cruciales. Esto es lo que ocurrió cuando los dos abogados neoyorquinos que mencionamos al principio de este artículo presentaron un caso legal generado por ChatGPT, que contenía referencias legales inventadas. Sin embargo, este riesgo puede gestionarse mediante una cuidadosa comprobación y calibración del modelo LLM del chatbot y de las salidas que genera. En consonancia con la naturaleza de la tarea, esto implica entrenar y comprobar la veracidad del modelo e identificar y corregir las limitaciones del mismo. Esta calibración puede implicar que un experto humano bien entrenado coteje las salidas creadas por un chatbot con los hechos aceptados, por ejemplo. Esto habla del valor de los chatbots específicos de la práctica en lugar de los de uso general (como ChatGPT). Entre las direcciones prometedoras para los chatbots específicos de la práctica se incluyen los que emplean tecnologías LLM emergentes como la generación aumentada de recuperación (RAG), así como los usuarios que desarrollan un conjunto de prácticas de ingeniería de prompt. Cuando se utilizan los prompt en una secuencia eficaz, el usuario y el chatbot pueden co-construir conocimientos y corregir errores potenciales. Tareas aumentadas. El segundo contexto se refiere a las tareas aumentadas en las que la veracidad o la exactitud del resultado no es especialmente importante y resulta difícil verificar la veracidad o la adecuación del resultado de una IA. Esto ocurre en tareas que requieren un pensamiento exploratorio o creativo como la lluvia de ideas o la generación de ideas. En este tipo de tareas, el mayor riesgo es la ignorancia, en la que se pasa por alto información o ideas importantes, o quizás se incluye erróneamente información inapropiada. Por ejemplo, en los concursos de crowdsourcing de ideas, los expertos en innovación consideraron que las ideas generadas por el chatbot eran más factibles y tenían más impacto, pero eran menos novedosas que las generadas por humanos. Esto pone de relieve la importancia de contar con expertos humanos adecuados que aumenten las respuestas aparentemente creativas que pueden producir estas máquinas basadas en la lógica. Tareas automatizadas. Una tercera forma en la que puede utilizarse la IA generativa es en contextos automatizados, en los que la precisión de la respuesta es vital y la información es relativamente fácil de verificar. Ejemplos de este tipo de tareas son la evaluación de solicitudes de préstamo o la comprobación de la funcionalidad de un fragmento de código informático. En estos casos, el mayor riesgo es la rutinización. Esto sucede cuando las personas confían excesivamente en los resultados de una IA y no comprueban o evalúan periódicamente la razonabilidad de las respuestas. Esto ocurrió cuando un pasajero de Air Canada cuya abuela acababa de fallecer se conectó a la página web de la aerolínea para preguntar cuáles eran las políticas de la compañía para los viajes por duelo. El chatbot dio una respuesta errónea, lo que más tarde significó que el pasajero no pudo obtener un reembolso. Este error administrativo automatizado se convirtió en noticia internacional cuando el cliente logró obtener el reembolso llevando a la aerolínea ante los tribunales. El riesgo derivado de la automatización puede gestionarse exigiendo que los procesos automatizados sean copilotados periódicamente por un usuario humano que compruebe las evaluaciones y decisiones. Hacer esto garantiza que los usuarios humanos puedan detectar errores y que los usuarios no se "duerman al volante". Tareas autónomas. Una última forma en la que la IA generativa puede utilizarse para trabajar es en un contexto autónomo. Esto ocurre cuando la precisión o veracidad de la respuesta de un chatbot es menos importante y es relativamente fácil verificar el resultado. Algunos ejemplos de este tipo de tareas incluyen el procesamiento de consultas rutinarias de atención al cliente o administrativas. En estos contextos, el mayor riesgo que crea la IA es el black boxing, por el que resulta difícil o imposible comprender cómo funciona una tecnología de IA concreta. Esto es lo que ocurrió cuando la empresa de paquetería DPD, de capital francés, lanzó un chatbot para responder a las preguntas de los clientes. Hubo al menos un caso en el que el chatbot dijo palabrotas y escribió haikus que criticaban a la empresa. Dado lo complejos que pueden ser los chatbots, puede resultar difícil precisar de dónde proceden tales errores y cómo detenerlos. En estos contextos, este riesgo puede gestionarse mediante la formación y limitando la gama de respuestas y el vocabulario del modelo LLM del chatbot. Para garantizar la fiabilidad y evitar los riesgos de botshit, el ámbito de uso del chatbot debería ser más limitado y las barandillas (es decir, las normas, directrices o limitaciones para el uso del chatbot) más restrictivas. . . . Los chatbots y otras herramientas que recurren a la IA generativa tienen un gran potencial para mejorar significativamente muchos procesos de trabajo. Sin embargo, como cualquier nueva tecnología importante, también conllevan riesgos. Como ilustran los ejemplos que ofrecemos, si no se gestionan adecuadamente los riesgos epistémicos del uso de bots, los resultados para las personas, las empresas y las profesiones pueden ser potencialmente muy costosos. Sin embargo, con una gestión cuidadosa, estos riesgos pueden contenerse mientras se aprovechan los beneficios.

Los riesgos del botshit

Resumen.

Partner Center