Estudio de caso: ¿La tecnología de reconocimiento facial mejora la seguridad?

El guardia de seguridad no podía oír a Beth Williams por encima del chirrido de la alarma. Las luces estroboscópicas LED bailaban arriba y abajo por las paredes azul empolvado y rosa pastel de la guardería Cub House. El guardia se movió para impedir que María Sánchez caminara hacia un aula para recoger a su hija. Extendió el brazo hacia su pecho. María parecía asustada y Beth, la fundadora y directora de Cub House, estaba horrorizada. Corrió hacia el guardia y le siseó "¡Está bien!" directamente al oído. Entonces sacó su teléfono y tecleó unos números, y la alarma y las luces se detuvieron. Un piano volvió a tocar "Somewhere Over the Rainbow" en un aula al final del pasillo. "Lo siento mucho", dijo Beth, poniendo una mano en el hombro de María.1 "Estamos probando nuestro sistema de seguridad de reconocimiento facial. La estúpida cosa sigue sonando sin motivo". Un sistema defectuoso A última hora de esa tarde, después de que todos los niños y sus cuidadores hubieran abandonado el edificio, Beth pidió a Charles Rivers, su director de tecnología, y a Anthony Michaels, su jefe de seguridad, que se reunieran con ella en la sala de profesores. Ambos llevaban en Cub House, una organización sin ánimo de lucro, desde 2010, cuando Beth la fundó en Dayton, Ohio, su ciudad natal. Era la mayor instalación de este tipo en el estado, contaba con numerosos espacios recreativos y educativos para niños de hasta cinco años, y los cuidadores podían utilizarla de forma flexible. Algunos niños asistían a diario; otros venían una vez al mes. Pero todos los niños y los adultos que los dejaban y los recogían debían estar registrados, y los adultos tenían que facilitar documentos de identidad con fotografía y números de matrícula con sus nombres. Tres meses antes, mientras la recepcionista y el guardia de seguridad estaban fuera del mostrador de bienvenida, una anciana enferma mental había entrado en las instalaciones, asustando a varios niños pequeños y provocando un alboroto con los padres. Charles y Anthony habían sugerido a Beth que implantara un sistema de seguridad basado en el reconocimiento facial. Utilizaría cámaras para fotografiar la cara de cada visitante y un software para analizar la geometría del rostro, tras lo cual cada foto recibiría un código único etiquetado con un nombre y permisos de acceso. Si alguien no reconocido por el sistema o con la cara oscurecida entrara en el edificio, o un visitante registrado fuera a algún lugar no autorizado, como el baño de un niño o una oficina administrativa, sonaría una alarma. Anthony había dicho que, gracias a la condición de organización sin ánimo de lucro del Cub House, el proveedor estaba dispuesto a renunciar a los costes iniciales para que el sistema funcionara correctamente, y el proyecto sólo llevaría unas semanas. Charles había estado de acuerdo: "Todo será financieramente manejable y tecnológicamente sólido, y ayudará a todos a dormir mejor por la noche". Beth se había mostrado escéptica. ¿De verdad iban a delegar la importante tarea de garantizar la seguridad de niños y visitantes en un sistema automatizado? El reconocimiento facial le parecía espeluznante, no el tipo de cosa para tener en un espacio infantil. Aun así, sus colegas insistieron, así que había accedido a probar el sistema, y en las pruebas informales con su personal durante una pausa de desarrollo de tres días, cuando el centro estaba cerrado a los visitantes, la tecnología había funcionado perfectamente. Cuando envió a una asistente de profesora que aún no tenía acceso total a una zona restringida, sonó la alarma. Cuando pasó corriendo por delante de la recepción con la cara entre las manos, sonó la alarma. La aplicación de seguridad de su teléfono capturó una imagen del intruso, y Beth pudo introducir un código de acceso para detener la alarma. Realizó docenas de pruebas informales como ésa, y el sistema respondió impecablemente. Las preocupaciones de Beth desaparecieron. Pero la mañana en que el sistema entró en funcionamiento, fue un desastre inmediato. La alarma sonó en cinco ocasiones, en ninguna de las cuales se trataba de un fallo de seguridad. Cada vez, asustó al personal, a los niños y a los cuidadores del centro. El quinto incidente había sido el de María Sánchez. "Estoy preocupada", dijo Beth a Charles y Anthony aquella tarde. "Ya hemos recibido quejas. Parece un gran riesgo para las relaciones con la comunidad y la satisfacción de los visitantes." "Son los típicos fallos del primer día", replicó Charles. "Sabemos que el sistema funciona. El proveedor me asegura que varios hospitales y escuelas ya lo han probado.2 Sólo tenemos que explicar a los padres que todo esto se hace para proteger a sus hijos. Y si la gente ve que damos prioridad a la seguridad, será más probable que vengan aquí. Si podemos evitar aunque sólo sea un incidente en el que alguien pueda resultar herido, este proyecto habrá merecido la pena." "Pero creo que tenemos un problema", intervino Anthony. "¿Por casualidad notó alguna similitud entre las personas que activaron la alarma?". Beth y Charles se miraron y se encogieron de hombros. "Las cinco eran mujeres de piel oscura "3, dijo Anthony. "Los sistemas de reconocimiento facial, como cualquier otra tecnología automatizada, dependen de los datos utilizados para construirlos: Si los rostros utilizados eran principalmente blancos y masculinos -lo que describe a la mayoría de los que programan estas cosas- el sistema cometerá más errores al evaluar rostros negros, morenos o femeninos. Podemos abordar este problema en parte de forma técnica, ¿verdad, Charles?". Charles asintió. "¿Pero puede garantizar que seremos capaces de resolverlo por completo?". Beth volvió a horrorizarse. Si las falsas alarmas afectaban de forma desproporcionada a las mujeres y a las personas de color -que describían a la gran mayoría de los que acudían al centro cada día-, no sólo generaría una disrupción enorme y frecuente y un riesgo potencial para la reputación y la responsabilidad legal, sino que iría en contra de todo lo que ella intentaba enseñar a los niños sobre la justicia y la empatía. Dicho esto, dado el número de tiroteos escolares4 en Estados Unidos, los altos índices de delincuencia en Dayton y el susto con la mujer enferma mental, mantener la seguridad de Cub House era sin duda su prioridad número uno y la de sus clientes. "Apaguemos el sistema por ahora", dijo Beth. "Les daré a usted y al proveedor unas semanas para que trabajen en arreglar las falsas alarmas". Las implicaciones legales Beth quedó con Tanya Marshall para comer al día siguiente en un bistró del centro de Dayton. Las dos mujeres eran amigas desde que eran estudiantes universitarias en Ohio State. Tanya era ahora la primera socia negra del mayor bufete de abogados de la ciudad. Ella había animado a Beth a construir el Cub House cuando no era más que un conjunto de diapositivas de PowerPoint. Sus dos hijos habían asistido con regularidad cuando eran pequeños, y ella era uno de los miembros más activos de la junta de la Cub House y donante constante. "Quería hablar con usted", dijo Tanya después de que hubieran pedido. "María Sánchez publicó en la página de Facebook de los padres de Cub House que a ella y a otras dos mujeres latinas les pararon las alarmas cuando entraron en el centro". "Eran las cinco", dijo Beth. "¿Las cinco?" "Sí, la alarma sonó para cinco mujeres de color diferentes". Beth le habló a Tanya de la enferma mental, del software de reconocimiento facial y de los fallos del programa. "El sistema se está mejorando mientras hablamos", dijo. "Será mejor que no lo traigan", dijo Tanya. "Al menos no todavía. Podría estar abriendo el centro a una demanda si Ohio aprueba nuevas leyes de privacidad". Citó demandas y acuerdos recientes en Illinois que implican a Facebook, Google y Clearview AI. "La mayoría de la gente se siente incómoda5 cuando las empresas utilizan este tipo de tecnología", dijo Tanya. "No estoy segura de que fuera diferente para la Casa de los Cachorros". "¿Incluso si nos hace más seguros?" preguntó Beth. "¿Y si quitamos el sistema y se produce otra brecha que podríamos haber evitado? ¡Dios no permita que alguien entre en las instalaciones con un arma! ¿Cómo se lo explicaría a los padres: que teníamos la tecnología para proteger mejor a los niños pero no la utilizamos? ¿No nos expondríamos también a una demanda? "6 Notas de aula del Estudio de Caso ¿Manejaron Beth y el guardia de seguridad correctamente esta situación? ¿Qué podrían haber hecho de forma diferente? El Hospital Comunitario Martin Luther King Jr. de Los Ángeles probó durante cinco meses un software de seguridad de reconocimiento facial. El sistema funcionó con una fiabilidad del 100% y cero tiempos de inactividad. El MIT y Microsoft realizaron una prueba para determinar la eficacia con la que el software de reconocimiento facial podía identificar el sexo de las personas a partir de sus rostros. El software acertó más del 99% de las veces en el caso de los hombres de piel clara, pero sólo el 66% de las veces en el de las mujeres de piel más oscura. Hasta el 25 de mayo se habían producido 27 tiroteos en escuelas con resultado de heridos o muertos en Estados Unidos en 2022. Pew Research ha descubierto que sólo el 36% de las personas dicen confiar en que las empresas tecnológicas utilicen el reconocimiento facial de forma responsable. ¿Cree que esta tecnología es la forma más eficaz de asegurar la Casa de los Cachorros? Y si es así, ¿qué ajustes técnicos y estrategias de comunicación deberían aplicarse? Tanya guardó silencio un momento. "Mire, no estoy diciendo que no se pueda utilizar el software de reconocimiento facial", dijo. "Pero tienes que pensarlo bien, desde el punto de vista legal y ético, y asegurarte de que estás cubierto desde todos los ángulos. Si las mujeres de color empiezan a ser acosadas por los guardias de seguridad, ya pueden despedirse de la Cub House". ¿Listo? Durante el mes siguiente, Charles trabajó con el proveedor para mejorar la precisión del sistema de seguridad. Instalaron tres cámaras de alta resolución en el mostrador de recepción, que utilizaron para tomar fotos desde distintos ángulos de todas las personas que entraban y salían del edificio. Un cartel en el mostrador de recepción decía: "Le estamos haciendo una foto por motivos de seguridad". El software de reconocimiento facial etiquetó cada foto con el nombre del visitante y sus permisos de acceso. Cuantas más fotos se adjuntaran a cada archivo, más preciso sería el sistema a la hora de reconocer el rostro. Para combatir directamente los problemas con los rostros femeninos y de piel oscura, Beth había autorizado la instalación de luces de alta potencia en el mostrador de recepción para que las cámaras pudieran captar mejor las distinciones. Para medir lo bien que funcionaría el sistema en tiempo real, Charles lo utilizó durante el recital de verano, cuando la mayoría de los niños y sus cuidadores estaban en el Cub House escuchando a niños de cinco años cantar canciones de El mago de Oz. Desactivó la alarma pero mantuvo activas las notificaciones para que recibiera una alerta cada vez que se registrara una brecha. Aquella tarde recibió dos. La primera se disparó cuando un padre no registrado entró en el centro sin detenerse en recepción. La segunda la activó un padre registrado que llevó a su hijo pequeño al baño infantil para cambiarle el pañal. A la mañana siguiente, Charles trajo donuts y él, Beth y Anthony discutieron los resultados en una mesa de picnic en el patio trasero del Cub House. Charles dijo que estaba seguro de que el sistema había mejorado y que las falsas alarmas, aunque inevitables, serían menos frecuentes. Recomendó bajar ligeramente el volumen para que las alertas no fueran tan angustiosas. También había redactado una carta dirigida a la comunidad en la que explicaba el sistema y las posibles causas de las falsas alarmas y pedía a los padres que le perdonaran de antemano las molestias. Anthony estaba satisfecho con el plan. En el peor de los casos, el sistema sería una molestia. En el mejor, protegería a los niños y proporcionaría alguna ayuda a su personal de seguridad. A Beth aún le preocupaba que un mes de retoques y una noche de pruebas no fueran suficientes para garantizar la precisión del sistema. Una alarma más silenciosa era mejor, seguro, pero ¿de qué serviría si no todos podían oírla? ¿Haría esta tecnología realmente más segura la Casa de los Cachorros? ¿O abriría el negocio de Beth a nuevos problemas? Los expertos responden: ¿Debería Beth implantar un software de reconocimiento facial en el Cub House? Joseph Steinberg , antiguo CEO de SecureMySocial y Green Armor Solutions, es el autor de Ciberseguridad para Dummies. Yo le haría a Beth tres preguntas ¿Resuelve la tecnología el problema que intenta solucionar? En caso afirmativo, ¿es la mejor forma de resolver su problema? ¿Y resuelve el problema sin crear nuevos problemas? La respuesta a las tres preguntas es no. Beth no necesita, ni debe utilizar, la tecnología de reconocimiento facial como mecanismo principal para asegurar la Casa de los Cachorros contra la entrada de personas no autorizadas. Hay formas mejores de lograr sus objetivos, y esas formas proporcionarán una seguridad mejor que la tecnología de reconocimiento facial, al tiempo que crearán menos efectos secundarios indeseables. Beth podría, por ejemplo, expedir tarjetas de identificación escaneables a las personas autorizadas a entrar. Un guardia podría escanear la identificación de cualquiera que intentara entrar en la Casa de los Cachorros y comparar el aspecto de los aspirantes con las fotos que aparecen en la pantalla de un ordenador. (Sin duda, el guarda se familiarizaría con las personas que llegan todos los días.) Beth podría cerrar desde fuera y con alarma todas las puertas de la Cub House excepto la entrada principal y dar al guarda visión de cámara de todas las puertas. Podría incluso instalar dos juegos de puertas en formación de trampa para hombres en la entrada. Un enfoque clásico puede ser menos elegante que el reconocimiento facial, pero también debería ser más eficaz. Dependiendo de cómo esté configurada, es probable que la tecnología de reconocimiento facial genere más falsas alarmas o permita la entrada en el Cub House a más personas no autorizadas que un guardia de seguridad. Además, a diferencia de un guardia, un sistema de este tipo no puede impedir que un posible tirador u otra persona no autorizada entre por la fuerza. La conclusión es que es probable que la Casa de los Cachorros sea menos segura con el sistema de reconocimiento facial de Beth instalado que si ésta utilizara un enfoque alternativo y probado en el tiempo. Cedric L. Alexander es autor de En defensa del servicio público y Los nuevos guardianes. El reconocimiento facial es una tecnología útil. La utilizamos a diario: para abrir nuestros teléfonos, cuando viajamos, por motivos de seguridad. Pero no se puede probar y promocionar un producto en torno al reconocimiento facial utilizando sólo personas blancas como base de sujetos, y no se puede probar en una noche durante un concierto, que es lo que hizo el equipo de Beth. Antes de llevar el sistema a la Casa de los Cachorros, donde es responsable de la seguridad de los niños, Beth debería haber hablado con otros vendedores y otras personas que tengan experiencia con los sistemas de reconocimiento facial. Tiene que haber datos fiables que respalden la capacidad del sistema para responder con precisión. Sin duda ayuda que el Cub House haya añadido iluminación y un mejor sistema de cámaras, pero la empresa a la que Beth está comprando la tecnología realmente necesita mostrarle más datos que demuestren que el sistema es preciso. Ella debe preguntar directamente al vendedor: "¿Se está probando este producto en una amplia población de personas?". A continuación, debe trabajar con el vendedor para proporcionar a su personal una formación experta, y debería exigir a los empleados que utilicen el sistema que cumplan los requisitos de certificación. Yo habría hablado con los padres desde el principio, no sólo en una carta de Charles. Beth podría haber hablado con ellos individualmente o en grupo. Podría haberles explicado todo: "Ésta es la tecnología que vamos a utilizar para mantener a salvo a sus hijos. Este es el proveedor que estamos considerando utilizar. He aquí cómo la tecnología reducirá la probabilidad de que alguien entre aquí y haga daño a sus hijos". Cuando le dice a la gente que está considerando utilizar una nueva tecnología, tienen la oportunidad de aceptarla o de expresar sus preocupaciones. La gente suele estar dispuesta a participar en algo nuevo e innovador, sobre todo si resulta justo y productivo. Pero si Beth no habla con los padres y algo sale mal, se enfrentará a más reacciones en contra, aunque Charles ya haya enviado una carta. En los próximos 10 o 15 años, los sistemas de reconocimiento facial se convertirán en una parte normal de nuestra forma de asegurarnos. Pero deben perfeccionarse, y debemos hacer un mejor trabajo enseñando al público el valor de la tecnología. Los estudios de casos ficticios de HBR presentan problemas a los que se enfrentan los líderes de empresas reales y ofrecen soluciones de la mano de expertos. Éste se basa en el caso práctico de la Universidad de Virginia "Vigilancia ubicua" (n.º de producto UVA-OB-1403), de David Danks y Maralee Harrell, disponible en UVA Darden Business Publishing.

Estudio de caso: ¿La tecnología de reconocimiento facial mejora la seguridad?

Partner Center