Anima Anandkumar, académica del Instituto de Tecnología de California (Caltech)
Ella y 25 colegas reconocidos mundialmente firmaron una carta el 2019 en la que le pedían a Amazon que dejara de venderles su sistema de reconocimiento facial a las policías de Estados Unidos. ¿La razón? No funcionaba bien.
26 renombrados investigadores en el campo de la Inteligencia Artificial publicaron el 2019 una carta en la que le pedían a Amazon que dejara de venderles su sistema de reconocimiento facial a las policías de Estados Unidos. El motivo de esta solicitud era simple: el fascinante producto no funcionaba. «Gender shades», la tesis de Joy Buolamwini, estudiante del Instituto de Tecnología de Massachusetts (MIT), estableció que uno de los problemas de los sistemas de reconocimiento facial son una «cuestión de piel», porque a menudo identifican como hombres a mujeres afroamericanas. Si tienen problemas para determinar el género de una persona, menos podrían saber su nombre.
Entre los investigadores que firmaron esa carta estaba Anima Anandkumar, académica del Instituto de Tecnología de California (Caltech). Con este gesto, ella de alguna manera se estaba enfrentando a su ex empleador, porque fue la científica principal de los Servicios de Web de Amazon (AWS). Este sistema de reconocimiento facial es una de muchas aplicaciones basadas en Inteligencia Artificial que salen al mercado sin ser, dice, «probadas en batalla».
En una entrevista al programa Frontline, del Servicio Público de Radiodifusión (PBS), la red de televisión pública de Estados Unidos, la investigadora explicó que uno de los problemas del reconocimiento facial es que tiene un gran sesgo, porque se nutre con «datos de celebridades», lo que significa fotografías luminosas, bien enfocadas y preferentemente de personas de raza blanca. Eso no tiene cómo funcionar bien en el mundo real. Las policías que usaran un sistema de este tipo pueden detener inocentes.
¿De qué tiene que estar consciente la gente cuando interactúa con una aplicación de Inteligencia Artificial?
«De que no es perfecta, de que no es confiable, porque es una máquina. Hay que tener cuidado y preguntarse cómo fue diseñada y también qué tan peligrosos son los errores que puede cometer. Por ejemplo, si la aplicación es algo como contar un chiste, el chiste puede no ser tan bueno, pero una aplicación de autos que se manejan solos puede provocar accidentes. Entonces realmente depende de cuán seguros son todos los aspectos de estas aplicaciones.
¿Me puede dar ejemplos de otras aplicaciones que fueron lanzadas al mercado sin ser «probadas en batalla»?
«Las aplicaciones de autos que se manejan solos. También otras para detectar el cáncer de piel, que fueron testeadas solamente en ciertos tonos de piel y que se hace con celulares. Es una muy buena idea, pero la gente se dio cuenta de que no trabaja bien en pieles oscuras».
Estas aplicaciones necesitan venderse, a veces con promesas que no se cumplen.
«Exacto. Necesitamos ser transparentes y precisos. Necesitamos que las compañías revelen qué tan bien su producto está haciendo algo con diferentes datos demográficos y diferentes condiciones».
Pero las compañías manejan la Inteligencia Artificial en el mundo no están dispuestas a hacerlo.
«No tienen incentivos para desarrollar mecanismos externos para lograr esto».
En agosto del 2023, la revista Forbes detalló varios incidentes que involucraron a taxis que se manejan solos en San Francisco. Un pasajero de uno de ellos quedó herido cuando el vehículo en que andaba chocó con un carro-bomba que iba a una emergencia, porque no detectó a la sirena.
Los investigadores también temen errores en la detección del cáncer a la piel. Todos los dispositivos que pretenden diagnosticar o tratar una afección en Estados Unidos deben tener una aprobación de la Administración de Alimentos y Medicamentos de Estados Unidos (FDA). «Desarrolladores de aplicaciones pueden evitar estos requerimientos clasificando su aplicación para información médica o para entretenimiento. Con esto, el desarrollador no necesita probar que su aplicación es precisa o segura», dice un artículo de la Academia Americana de Dermatología.
Catéter dentado
Anima Anandkumar igual imagina un mejor futuro con la IA. En el 2023, un equipo de investigadores en el que ella participó desarrolló un catéter especial, para evitar infecciones en las personas que necesitan uno de estos dispositivos para orinar, luego de intervenciones quirúrgicas. «Los fluidos salen del cuerpo humano y las bacterias pueden nadar corriente arriba. Así es como el paciente se infecta», explica. Entonces crearon un tubo dentado por dentro, de manera que la orina salga y las bacterias no puedan devolverse. Los dientes provocan pequeñas turbulencias que impiden que los microorganismos regresen. «Lo que hicimos con Inteligencia Artificial fue simular y aprender cómo distintas formas de catéter producen distintas turbulencias», cuenta.
«Necesitamos que las compañías revelen qué tan bien su producto está haciendo algo con diferentes datos demográficos y diferentes condiciones», Anima Anandkumar.
