Gemma Galdon: "Un algoritmo puede decidir que te den un trabajo o no"

Hace unos años Microsoft creó un "bot" de inteligencia artificial en Twitter. Al cabo de veinticuatro horas, el "bot" estaba gritando "viva Hitler" y haciendo afirmaciones en contra de las mujeres y de los colectivos vulnerables. ¿Por qué? Porque aprendió de lo que decía la comunidad. Un ejemplo de lo importante que es eliminar los sesgos discriminatorios en el diseño de un algoritmo. Hemos hablado de inteligencia artificial y de su impacto en las personas y la sociedad con Gemma Galdon, fundadora y CEO de y . En 2018 diseñó el Algorithmic Audit Framework, una metodología que identifica los sesgos y discriminaciones del mundo real en los algoritmos automatizados, los corrige en ese proceso de diseño y asegura que el resultado se mantenga en el tiempo. Esta solución innovadora le abrió la puerta a ser nombrada y es la piedra angular de Eticas donde lidera la gestión y dirección estratégica. Galdon también es experta en ética y proyectos de tecnología puntera para la Comisión Europea. Una rendija por donde la puede llegar a gobiernos, instituciones, educación, atención en medicina, servicios sociales, banca, entre otros. Parece que estamos en manos de los algoritmos, pero ¿la población general sabe cómo impactan en temas importantes de su vida cotidiana? Para nada, no tiene ninguna conciencia ni conocimiento, no ya de cómo funcionan, sino de que existen. Mucha gente no sabe que en las decisiones que les afectan muy directamente hay una fórmula matemática y no una persona, con lo cual el desconocimiento es brutal. Hay mucho de distopía y de utopía en el debate público, porque cuando se habla de tecnología se habla más de ciencia ficción que de tecnología. Posiblemente está promovido por la televisión, pero también por un sector comercial tecnológico que se ha acostumbrado a prometer cosas que técnicamente aún no son posibles. Eso hace que la gente tenga una visión muy distorsionada de lo que es la tecnología, qué aplicaciones tiene y cuándo es útil. ¿Nos estamos dejando llevar entonces por esa "publicidad" de la tecnología sin pensar más allá y sin tener mucha información? Totalmente, pero no olvidemos que son temas complejos y para entender cómo funciona un algoritmo hay que tener conocimientos técnicos. Si queremos que la inteligencia artificial realmente solucione problemas y se expanda al nivel que lo está haciendo, es imprescindible que la gente entienda cómo funciona y, lo más importante, que tenga mecanismos de todo tipo para abordar sus impactos. La vida "online" repercute, lo queramos o no, en la vida "offline", ¿nos puedes poner algún ejemplo en el que la mayoría nos podamos reconocer sobre el efecto de mal diseño algorítmico? Los algoritmos impactan en muchos ámbitos de nuestras vidas. Desde aspectos poco preocupantes como la ruta que el GPS nos sugiere que hagamos en coche, hasta entornos vitales como, por ejemplo, cuando deciden que nos den un trabajo o no. Muchas empresas los usan para revisar los currículums recibidos y descartan automáticamente los que no tienen las palabras claves que el algoritmo busca para determinar si somos un buen perfil. También hay algoritmos que deciden si se despide a una persona y, precisamente, fue uno de los primeros casos en los que se habló abiertamente de fallos algorítmicos. En Washington se empezaron a utilizar para decidir la renovación de contratos del profesorado. Una persona despedida al finalizar el curso llevó el caso a los tribunales al detectar que sus valoraciones de desempeño eran muy positivas antes del uso del algoritmo y empezaron a bajar después de la implantación de esa tecnología. A raíz del proceso se descubrió que el algoritmo solo tenía en cuenta los resultados académicos en matemáticas y lengua de los alumnos. Así que, básicamente, los profesores renovados eran los que tenían en sus aulas a los alumnos con mejores notas en las dos materias. Esos dos únicos resultados no son un fiel reflejo del trabajo pedagógico de un maestro o una maestra, pero el diseño del algoritmo había sido patoso e injusto, lo que llevó al despido a profesionales valiosos para la escuela. También nos afectan en temas como acceder a un beneficio público, a prestaciones por desempleo, por familia monoparental, por algún tipo de dependencia o vulnerabilidad, etc. En España, el riesgo de las mujeres maltratadas lo decide un algoritmo y, en el caso de Cataluña, la posibilidad de reincidencia de un preso. En Estados Unidos, incluso las sentencias judiciales también son decisión de un algoritmo. En el ámbito sanitario, cuando llegamos a las urgencias de los hospitales el algoritmo calcula la prioridad de los pacientes y el tiempo de espera para ser atendidos. Y por poner un ejemplo actual, hay muchos países donde determinan quién se vacuna antes de la COVID-19. Es decir, el impacto es enorme en cuestiones sociales y en derechos fundamentales muy profundos. Esto requiere que las personas sepan cómo funcionan estos procesos para poder defenderse cuando hay una mala decisión o, al menos, saber que se les juzga en base a esos parámetros. ¿Estamos entonces retrocediendo en cuestiones, digamos, más humanas? Básicamente lo tecnológico se ha convertido en un lejano oeste sin ley, es decir, los mecanismos de protección legal que tenemos offline no se están traduciendo al mundo online. Cuando hay un algoritmo implicado, ese proceso de protección no se desarrolla bien y no es por culpa de los algoritmos. Podemos diseñarlos para que hagan una priorización justa (por ejemplo, de quién se vacuna de COVID-19) pero tienen que ser buenos algoritmos. Hay una tendencia a querer venderle a todo el mundo lo mismo y a escalar el negocio para no perder rentabilidad económica, pero en el contexto algorítmico necesitamos un sistema ajustado a tus necesidades y a tu contexto. Es más caro, pero es la única forma de hacerlo bien. Lo que nos encontramos son algoritmos de baja calidad por varios motivos: las bases de datos mayoritarias que los alimentan parten de datos caducados o no filtrados. También detectamos que los técnicos que los diseñan son ingenieros que, muchas veces, no tienen ni idea de temas médicos, penitenciarios, o educativos, así que desarrollan una fórmula matemática que no se ajusta a los objetivos que buscamos en el diseño. Hemos creado un escenario tecnológico dominado por hombres ingenieros y una ingeniería donde no hay información sobre temas de impacto legal, social y ético de esos procesos. Y no tendremos una inteligencia artificial al nivel de los retos sociales que pretende resolver, hasta que no impliquemos a equipos multidisciplinares desarrollando y auditando algoritmos. ¿Qué son los sesgos de los algoritmos? ¿Cómo explicarlo de forma sencilla y qué discriminaciones hay además de la racial? No sé si es posible explicarlo de forma sencilla, pero lo voy a intentar. Lo que hace el algoritmo es procesar una gran cantidad de datos del pasado que son la base de su entrenamiento y aprendizaje y ese es su gran valor. Necesitamos muchos datos que proceden de un mundo imperfecto, de una sociedad que a veces es racista o machista. Si introducimos esos datos sin mitigar los sesgos de origen, lo que hace el algoritmo es aprender de esas discriminaciones. Por ejemplo, donde más se habla de discriminación racista es el campo del porque el campo de aprendizaje del algoritmo son los rostros en Internet, que son mayoritariamente hombres blancos. El algoritmo busca lo más común y normaliza lo mayoritario. Así que, si en la red es el hombre blanco, de mediana edad y occidental, el resto es entendido como minoritario y, por tanto, como un perfil de más riesgo. Esto llevado a una situación real puede implicar que, si la policía usa el algoritmo de reconocimiento facial para identificar a una persona de tez oscura buscada por la justicia, lo más probable es que detecte a personas de tez oscura que no tengan nada que ver. El riesgo de que llamen a tu casa diciéndote que el algoritmo te ha identificado como a un delincuente (cuando no lo eres) es mucho mayor que si eres blanco. Cuando hace unos años Microsoft creó un "bot" de inteligencia artificial en Twitter, al cabo de veinticuatro horas el "bot" estaba gritando "viva Hitler" y haciendo afirmaciones en contra de las mujeres y de los colectivos vulnerables. ¿Por qué? Porque aprendió de lo que decía la comunidad. O sea que si desde principio no contemplamos ciertos datos de alimentación donde hemos eliminado sesgos, tenemos todos los números para que ese algoritmo sea discriminatorio. También podemos detectar discriminación en el momento final de interacción humano-máquina. Por ejemplo, cuando una persona es la que comunica al usuario si le da el crédito, la hipoteca o consigue el trabajo. En estos casos, lo que vemos es que nadie presta atención a ese momento y en lugar de demostrar la revalorización de la inteligencia humana y la artificial, a veces se suma lo peor del sesgo humano y la inteligencia artificial. En resumen, hay multitud de momentos para detectar y corregir sesgos y tienen que ser abordados y mitigados. La declaración de principios de Eticas es trabajar "una tecnología mejor para un mundo mejor", ¿qué proyectos desarrolláis? ¿Y cómo es el método? Somos una consultoría y nos dedicamos, sobre todo, a hacer auditoría algorítmica. Acompañamos a los clientes que están preocupados por un desarrollo algorítmico, bien porque quieren iniciarlo o porque quieren identificar el impacto social de sus proyectos. Nuestra metodología se basa en una auditoría en todo el proceso de desarrollo que identifica y corrige las decisiones negativas y mitiga los sesgos: desde el diseño inicial para decidir qué datos recogemos y por qué, hasta el final cuando se produce la interacción humano-máquina. Contamos con un equipo que viene de las ciencias sociales, de legal, matemáticas e informática, así que analizamos el algoritmo desde todos los ángulos y vemos si está alineado al objetivo definido para que, después de pasar por nuestras manos, esté totalmente validado desde la perspectiva ética, legal y de impacto social. Porque hay algo muy importante: el reglamento europeo dice que los algoritmos deben ser explicables y es un principio legal que nadie está cumpliendo, es decir, sin auditoría previa es muy difícil que un algoritmo sea legal. Por otra parte, la auditoría debe ser cíclica porque nos podemos encontrar con un algoritmo que no se haya corregido al máximo antes de lanzarlo al mundo real y que, por su capacidad de aprendizaje automático, vaya experimentando reacciones nocivas, así que debemos auditar periódicamente. Entonces… ¿no debería ser vuestra metodología obligatoria? ¿O hay que esperar que los organismos oficiales muevan ficha? Desde 2018 tenemos un marco legal donde se abordan estos retos. Tenemos la regulación, pero no se cumple. El sector tecnológico se ha puesto de perfil ante la ley esperando que no les afecte, así que seguramente la ley no es suficiente y necesitamos más actividad judicial que sancione cuando no se hacen bien las cosas. Es un poco lo que vemos con el tema de los riders y los perfiles similares, hay legislación laboral que no se quiere cumplir y se busca un cambio en la ley para que no afecte a la rentabilidad económica. En Eticas también tenéis una fundación, ¿qué investigáis o qué actividades realizáis desde ahí? Intentamos arrojar luz a todo este mundo. No solo a fomentar un debate público maduro e informado sobre cómo funciona la tecnología y cuáles son sus impactos. También trabajamos en proyectos sobre la tecnología en las escuelas; sobre tecnología y el futuro del trabajo, cómo encajan las tecnologías en entornos laborales profesionales o en el desempeño. Colaboramos con la buscando cómo apoyarnos en la tecnología para ayudar a las mujeres a salir de entornos de abuso. Y valoramos cualquier tema que nos parece importante abordar para dedicar todos los beneficios de la consultoría a fomentar la divulgación, a trabajar en investigación y a crear marcos de referencia en inteligencia artificial responsable. En plena pandemia COVID-19 hubo polémica con la aplicación Radar COVID. ¿Pecamos de exceso de confianza en la tecnología o somos desconfiados selectivamente? ¿Falta información? Creo que pasamos de la tecnofilia a la tecnofobia en segundos. Nos movemos a los extremos, pero tiene una explicación: se ha abusado de los datos personales de la gente durante muchísimo tiempo y sigue pasando sistemáticamente. Así que cuando tienen oportunidad de quejarse, se van a la crítica más absoluta. Al final esto es el reflejo de una atrofia en el debate público. Mientras, el sector tecnológico es incapaz de generar confianza en el consumidor, derivamos a una ruptura total de la relación de confianza entre tecnología y procesos de datos y ciudadanía. Y me temo que o empezamos a crear confianza en entornos digitales o habrá desarrollos positivos para la humanidad que no prosperarán porque la gente está harta de los malos procesos. Desde el sector público hay que concertar a todos los actores sociales para trabajar en construir puentes de confianza y concienciación. Desarrollar sellos de calidad para dejar fuera a todo lo que no lo es y lo que impacta negativamente o no cumple la ley, y ahí es donde no se quiere meter nadie. Corremos el peligro de que, si no vamos por ese camino, vamos a matar la innovación directamente. Sobre la información, voy a ponerte un ejemplo. ¿Cuándo te informan, qué haces con ello? Participé en una exposición sobre el impacto de los datos en la vida cotidiana y observamos cómo reaccionaban las personas que la habían visitado. Lo que nos encontramos fue que salían preocupadas, pero lo primero que hacían era colgar un post en Facebook. Al final la gente no tiene alternativas, tiene consciencia de que WhatsApp vincula tus datos a Facebook, pero qué opción tienes si quieres hablar con la gente… Los niños de ahora son nativos digitales, ¿deberíamos estar pensando en incluir urgentemente formación en este sentido para empoderar a los adultos del futuro? Totalmente. Pero tengo que decir que la gente joven me preocupa bastante menos que los adultos. Lo que nos dicen las encuestas es que la generación que no se hace preguntas, la que peca de confianza excesiva y no tiene suficientes conocimientos para responder a estos retos, es la gente de más de cuarenta años. Los jóvenes se protegen poco pero más que esa generación. Están más preparados para la tecnología, son mucho más hábiles en la gestión de esos permisos relacionados con la privacidad y se protegen mucho más de que los adultos en Internet. Cada vez más investigadores, sobre todo neurocientíficos, están demostrando que un abuso y mal uso de las pantallas afecta al sueño, al rendimiento académico y a la salud emocional de los pequeños. ¿Qué hacemos? Hay que estudiarlo. Y cuando veamos procesos negativos, pararnos y regular qué se puede hacer y que no. No es por el simple hecho de exposición a las pantallas, sino que está demostrado que hay aplicaciones o juegos que manipulan con los colores y con el sistema de notificaciones para generar adicción y lo hacen sin ningún tipo de regulación. Es bastante sorprendente que para vender cualquier cosa en un supermercado tengas que pasar por procesos de calidad y demostrar, por ejemplo, que el plástico de un juguete no es tóxico, etc., pero para sacar una aplicación diseñada para crear adicción, no haya ningún tipo de control. Lo que veo es que quien está callando son los organismos de regulación que tendrían que decir qué cosas no se pueden poner en el mercado. Y, ya para acabar, desde la escala pequeña a la grande: personas, empresas, organismos oficiales, sociedad… ¿cómo podemos aportar responsabilidad para humanizar la tecnología? El sector privado debe ponerse las pilas para cumplir la ley, para entender y dedicar más recursos a promover la tecnología responsable y ser conscientes de su impacto. A los organismos públicos les diría que lideren la innovación responsable, que se conviertan en referentes para construir mejores tecnologías y que no imiten al sector privado; que no sean los segundones y se atrevan a desarrollarla sobre principios de respeto a los derechos fundamentales y sobre valores sociales importantes. Y a la ciudadanía más que ponerles responsabilidad, les diría que exijan a esas dos instancias que les protejan. Porque al final, cuando yo voy a comprar un medicamento nadie me pide una licenciatura en química para saber si lo que compro me va a salvar o me va a matar; hay un proceso detrás de cada receta que me garantiza que lo que compro me va a ayudar. Los ciudadanos deben tener el derecho a ser protegidos en procesos tecnológicos.