Muchas instituciones toman decisiones basadas en sistemas de inteligencia artificial (IA) que utilizan aprendizaje automático (ML), mediante el cual una serie de algoritmos toma y aprende de cantidades masivas de datos para encontrar patrones y hacer predicciones. Estos sistemas informan cuánto ofrecen crédito las instituciones financieras a los diferentes clientes, a quién prioriza el sistema de salud para las vacunas contra el COVID-19 y qué candidatos llaman las empresas para entrevistas de trabajo. Sin embargo, el sesgo de género en estos sistemas es generalizado y tiene un profundo impacto en la seguridad psicológica, económica y de salud de las mujeres a corto y largo plazo. También puede reforzar y amplificar los estereotipos y prejuicios de género dañinos existentes.
Los líderes del cambio social, incluidos investigadores y profesionales con experiencia en género, y los desarrolladores de sistemas de ML deben preguntarse: ¿Cómo podemos construir una IA inteligente en cuanto al género para promover la equidad de género, en lugar de e incorporar escalar el sesgo de género?
Los algoritmos de decisión automatizados actualmente están propagando la discriminación de género y raza en toda nuestra comunidad global. Los principales culpables son el aprendizaje automático con big data. Basándonos en las lecciones aprendidas, la pregunta que se hace aquí es: ¿podemos eliminar el control humano significativo y confiar en la inteligencia artificial (IA) para seleccionar objetivos y atacarlos con fuerza violenta?
Para responder a esto examinaremos las causas del sesgo inherente al uso del aprendizaje automático con big data y por qué la falta de transparencia hace que el problema del sesgo sea difícil de solucionar. Con todo ello, determinaremos el impacto del sesgo de género y raza en la IA.
Indice
Sesgo en los algoritmos de decisión
La aceleración en la comercialización de la IA ha sido en gran medida producto de dos factores principales:
- un aumento en el poder, la memoria y la velocidad de las computadoras y
- la disponibilidad de grandes cantidades de datos sobre tantos aspectos de nuestras vidas.
Estos factores han permitido el uso de herramientas de aprendizaje automático de una manera sin precedentes para aplicaciones comerciales innovadoras. Estos incluyen algoritmos que se delegan con decisiones que impactan en la vida de las personas con la creencia de que los algoritmos tomarán decisiones más objetivas y, por lo tanto, más justas y menos sesgadas que los humanos propensos a errores y sesgados.
Desafortunadamente, se está volviendo alarmantemente claro a partir de un creciente cuerpo de evidencia que los algoritmos de decisión están perpetuando la injusticia para muchos. Están surgiendo muchos casos en los que el código postal, el origen étnico, el género, las asociaciones y la pobreza sesgan negativamente las decisiones que se delegan en las máquinas.
Los gigantes tecnológicos como Google y Microsoft admiten abiertamente que existen problemas de sesgo y que han estado haciendo todo lo posible, sin éxito hasta ahora, para encontrar soluciones. Las áreas de injusticia que salen a la luz incluyen: riesgo de seguros, decisiones de préstamos hipotecarios, preselección, contratación y entrevistas para trabajos, anuncios de trabajo, riesgo de fianza y reincidencia, evaluación, sentencias de custodia, seguridad aeroportuaria y vigilancia predictiva.
Una de las causas comunes de los sesgos de decisión surge de los sesgos étnicos o de género, a menudo inconscientes, del programador o de quienes clasifican las muestras de datos. Otra causa importante es la aplicación de algoritmos de aprendizaje automático, como el aprendizaje profundo, y la forma en que se entrenan. Cubriré dos de las causas inherentes a continuación y luego explicaré por qué la falta de transparencia hace que sean difíciles de solucionar.
Cómo el aprendizaje automático puede ignorar a las minorías
Uno de los beneficios de usar sistemas de aprendizaje automático en un contexto de ingeniería es que reducen o eliminan el impacto de los valores atípicos (ejemplos fuera de las normas en los datos) en los datos de entrenamiento. Por ejemplo, los movimientos temblorosos del brazo de un robot se pueden convertir en movimientos suaves mediante el entrenamiento con aprendizaje automático.
Sin embargo, en el contexto de un algoritmo de decisión, los «valores atípicos» pueden ser los grupos minoritarios en los datos. Estas pueden ser personas de diferentes grupos étnicos o de un género poco representado. Google ilustra este problema entrenando un sistema con dibujos de zapatos. La mayor parte de la muestra son los zapatos lisos o deportivas que dibuja la mayoría de la gente. Pero algunas personas dibujaron tacones altos. Debido a que se trataba de una minoría, las pruebas posteriores al entrenamiento clasificaron erróneamente los tacones altos como ‘no zapatos’. Este es un ejemplo simple donde la clasificación errónea se puede ver claramente.
En un contexto de focalización, no habría forma de saber qué minorías podrían caer por error en la categoría de objetivos legítimos. Y en un conflicto rara vez es posible obtener información clara sobre las víctimas y si fueron o no objetivos legítimos o daños colaterales.
Problemas de sesgo en los datos
Nuestros valores y normas sociales evolucionan constantemente con cambios masivos en los últimos 50 años en lo que es aceptable decir en los medios o en el lugar de trabajo y también en cuanto a las prácticas discriminatorias. Sin embargo, parece que la mayoría de los valores antiguos están bloqueados en Internet, de donde se derivan gran parte de los datos de entrenamiento para los algoritmos de aprendizaje automático.
Los estudios han demostrado que, por ejemplo, ‘hombre’ se asocia con jefe, presidente, líder y director, mientras que ‘mujer’ se asocia con ayudante, asistente y empleada. Las búsquedas en Google de nombres negros como Leroy y Keisha generan anuncios asociados con el crimen, mientras que los nombres blancos como Brad y Katie generan sitios con detalles de contacto. Las búsquedas de cabello profesional arrojan imágenes de mujeres blancas, mientras que para el cabello no profesional obtenemos imágenes de mujeres negras bien arregladas.
Luego, hay sesgos latentes en los datos creados por la frecuencia de ocurrencia; por ejemplo, la búsqueda en imágenes de Google de fotografías de grandes físicos produce principalmente fotografías de hombres. El impulso social hacia una mayor equidad y justicia se ve frenado por los valores históricos sobre la pobreza, el género y el origen étnico que están osificados en los grandes datos. No hay razón para creer que el sesgo en la orientación de los datos sería diferente o más fácil de encontrar.
Falta de transparencia y explicación
En el ejemplo de clasificación de zapatos de Google descrito anteriormente, los datos pueden contener suelas planas, tacones pequeños, tacones altos, cordones, sin cordones, tiras, material brillante, etc. Cuando el algoritmo haya completado el aprendizaje, sería difícil o quizás imposible averiguar qué características del dibujo se habían seleccionado para desencadenar la decisión de zapato/no zapato.
Esta falta de transparencia se debe a que el resultado final del aprendizaje son grandes matrices de números que se utilizan para generar las decisiones. Hasta ahora, nadie ha encontrado un medio general para sondear las matrices para averiguar qué características de los datos ha asignado a la decisión. Esto significa que no se puede dar ninguna explicación de por qué se ha tomado una decisión en particular. Imagina los peligros que esto representa para las decisiones de orientación en las que no podemos saber qué características son responsables de clasificar a una persona u objeto como un objetivo legítimo. Este es el oscuro recoveco donde vive el sesgo.
Las consecuencias del sesgo en los conflictos armados
Toda esta injusticia está ocurriendo en el ámbito civil, donde ha habido mucho tiempo para probar, examinar y construir estos sistemas. Enfatiza los problemas de rendición de cuentas y responsabilidad en la automatización del armamento que hemos estado discutiendo durante años.
Cuando se trata de un conflicto armado, la gestión de datos será considerablemente más difícil. Si hay prejuicios en la sociedad civil, imagínate los tipos de prejuicios que se incorporarán en los algoritmos que se deleguen con decisiones de vida o muerte en zonas de conflicto donde tenemos poca o ninguna comprensión adecuada de las culturas involucradas. Dados los enormes desafíos a los que ya nos enfrentamos al tratar de desarrollar sistemas de IA equitativos, las posibilidades de justicia en zonas de conflicto cargadas de civiles son muy pequeñas.
Ética y valores
Algunas empresas adoptan voluntariamente marcos éticos que son difíciles de implementar y tienen poco efecto concreto. La razón es doble. Primero, la ética se basa en valores, no en derechos, y los valores éticos tienden a diferir en todo el espectro. En segundo lugar, estos marcos no se pueden hacer cumplir, lo que dificulta que las personas responsabilicen a las corporaciones por cualquier violación.
Incluso los marcos que son obligatorios, actúan simplemente como pautas que respaldan las mejores prácticas. En última instancia, los enfoques de autorregulación no hacen más que retrasar el desarrollo y la implementación de leyes para regular los usos de la IA.
Y como se ilustra con la regulación de IA de la Unión Europea propuesta en mayo de 2021, incluso los intentos de desarrollar tales leyes tienen inconvenientes. Este proyecto de ley evalúa el alcance del riesgo asociado con varios usos de la IA y luego somete estas tecnologías a obligaciones proporcionales a las amenazas propuestas.
Sin embargo, como ha señalado la organización de derechos digitales sin fines de lucro Access Now, este enfoque no es suficiente para proteger los derechos humanos. Permite a las empresas adoptar tecnologías de IA siempre que sus riesgos operativos sean bajos.
El hecho de que los riesgos operativos sean mínimos no significa que los riesgos para los derechos humanos sean inexistentes. En esencia, este enfoque está anclado en la desigualdad. Se deriva de una actitud que concibe las libertades fundamentales como negociables.
Entonces, la pregunta sigue siendo: ¿por qué la ley permite tales violaciones de los derechos humanos? Aunque muchos países poseen estatutos que protegen las libertades individuales de los ciudadanos, esos derechos están protegidos solo contra las intrusiones gubernamentales. Las empresas que desarrollan sistemas de IA no están obligadas a respetar nuestras libertades fundamentales. Este hecho permanece a pesar de la creciente presencia de la tecnología en formas que han cambiado fundamentalmente la naturaleza y la calidad de nuestros derechos.
Violaciones de inteligencia artificial
Nuestra realidad actual nos priva de ejercer nuestra agencia para reivindicar los derechos vulnerados por nuestro uso de los sistemas de IA. Como tal, “ la dimensión del acceso a la justicia a la que sirve el derecho de los derechos humanos se neutraliza”: una violación no conduce necesariamente a la reparación de las víctimas ni a una garantía contra futuras violaciones, a menos que lo ordene la ley.
Pero incluso las leyes que se basan en los derechos humanos a menudo conducen a resultados similares. Considera el Reglamento General de Protección de Datos de la Unión Europea, que permite a los usuarios controlar sus datos personales y obliga a las empresas a respetar esos derechos. Aunque es un paso importante hacia una protección de datos más precisa en el ciberespacio, esta ley no ha tenido el efecto deseado. La razón es doble.
Primero, las soluciones favorecidas no siempre permiten a los usuarios movilizar concretamente sus derechos humanos. En segundo lugar, no permiten a los usuarios comprender el valor de proteger su información personal. Los derechos de privacidad son mucho más que tener algo que ocultar.
De dónde proviene el sesgo de género de la IA
Los sistemas de IA están sesgados porque son creaciones humanas. Quién toma las decisiones informando a los sistemas de IA y quién está en el equipo que desarrolla los sistemas de IA da forma a su desarrollo. Y, como era de esperar, existe una gran brecha de género: solo el 22 % de los profesionales en los campos de la IA y la ciencia de datos son mujeres, y es más probable que ocupen trabajos asociados con un estatus inferior.
En un nivel más granular, los humanos generan, recopilan y etiquetan los datos que se incluyen en los conjuntos de datos. Los humanos determinan de qué conjuntos de datos, variables y reglas aprenden los algoritmos para hacer predicciones. Ambas etapas pueden introducir sesgos que se incrustan en los sistemas de IA.
En términos de sesgo de género de los datos, los puntos de datos son instantáneos del mundo en el que vivimos, y las grandes brechas de datos de género que vemos se deben en parte a la brecha digital de género. Por ejemplo, unos 300 millones menos de mujeres que de hombres acceden a Internet a través de un teléfono móvil, y las mujeres de los países de ingresos bajos y medianos tienen un 20 % menos de probabilidad que los hombres de poseer un teléfono inteligente. Estas tecnologías generan datos sobre sus usuarios, por lo que el hecho de que las mujeres tengan menos acceso a ellos sesga inherentemente los conjuntos de datos.
Incluso cuando se generan datos, los humanos que recopilan datos deciden qué recopilar y cómo. Ninguna industria ilustra mejor esto que la atención médica (otra industria con desequilibrio de género entre los líderes ): Los hombres y los cuerpos masculinos han sido durante mucho tiempo el estándar para las pruebas médicas. Las mujeres son desaparecidas de los ensayos médicos, con cuerpos femeninos considerados demasiado complejos y variables. Las hembras ni siquiera están incluidas en los estudios con animales sobre enfermedades predominantes en las hembras. Esta brecha se refleja en los datos médicos.
Los datos que no están desagregados por sexo y género (así como otras identidades) presentan otro problema. Pinta una imagen inexacta, ocultando diferencias importantes entre personas de diferentes identidades de género, y oculta una exhibición excesiva o potencial insuficiente. Por ejemplo, pocos conjuntos de datos urbanos rastrean y analizan datos sobre género, por lo que los programas de infraestructura no suelen tener en cuenta las necesidades de las mujeres.
Incluso cuando existen puntos de datos representativos, pueden tener prejuicios incorporados y desigualdades evidentes en la sociedad. Volviendo a la industria del crédito al consumo, los primeros procesos usaban el estado civil y el género para determinar la solvencia. Eventualmente, estas prácticas discriminatorias fueron reemplazadas por otras consideradas más neutrales. Pero para entonces, las mujeres tenían un historial financiero menos formal y sufrían discriminación, lo que afectaba su capacidad para obtener crédito. Los puntos de datos que rastrean los límites de crédito de las personas capturan estas tendencias discriminatorias.
El etiquetado de datos puede ser subjetivo e incorporar sesgos y perspectivas perjudiciales también. Por ejemplo, la mayoría de los datos demográficos terminan etiquetados sobre la base de categorías simplistas binarias de mujeres y hombres. Cuando la clasificación de género colapsa el género de esta manera, reduce el potencial de la IA para reflejar la fluidez de género y la identidad de género autosuficiente.
En términos de sesgo de género de los algoritmos, uno de los primeros pasos en el desarrollo de un algoritmo es la selección de conjuntos de datos de entrenamiento. Una vez más, volviendo a la industria del crédito al consumo, cuando los sistemas de inteligencia artificial que determinan la solvencia aprenden de los datos históricos, detectan los patrones de las mujeres que reciben límites de crédito más bajos que los hombres. Reproducen el mismo acceso desigual al crédito según el género (y la raza).
De manera relacionada, se descubrió que los sistemas comerciales de reconocimiento facial utilizaron conjuntos de datos de imágenes que cuidaron de muestras diversas y representativas. Estos sistemas clasifican erróneamente a las mujeres con mucha más frecuencia que a los hombres. En particular, las mujeres de piel más oscura se clasificaron erróneamente con una tasa de error del 35 por ciento, en comparación con una tasa de error del 0,8 por ciento para los hombres de piel más clara.
Los desarrolladores le dicen a los algoritmos qué variables consideran al tomar decisiones, pero esas variables y proxies pueden penalizar ciertas identidades o comunidades. Por ejemplo, una plataforma de contratación de tecnología en línea, Gild, desarrolló un sistema de inteligencia artificial para ayudar a los empleados a clasificar a los candidatos para trabajos de programación. Gild no solo evaluó la información obtenida de fuentes tradicionales como los currículos, sino que también generó un proxy llamado «datos sociales» (datos generados por acciones en el ámbito digital) para medir qué tan integral era el candidato para la comunidad digital.
En este caso, los datos sociales se extrajeron del tiempo dedicado a compartir y desarrollar código en plataformas como GitHub. Pero factores como las expectativas sociales en torno al cuidado no remunerado, que las mujeres tienden a soportar, se traducen en que las mujeres tienen menos tiempo para chatear en línea. Por lo tanto, las mujeres producen menos de estos datos sociales. En lugar de eliminar los prejuicios humanos, Gild creó un algoritmo predispuesto a penalizar a las mujeres y clasificar sistemáticamente a las candidatas por debajo de sus homólogos masculinos.
Impactos de la IA con sesgo de género
La IA con sesgo de género no solo tiene un impacto enorme en las personas, sino que también puede contribuir a los retrocesos en la igualdad de género y el empoderamiento de las mujeres. Alrededor de 133 sistemas sesgados en todas las industrias desde 1988 hasta la actualidad, encontramos que el 44,2% (59 sistemas) demuestra sesgo de género, y el 25,7 % (34 sistemas) muestra sesgo tanto de género como racial.
Los sistemas de inteligencia artificial con sesgo de género tienen seis impactos principales: de los 59 sistemas que muestran sesgo de género, el 70% resultó en una calidad de servicio más baja para las mujeres y las personas no binarias. Los sistemas de reconocimiento de voz, cada vez más utilizados en las industrias automotriz y de atención médica, por ejemplo, a menudo funcionan peor para las mujeres. En segundo lugar, la observada injusta de recursos, información y oportunidades para las mujeres se manifestó en el 61,5 % de los sistemas identificados como sesgados por el género, incluida la contratación de software y sistemas publicitarios que restaban prioridad a las solicitudes de las mujeres
El refuerzo de los estereotipos y perjuicios existentes se ve exacerbado por los bucles de retroalimentación entre las entradas y salidas de datos. Por ejemplo, el software de traducción, que aprende de una gran cantidad de texto en línea, históricamente ha tomado términos neutros en cuanto al género (como «el doctor» o «la enfermera» en inglés) y devuelto traducciones de género (como » el doctor» y » la enfermera”, respectivamente), reforzando los estereotipos de médicos y enfermeras. Por ejemplo, el uso del género binario en la clasificación de género genera una visión inexacta y simplista del género en herramientas como los sistemas de análisis facial.
Además, ciertos sistemas eliminarán el bienestar y el físico mental de las mujeres y las personas no binarias. Los sistemas con sesgo de género utilizados en la atención de la salud, el bienestar y la industria automotriz, en particular, presentan perjuicios para la seguridad física y riesgos para la salud. Los sistemas de inteligencia artificial que respaldan la detección del cáncer de piel, por ejemplo, tienen dificultades para detectar el melanoma en las personas negras, lo que pone en riesgo a las mujeres negras que ya están desatendidas por la industria del cuidado de la salud.
Qué pueden hacer los lideres del cambio social
Priorizar la equidad y la justicia de género como objetivo principal de los sistemas de LA puede generar un impacto posterior en las decisiones de diseño y gestión. Debemos reconocer que los sistemas de ML no son objetivos. Incluso los sistemas de ML diseñados para el bien (por ejemplo, un sistema creado para realizar evaluaciones de solvencia o contratación más equitativa) pueden ser probables problemas relacionados con el sesgo, al igual que sus creadores humanos.
Hay funciones para los líderes del cambio social, así como para los líderes de las organizaciones que desarrollan sistemas de ML, para hacer un ML inteligente en cuanto al género y promover la equidad de género.
Los líderes del cambio social pueden:
1. Usar prácticas de datos feministas para ayudar a llenar los vacíos de datos
Las prácticas feministas de datos incluyen analizar cómo opera el poder y usar datos para desafiar las estructuras de poder desiguales, superar el género binario, valorar múltiples formas de conocimiento y sintetizar múltiples perspectivas con prioridad dada al conocimiento local e indígena. Los datos feministas pueden ayudar a centrar las voces y las experiencias de las personas marginadas, incluidas las mujeres y las niñas.
Otro paso importante es reconocer y trabajar en contra de las prácticas dañinas de datos.
2. Aportar su experiencia al campo de la IA con equidad de género y abogar por la alfabetización en IA
Al integrar la experiencia de género en los sistemas de IA, los desarrolladores y administradores de ML pueden comprender mejor los problemas y las soluciones para reducir el sesgo de género.
Esto comienza abogando por la alfabetización en IA entre expertos en género y participando en la conversación solicitando a los organizadores de la conferencia sesiones y talleres sobre género e IA. No fue hace mucho tiempo, por ejemplo, que los expertos en género estaban en gran parte ausentes de las discusiones sobre la inversión de impacto. Talleres que incluyan capacitación sobre conceptos de inversión financiera y consideración de género, ayudarán a los investigadores y profesionales con experiencia en género a comprender mejor el campo de la inversión de impacto, así como a participar y, en última instancia, promover el trabajo de inversión con perspectiva de género e iniciativas.
3. Al usar sistemas de IA para abordar las brechas de género, pensar de manera crítica sobre quién está representado en el equipo que desarrolla ese sistema de IA, así como qué datos están usando y cómo desarrollar el algoritmo
La IA se utiliza cada vez más para abordar los desafíos del desarrollo global, incluida la desigualdad de género, y las organizaciones de la sociedad civil se están sumando. Es importante insistir y apoyar a los desarrolladores de ML para que centren las voces de las mujeres y las personas no binarias en el desarrollo, la creación y la gestión de estos sistemas de IA. Además, debe tenerse la diligencia debida y evaluar los posibles sistemas de inteligencia artificial para detectar sesgos de género y consecuencias no deseadas antes de usar.
Qué pueden hacer los desarrolladores de ML
Cuando los sistemas de ML se construyen para siempre, pueden evadir el análisis crítico sobre el sesgo y el potencial de consecuencias no deseadas. La intención de construir un sistema para siempre no es suficiente. Para ayudar a los investigadores y líderes de empresas y organizaciones que desarrollan sistemas de IA a catalizar el aprendizaje automático en cuanto al género, los líderes del cambio social deben alentar a los socios de desarrollo del aprendizaje automático a buscar y defender lo siguiente:
1. Incorporar y promover la diversidad, la equidad y la inclusión de género entre los equipos que desarrollan y administran sistemas de IA
Esto es necesario si crees en el potencial de la IA para permitir un mundo más justo. Un estudio reciente mostró que diversos grupos demográficos son mejores para disminuir el sesgo algorítmico. Deben tomarse medidas asegurándose de que la diversidad sea una prioridad central de liderazgo y actualizando las políticas, prácticas y estructuras institucionales para la diversidad y la inclusión.
2. Reconocer que los datos y los algoritmos no son neutrales y luego hacer algo al respecto
Documentar lo que hay en sus conjuntos de datos de ML y modelos de ML. Evaluar los conjuntos de datos para detectar la subrepresentación de las diferentes identidades de género y las desigualdades subyacentes que reflejan la realidad pero que, en última instancia, son problemáticas. Finalmente, asociarse con expertos en género para integrar los principios y enfoques de datos feministas, demostrar y abordar los impactos de género de un algoritmo y realizar auditorías de algoritmos con una perspectiva de género.
3. Centrar las voces de los miembros marginados de la comunidad, incluidas las mujeres y las personas no binarias, en el desarrollo de sistemas de IA
Apoyar la investigación y aprender de otros sectores que han incorporado el diseño participativo y la investigación de acción participativa en el desarrollo de tecnologías.
4. Establecer enfoques de gobernanza sensible al género para una IA responsable
Al desarrollar estructuras de gobernanza de la ética de la IA, asegúrate de que haya diversidad de género. Dentro de los códigos y principios de IA responsables o éticos, pensar críticamente sobre cómo incorporar la justicia y la equidad relacionada con el género y otras identidades marginadas.
Estas acciones no son exhaustivas, pero proporcionan un punto de partida para construir un ML inteligente en cuanto al género que promueve la equidad. No perdamos esta oportunidad de revolucionar la forma en que pensamos, diseñamos y administramos los sistemas de IA y, por lo tanto, buscamos un mundo más justo hoy y para las generaciones futuras.
En pocas palabras: se ha demostrado que las aplicaciones de inteligencia artificial (IA) incluyen prácticas discriminatorias en los últimos años. Esto crea la necesidad de regulaciones significativas basadas en derechos para garantizar que la IA no aumente las desigualdades.