¿Cuál es el papel de la evidencia en un mundo que valora los enfoques tecnocientíficos, pero donde gran parte de esta validación la llevan a cabo actores investidos de autoridad debido a su proximidad a los centros de poder económico y militar del Capital? El libro Desmintiendo la IA responde a esta pregunta en varios niveles y relata una historia que inspira y puede inspirar gran parte de lo que se está haciendo contra el racismo algorítmico en Brasil.

El innovador proyecto Gender Shades , uno de los temas centrales de Debunking AI , fue el resultado del trabajo de Joy Buolamwini, en colaboración con otros cuatro investigadores, que descubrió fallos en la tecnología desarrollada por gigantes como IBM, Microsoft y Amazon, organizaciones que emplean a decenas de miles de personas, muchas de ellas científicas e investigadoras en diversos campos.

«Podemos comprender que lo que el mercado tecnológico vende como innovación, velocidad y disrupción tiene poco que ver con la calidad, la precisión o las necesidades sociales.»

Incluso antes de adentrarnos en la trayectoria completa de Joy Buolamwini tras Gender Shades , debemos indignarnos ante esta disparidad. ¿Cómo es posible que se permitan errores tan flagrantes y vulgares al servicio de corporaciones multimillonarias?

Si seguimos el consejo de Buolamwini sobre la importancia de evaluar el impacto negativo de los algoritmos, podemos comprender que lo que el mercado tecnológico vende como innovación, velocidad y disrupción tiene poco que ver con la calidad, la precisión o las necesidades sociales. La obra del autor, en particular este libro, es una fuente esencial para reforzar la importancia de una cultura de evaluación y auditoría de algoritmos.

Discriminación algorítmica y privacidad de datos

Los reveses en los avances sociales en la lucha contra la discriminación algorítmica —incluidos aquellos directamente influenciados por Buolamwini— demuestran la importancia de la crítica algorítmica para el futuro de la humanidad y la lucha contra las desigualdades. Como se observa en el libro, a finales de 2022, el gobierno estadounidense, bajo la presidencia de Joe Biden, presentó una propuesta para una especie de Carta de Derechos de la IA. Como es habitual, Estados Unidos adopta un enfoque legal de no intervención en cuestiones estratégicas relacionadas con las empresas estatales, incluidas las grandes tecnológicas. En este contexto, la Carta de Derechos de la IA, un conjunto de recomendaciones, principios y conceptos del gobierno estadounidense, representó un paso muy relevante para el reconocimiento del problema.

La carta incluía definiciones y recomendaciones en áreas como sistemas eficaces, protección contra la discriminación algorítmica, privacidad de datos y otras. Fue una de las reacciones al avance de las propuestas regulatorias de la Unión Europea y China, que ya contaban con un considerable léxico en materia de defensa de derechos. La carta estadounidense definía la discriminación algorítmica como una disparidad que se produce cuando los sistemas automatizados contribuyen a un trato injusto o a impactos desventajosos sobre las personas en función de su raza, color, etnia, sexo, género, religión, origen nacional, discapacidad y otras categorías protegidas por la ley. Al reconocer el problema, aun sin normas vinculantes estrictas, el documento reforzó consensos que ya influían en las políticas públicas, como los avances del Instituto Nacional de Estándares y Tecnología (NIST) del país.

«Al intentar servir a los intereses de grupos como OpenAI, Microsoft, Palantir y Alphabet, la administración Trump creó las condiciones que permitieron a estas empresas abandonar la apariencia de civilidad.»

El NIST fue una de las organizaciones influenciadas por el trabajo de Buolamwini, aplicando una perspectiva interseccional a la evaluación de las herramientas y el software utilizados por el gobierno estadounidense, incluido el reconocimiento facial. Hoy en día, los documentos del NIST ni siquiera pueden mencionar las palabras «diversidad», «equidad», «inclusión» o «cambio climático». Esta prohibición es una de las políticas recomendadas por el Plan de Acción de IA de Estados Unidos, el plan nacional de inteligencia artificial del país.

Trump, las grandes tecnológicas y la lucha por la soberanía.

Con la reelección de Donald Trump, quien recibió donaciones de grandes empresas tecnológicas para su campaña, investidura e incluso para la construcción de un nuevo salón de baile , los retrocesos se aceleraron. Buscando favorecer los intereses de grupos como OpenAI, Microsoft, Palantir y Alphabet, la administración Trump creó las condiciones para que estas empresas abandonaran cualquier atisbo de civismo. Ya en enero de 2025, las políticas de moderación de contenido de las plataformas de redes sociales se modificaron para permitir discursos discriminatorios y eugenésicos. El racismo, la transfobia y la discriminación contra las personas con discapacidad se permitieron explícitamente en las principales plataformas, generando nuevas preocupaciones para el gobierno brasileño y las organizaciones de la sociedad civil.

A pesar de los crecientes ataques de Trump y las grandes tecnológicas contra los avances sociales en la gobernanza de las tecnologías digitales, existe una larga historia que exige que Brasil adopte posturas y políticas en defensa de su soberanía. Incluso antes de la administración Trump, los repositorios de daños causados ​​por sistemas algorítmicos registraban miles de casos de problemas, incluidos los sufridos por ciudadanos brasileños. Para impedir el establecimiento de mejores normas de gobernanza de plataformas en el país, empresas como Facebook y Google emprendieron violentas campañas contra la regulación en Brasil, que culminaron con el entierro simbólico del proyecto de ley 2630/2020.

«La abundante producción de información sobre antidiscriminación e inteligencia artificial en Brasil y en todo el mundo no fue suficiente para impedir el pacto racial de la blancura en el poder legislativo.»

En lo que respecta a la Inteligencia Artificial (IA), en Brasil también se produce un importante corpus de investigación y evidencia por parte de grupos de investigación y activismo contra el racismo algorítmico, incluyendo frecuentes citas del trabajo de Buolamwini. Existen estudios sobre discriminación y sesgos en bancos de imágenes, reconocimiento facial, sistemas de calificación crediticia, moderación de contenido, visión por computadora, modelos de lenguaje y mapeos de evaluación de debates legislativos sobre IA, entre otros. Campañas y movilizaciones de la sociedad civil han utilizado datos producidos por Buolamwini y sus colegas, incluyendo #TireMeuFroSaSuaSight y #SaiDaMinhaCara .

La abundante producción de información sobre antidiscriminación e inteligencia artificial en Brasil y en todo el mundo no fue suficiente para evitar el pacto racial de la blancura en el poder legislativo. A principios de 2022, el camino hacia la regulación de la inteligencia artificial en Brasil dio un nuevo giro. Se creó una Comisión de Juristas, encargada de apoyar la redacción de un proyecto de ley sustitutivo sobre inteligencia artificial en Brasil , integrada por el Ministro de la Corte Suprema de Justicia, Ricardo Villas Bôas Cueva, y 17 especialistas. Y cero representación de personas negras o indígenas . Con miembros de la academia, bufetes de abogados multimillonarios, la política federal y el tercer sector, la comisión trabajó durante meses para elaborar un informe.

A pesar de la escandalosa exclusión de las personas negras, la movilización de la sociedad civil y de los investigadores ha logrado algunas victorias, como la inclusión de conceptos como la discriminación indirecta, que de hecho es una obligación constitucional, considerando la adhesión de Brasil a la Convención Interamericana contra el Racismo, la Discriminación Racial y las Formas Conexas de Intolerancia.

La sociedad civil organizada ha demostrado contundentemente, durante las audiencias públicas de la comisión, el daño que las tecnologías de reconocimiento facial representan para todos. El relator de la comisión incluso reconoció que «no podemos aceptar que estas técnicas simplemente reproduzcan, codifiquen y consoliden para el futuro la discriminación pasada y presente en la sociedad». Sin embargo, esta declaración no se tradujo en acciones concretas: el borrador de la propuesta de la comisión incluía el reconocimiento facial como un riesgo excesivo, pero con numerosas excepciones para su uso, legalizando de facto el uso de esta tecnología.

«La presión ejercida por las grandes empresas tecnológicas contra la participación social efectiva y la transparencia en la evaluación del impacto de los sistemas algorítmicos dibuja un panorama de crisis irremediables.»

Es imposible no mencionar las citas de Buolamwini de Sojourner Truth y cómo denunció la marginación de las perspectivas y experiencias de las mujeres negras. De igual modo, podemos recordar el famoso epígrafe de Lélia González: «¿Cómo se supone que debemos sentirnos?». Cuando 17 expertos en IA de diversos sectores normalizaron la exclusión de las personas y perspectivas negras, podemos hacernos eco de la sorpresa de la oradora: «Eran todos gente estupenda, educados, que habían viajado mucho. Sabían de lo que hablaban. Y fuimos a sentarnos a la mesa. Pero estaba tan llena que no pudimos sentarnos con ellos».

Las conclusiones de la comisión se presentaron como Proyecto de Ley 2338/2023 para su posterior evaluación por una comisión del Senado. En agosto de 2023, se creó la Comisión Interna Provisional sobre Inteligencia Artificial en Brasil (CTIA), integrada por 13 senadores, con el senador Carlos Viana como presidente, el senador Marcos Pontes como vicepresidente y el senador Eduardo Gomes como relator. A diferencia de la comisión de la Cámara de Representantes, la dirección de la CTIA ni siquiera intentó brindar una apariencia de transparencia al proceso, careciendo de registros o documentación transparentes.

A lo largo de todo el proceso, la prensa denunció problemas de parcialidad en las audiencias públicas. Representantes de organizaciones que defienden los intereses de empresas como Amazon, iFood, Huawei y Google participaron en las audiencias como si pertenecieran a la sociedad civil o al mundo académico, lo que incluso llevó a una universidad a negar cualquier vínculo con uno de los grupos de presión.

En consecuencia, la CTIA suprimió categorías relacionadas con la defensa de los derechos. Se omitieron las menciones a la discriminación y los sesgos, y el lenguaje sobre el impacto se inclinó desproporcionadamente hacia supuestos impactos positivos, mientras que las preguntas sobre acuerdos productivos enfatizaron el desarrollo de capacidades, sin mencionar el empleo ni el trabajo, entre otros problemas. En cuanto a la evaluación de impacto algorítmica, el lenguaje del proyecto diluyó las obligaciones de transparencia y participación de los grupos potencialmente afectados.

«El gran capital que busca expandir la digitalización de plataformas y las tecnologías de extracción es incompatible con el control social de las tecnologías y sus estándares de calidad.»

Al llegar a la Cámara de Diputados en abril de 2025, la ofensiva de las grandes tecnológicas y sus socios nacionales marcó la pauta del problema: el presidente de la comisión de IA del órgano legislativo realizó un viaje a Silicon Valley con todos los gastos pagados por la Asociación Nacional de Hospitales Privados. Los intensos elogios a Google anticiparon lo que vendría después: en audiencias públicas sin la participación de la sociedad civil, el sector privado llegó incluso a atacar los compromisos constitucionales en materia de no discriminación.

Y eso es solo una parte de la historia. El cabildeo de las grandes tecnológicas contra la participación social efectiva y la transparencia en la evaluación del impacto de los sistemas algorítmicos dibuja un panorama de crisis irremediables. El gran capital que busca expandir la digitalización de plataformas y las tecnologías de extracción es incompatible con el control social de las tecnologías y sus estándares de calidad. Cada vez más, investigaciones científicas críticas e informes periodísticos, resultado de filtraciones, demuestran que gran parte de lo que se vende como innovación solo se sostiene cuando la sociedad no puede examinar sus impactos, su calidad y sus aspectos positivos o negativos.

«Desenmascarar la IA y revelar cómo encarna las relaciones de poder y la explotación es ya una de las grandes exigencias de este siglo.»

El auge del fascismo en Estados Unidos, paralelo al de las grandes tecnológicas, es alarmante, pero también un síntoma de su crisis. Los modelos de negocio de estas empresas no interesan a nadie más que a sus directivos, accionistas y los especuladores que las rodean. Y esto se hace cada vez más evidente.

Investigaciones como la realizada por Joy Buolamwini hace más de una década demuestran que contamos con múltiples caminos para mejorar, optimizar, evaluar e incluso rechazar los sistemas algorítmicos. Desenmascarar la IA y revelar cómo incorpora relaciones de poder y explotación es ya uno de los grandes desafíos de este siglo.