Tecnically Wrong, aun no publicado en español, nos habla de "aplicaciones sexistas, algoritmos sesgados y otras amenazas de tecnología tóxica". La tecnología tiene sesgo de edad, etnia, clase social y, sobre todo, de género.
Wachter-Boettcher critica el modus operandi de la industria a muchos niveles, incluyendo una absurda cultura de trabajo de la que toda persona que no sea "hombre blanco joven" sigue estando mayormente excluida. Una denuncia fundamental es cómo se diseña para cubrir necesidades basadas en información sesgada (estereotipos, perfiles irreales, etc.) desarrollando así productos que "en el mejor de los casos ignoran a un alto porcentaje de usuarios (especialmente, usuarias) y, en el peor, se aprovechan de nuestros datos personales y codifican sesgos en sistemas que tienen un poder descomunal sobre las vidas y sustentos de las personas reales".
El ejemplo más devastador sobre la inequidad del algoritmo viene dado por el software COMPAS, usado en el sistema judicial estadounidense para determinar concesiones de libertad condicional, bajo fianza, e incluso condenas, que produce el doble de falsos positivos en personas negras que en blancas; es un caso paradigmático, ampliamente estudiado también en Armas de Destrucción Matemática, de Cathy O'Neil, en Automating Inequality de Virginia Eubanks y en Algorithms of Oppression, de Safiya Umoja Noble, todos publicados en 2018. No es casualidad que las obras más reveladoras sobre cómo la tecnología amplifica la desigualdad hayan sido escritas por mujeres: son mecanismos de opresión en los que, consciente o inconscientemente, participa toda la sociedad; los más peligrosos son apenas identificables sin un análisis muy profundo de cada fenómeno. Comentario recurrente de la autora: "¿era esta la intención de los creadores? Probablemente no; simplemente nunca pensaron en ello".
El problema no está en la tecnología, claro, sino en la asunción de los tecnólogos sobre la neutralidad de su información. Es el caso del Word2Vec de Google: este software, para ayudar a los sistemas en su aprendizaje del lenguaje natural, se basa en el Word embedding, procesando textos y vinculando la distribución del vocabulario a vectores. Pero los textos tienen sesgos históricos inadmisibles hoy y extrae abundantes patrones del tipo "padre es a doctor lo que madre a enfermera". Usado para la contratación de personal, sin ningún ojo humano sobre los CVs que el sistema estaba cotejando, todas las candidaturas de mujeres quedaban fuera porque Word2Vec ya había hecho cribas previas. Sus perfiles no podían coincidir con el requerido: no eran arquitectas, sino diseñadoras; no eran programadoras, sino amas de casa. Porque lo que ocurre con una estructura tan compleja como la generada por los Word embeddings es que en el punto en que el sistema aplica un criterio como este, las palabras "hombre" y "mujer" ni siquiera están presentes ya. Este es el tipo de problemas que, si no se corrige, no solo provoca graves consecuencias en usos concretos como el del ejemplo, sino que crece exponencialmente generando desigualdades masivas cuyo origen se hace difícil de detectar.
Además de consecuencias catastróficas debido a un diseño negligente, la tecnología ampara múltiples grados de intencionalidad para la injusticia: impuesto rosa en aplicaciones e incluso personajes de videojuego, grandes corporaciones sin política de maternidad y que ignoran el acoso en el ámbito laboral, que lo ignoran también en sus productos y, sobre todo, la lacra de una contratación discriminatoria. Año tras año, escuchamos la misma declaración pública: que, a pesar de las mejoras, queda mucho por hacer. Y tanto. La realidad es que ni Apple, ni Facebook, ni Google han variado significativamente la diversidad de sus plantillas.
Con todo, la autora se declara optimista y defensora de la digitalización o, al menos, la exime de culpa, pero insiste en recordarnos, al tiempo que lanza verdades sin tapujos sobre los gigantes tecnológicos, que es nuestra responsabilidad reaccionar, protestar, denunciar, participar y, sobre todo, pensar. Es mucho lo que hay en juego; poco importan ya las intenciones.
