La crisis de 2008 secó los presupuestos de numerosos departamentos de Policía en EE UU, así que algunos de ellos decidieron recurrir a un software de predicción de delitos. Menos policías, más máquinas. Funcionan como un programa de predecir terremotos: analizan datos históricos para determinar en qué lugar de la ciudad y a qué hora hay más probabilidades de que se cometa un delito. Así la Policía enfoca mejor dónde y cuándo patrullar.
Al programa puede pedírsele que se centre sólo en los delitos con violencia o que incluya otros menores, como la alteración del orden público. En el primer caso, genera una serie de puntos dispersos sobre el mapa de la ciudad. En el segundo, los puntos aparecen de manera más concreta sobre determinados barrios. Los defensores de ese software insisten en que los algoritmos no tienen en cuenta cuestiones raciales o personales de ningún tipo, pero crean un mapa de la pobreza, la geografía de barrios empobrecidos con minorías raciales, y envían allí a más policías a vigilar. Se reduce el número de delitos menores, pero también se generarán más detenciones y los barrios violentos parecerán aún más violentos.
La Policía tiene en sus manos un instrumento inapelable: los datos son limpios y ciegos al color de la piel, no se equivocan como los seres humanos. Estamos criminalizando la pobreza de una manera "justa" pues las matemáticas son justas. ¿O no? "¿Qué ocurre con los delitos que no aparecen en los cuadrantes de los mapas de estos programas de predicción de delitos, los que cometen los ricos? En la primera década del siglo XXI, los ases de las finanzas se pegaron la juerga de sus vidas. Mintieron, apostaron miles de millones contra sus propios clientes, cometieron fraudes y untaron a las agencias de calificación. El resultado fue una economía global devastada durante casi cinco años. Millones de personas perdieron sus hogares, sus trabajos y el acceso a la atención sanitaria".
Quien se hace esta pregunta es Cathy O'Neill, la autora de un libro que ha popularizado en Estados Unidos el lado oscuro del "Big Data", la tecnología de procesamiento masivo de datos que está cambiando nuestro mundo a marchas aceleradas. El libro, recién editado en España por Capitán Swing, lleva como subtítulo su tesis central: "Cómo el Big Data aumenta la desigualdad y amenaza la democracia". Como título aparece un golpe de ingenio: "Armas de destrucción matemática", que es como O'Neill denomina a los algoritmos que están tomando decisiones clave en las vidas de millones de personas en Estados Unidos, ámbito de análisis de este volumen cuyo mensaje puede extenderse tranquilamente a todos los países impregnados por la nueva economía de datos. Decisiones algorítmicas que caen como losas invencibles encima de millones de vidas: quien recibe o no un crédito en virtud de un programa informático que traza su perfil y lo califica como apto o no apto, o le aumenta el precio con respecto a otros clientes. Lo mismo puede decirse para los seguros de salud o de coche. Sobre quién es contratado o sigue en el paro según lo que diga el algoritmo que procesó su test de personalidad o los datos que la empresa ha conseguido recopilar de él en las redes. Datos que él mismo proporcionó alegremente o muchas veces sin ser informado de que lo estaba haciendo.
El libro de O'Neill coincide en España con el debate internacional sobre la filtración de datos de 50 millones de usuarios de Facebook que fueron a parar a la empresa Cambridge Analytica y los utilizó para elaborar perfiles con los que tratar de influir al votante estadounidense y británico sobre la conveniencia de votar a Trump y a favor del "Brexit", respectivamente.
La bomba atómica financiera
O'Neill es una brillante matemática doctorada en Harvard, con un posdoctorado en el Instituto Tecnológico de Massachusetts (MIT) y, posteriormente, profesora en el Barnard College. El momento en el que vio claro el naciente poder destructor que tiene la aplicación de los algoritmos se produjo cuando se desató la crisis financiera en Estados Unidos, cuya gran escenificación fueron los cientos de trabajadores de la quebrada Lehman Brothers saliendo de la sede central con una caja de cartón en la que iban todas sus pertenencias personales. En esa época, O'Neill trabajaba como experta en análisis y gestión de información cuantitativa para el fondo de cobertura D. E. Shaw. Aquel colosal derrumbe le abrió los ojos y la llevó a involucrarse en el movimiento Ocupy Wall Street.
La caída del sistema financiero fue el episodio final (¿final?) de la construcción de un gigantesco castillo de naipes donde las cartas eran las hipotecas basura que sostenían todos los productos financieros derivados y las comisiones que cobraban todos los actores implicados en la venta y dispersión de estos productos eran el pegamento invisible que la hacía crecer y crear.
Además de la codicia de todos los eslabones de esta cadena de mentiras, había otro elemento coadyuvante: la tecnología digital que permitía hacer y mantener en circulación los complejísimos cálculos que precisaban los inextricables algoritmos bajo aquellos productos financieros que eran el envoltorio depurado de una sucia estafa piramidal. "El poder de la informática impulsó el fraude hasta una escala sin precedentes en la historia", sentencia O'Neill en su libro.
Si aquella tecnología, usada de manera tan maliciosa, había causado semejante destrozo económico, ¿qué tormenta podían desatar los números si se aplicaban a otros ámbitos de nuestra vida social? "Me preguntaba cuál sería la analogía de la crisis crediticia en el sector del Big Data. En lugar de la quiebra, venía una creciente distopía y el aumento de las desigualdades. Los algoritmos se asegurarían de que aquellos a los que se consideraba perdedores siguieran siéndolo. Una minoría afortunada ganaría un control aún mayor sobre la economía de datos, amasaría exorbitantes fortunas y se repetiría a sí misma una y otra vez que se lo merece".
Opiniones en matemáticas
O'Neill quiere llamar la atención sobre el uso de algoritmos, de modelos matemáticos que, supuestamente, acaban con el sesgo humano pero, puesto que la programación corre a cargo de un ser humano, multiplican esos prejuicios. "Los modelos, a pesar de su reputación e imparcialidad, reflejan objetivos e ideologías. Son opiniones integradas en matemáticas. La cuestión que debemos considerar es si hemos eliminado el sesgo humano o si simplemente lo hemos camuflado con tecnología".
Hay dos elementos añadidos que están transformando a los algoritmos en la nueva ley inapelable: 1) como se sustentan en las matemáticas han de ser necesariamente objetivos. 2) como se sustentan en matemáticas terriblemente complicadas casi nadie puede recurrir la decisión de una máquina. "Cuales dioses, estos modelos matemáticos eran opacos y sus mecanismos resultaban invisibles para todos, salvo para los sumos sacerdotes del sector: los matemáticos e ingenieros informáticos". Sus veredictos solían castigar a los pobres y oprimidos de nuestra sociedad y enriquecían a los ricos. "En las Armas de Destrucción Matemática (ADM) hay muchas premisas perniciosas camufladas bajo las matemáticas y se mantienen sin que nadie las verifique ni las cuestione".
Y añade que, "en la actualidad, los modelos matemáticos mal diseñados microgestionan la economía, desde la publicidad hasta las cárceles. Son opacos, nadie los cuestiona, no dan ningún tipo de explicaciones y operan a tal escala que clasifican, tratan y optimizan a millones de personas". Según subraya la autora, quienes no tienen recursos reciben un trato estadístico. Los ricos son tratados por personas. "Las masas, por máquinas".
Minority Report
Los modelos matemáticos "no hacen más que codificar el pasado" puesto que en muchas ocasiones estos algoritmos no están sometidos a una constante actualización y corrección, lo que hacen es consolidar y amplificar las desigualdades previas.
Sigamos en el ámbito policial. Ésta es la historia de Robert McDaniel, cuya peripecia ocupó la atención del "Chicago Tribune" en 2014. Parece sacada de la película "Minority Report", donde la Policía, armada con potente tecnología predictiva, actúa contra el criminal antes de que haya cometido el delito. Así la cuenta O'Neill: "En 2009, el departamento de Policía de Chicago recibió una subvención de 2 millones de dólares del Instituto Nacional de Justicia para desarrollar un programa predictivo de datos delictivos. La teoría en la que se basaba la propuesta ganadora presentada por la Policía de Chicago defendía que, con la suficiente investigación y los suficientes datos, serían capaces de probar que la propagación de la delincuencia, igual que una epidemia, sigue un terminado patrón. Por tanto, se puede predecir y con suerte, evitar". El encargado de desarrollar ese programa fue el Instituto de Tecnología de Illinois. "En un primer momento centró sus esfuerzos en señalar puntos calientes de delitos, de forma similar a cómo hace (el programa de) Predpol. El equipo de Chicago fue mucho más lejos. Elaboraron una lista de las 400 personas con mayor probabilidad de cometer un delito violento y las ordenaron en un ranking en función de la probabilidad que tenían de verse envueltas en un caso de homicidio. Una de las personas de la lista, un chico de 22 años que había dejado el Instituto, Robert McDaniel, abrió la puerta de su casa un día de verano de 2013 y se encontró frente a un agente de Policía. Más tarde, Robert declaró al 'Chicago Tribune' que no tenía antecedentes por tenencia ilícita de armas y que jamás había sido acusado de ningún delito violento. Como la mayoría de los chicos jóvenes de Austin, su peligroso barrio del West Side, Daniel había tenido roces con la ley y conocía a mucha gente que había quedado atrapada en el sistema judicial penal. Según aclaró, el agente le dijo que la autoridad le tenía el ojo echado y que tuviera cuidado".
¿Cómo llegó la Policía a declararle pre-culpable? Lo explica O'Neill: "Parte del análisis que condujo a la Policía a McDaniel tenía que ver con su red social. Robert conocía delincuentes. No cabe duda de que, estadísticamente, es más probable que una persona se comporte como las personas con las que pasa tiempo que lo contrario. Facebook, por ejemplo, ha descubierto que es mucho más probable que los amigos que se comunican con frecuencia pinchen en los mismos anuncios. Dios los cría y estadísticamente ellos efectivamente se juntan".
"Y si hace alguna tontería, como le ocurre cada día a millones de estadounidenses, si compra droga o se mete en una pelea de bar, o si lleva un arma sin licencia, todo el peso de la ley caerá sobre él, y posiblemente con más severidad de la que se aplicaría al resto de nosotros. Al fin y al cabo, estaba advertido", ironiza amargamente O'Neill.
La microsegmentación
Facebook es la mayor base de datos que haya existido en la historia de la humanidad; un repositorio de información voluntariamente aportada por sus usuarios que tiene su negocio en la extraordinaria capacidad de identificar los gustos de sus usuarios -ellos mismos se lo confiesan en cada clic- para luego colocar a cada uno de ellos los productos que mejor se ajustan a sus apetencias. Esa capacidad de "microsegmentar" a la audiencia es lo que da valor a Facebook en el Nasdaq. Gracias a Facebook se pueden vender millones de artículos de consumo, pero también ideas políticas o peligrosos bulos.
Los políticos pueden hacer lo que siempre soñaron: contarle a un votante una cosa y al siguiente la contraria y contentar a todos. "Ahora (los políticos) pueden dirigirse a microgrupos ciudadanos para conseguir votos o dinero y para atraerlos con un mensaje meticulosamente pulido, mensaje que probablemente nadie más vea. Puede ser un banner de Facebook o un correo electrónico solicitando fondos. Cada uno de ellos permite a los candidatos vender silenciosamente múltiples versiones de sí mismos y nadie sabe qué versión será la que ocupará al despacho (oficial) después de la toma de posesión", escribe O'Neill. Ya no hay debate público, de lo que se supone que va la democracia.
Eso hace, entre otras cosas, Cambridge Analytica, la empresa en el centro de la crisis de privacidad desatada por la filtración de los datos de 50 millones de usuarios de Facebook. Esta compañía, como detalla O'Neill en su libro, usó estos datos para elaborar análisis psicográficos de votantes y modelar grupos de potenciales votantes. Gracias a estos datos, en la campaña presidencial del senador Ted Cruz hicieron varios tipos de anuncios de TV y los colocaron en los programas que verían con más probabilidad esos votantes. Y gracias a las nuevas tecnologías, aún podían segmentarlo, personalizarlo, focalizarlo más. En mayo de 2015, en la reunión del lobby Coalición Judía Republicana lanzaron una serie de anuncios web que sólo se podían ver dentro del complejo hotelero Venetian de Las Vegas, donde estaban reunidos estos lobistas. En esos anuncios se recalcaba la devoción de Cruz por la seguridad y por Israel.
El editor oculto
La creencia generalizada es que las plataformas como Facebook o Google son neutrales. Que vemos lo que la gente "sube" allí. No es así. "Aunque Facebook pueda parecer una moderna plaza de pueblo, la empresa decide, conforme a sus propios intereses, qué vemos y qué descubrimos en su red social" con 2.000 millones de usuarios mensuales que, de media, pasan 39 minutos al día, "sólo cuatro minutos menos de los que dedican a la socialización cara a cara", subraya O'Neill. Facebook es perfectamente consciente de su capacidad para modificar el estado de ánimo de sus usuarios o de incentivarlos a la hora de ir a votar. Su influencia se sustenta en miles de recomendaciones que unos "amigos" hacen a otros "amigos". ¿Cabe idear mejor lubricante para engrasar el motor de la difusión de noticias y creencias, sean verdaderas o falsas, liberadoras o retrógradas?
Facebook ha desarrollado experimentos para medir su influencia "emocional" utilizando los perfiles de millones de sus usuarios, suministrándoles noticias deprimentes (para evaluar si se contagiaban de pesimismo) o enviándoles mensajes incitándoles a participar en las elecciones. Facebook no es un cauce neutral de expresión, es un medio de comunicación con todas las de la ley pero sin los límites que la ley impone a los medios de comunicación. Hasta hace poco no se hacía en absoluto responsable de lo que publicaba. Cuando "New York Times" y CNN cubren una historia, todo el mundo lo ve. Su decisión editorial está clara, queda registrada, no es opaca y después la gente puede debatir (a menudo en Facebook) si esa decisión editorial ha sido o no la correcta".
"La plataforma es gigantesca, poderosa y opaca. Los algoritmos quedan ocultos y sólo vemos los resultados de los experimentos que los investigadores quieren publicar", añade "Armas de destrucción matemática".
Un gran arsenal
"Con Google la situación es muy parecida", escribe O'Neill. "Aparentemente, su algoritmo de búsquedas tiene como propósito incrementar los ingresos, pero los resultados de las búsquedas, si Google así lo decidiera, podrían tener un efecto dramático en lo que sabe la gente y en el sentido de su voto. (En 2015) los investigadores Robert Epstein y Ronald E. Robertson pidieron a los votantes indecisos en Estados Unidos y la India que usasen un motor de búsqueda para informarse sobre las elecciones que iban a celebrarse poco después. Los motores que usaron estaban programados para sesgar los resultados favoreciendo un partido frente a otro. Según afirmaron, estos resultados cambiaban un 20% las preferencias de voto". El experimento fue hecho con 4.556 votantes y en el estudio publicado en la revista de la Academia de Ciencias de Estados Unidos. Los dos investigadores concluyen: "Dado que muchas elecciones se ganan con pequeños márgenes, nuestros resultados sugieren que una empresa de motores de búsqueda tiene el poder de influir en los resultados de un número considerable de elecciones con impunidad. El impacto de tales manipulaciones sería especialmente grande en países dominados por una sola empresa de motores de búsqueda". Para doblegar un país basta bombardearlo con matemáticas.
