Big Data y decisiones incómodas

Hace años que sigo el blog de Cathy O’Neil: su opinión sobre cuestiones de Big Data y ética me parecen sumamente interesantes, no sólo porque esta señora tiene conocimientos en la materia, sino porque es muy buena explicándo cuestiones de su campo de estudio a nivel divulgativo con el extra de oferecer una visión crítica constructiva. Dicha solución tiende a pasar por hacer público el algoritmo para que pueda ser auditado,  compartiendo la visión propia de la corrientes de Software Libre o Código Abierto, o de que los resultados de proyectos financiados con dinero público sean públicos.

Para poneros en contexto, se define el “Big Data” a los conjuntos de datos tan grandes que hace falta procesamiento informático para tratarlos, buscando patrones repetitivos. En general, en el mundo de la informática, estos datos suelen venir del comportamiento de usuarios de aplicaciones, y se emplean para predecir su comportamiento, de manera que se mejore la eficiencia del sistema. Para ello se utilizan algoritmos basados en matemáticas.

Cathy publicó el ensayo “Armas de destrucción matemática” (“Weapons of Math Destruction”), título que proviene del juego de palabras con “Armas de Destrucción Masiva” (“Weapons of Mass Destruction”), donde define como tales a modelos matemáticos cuyos algoritmos predictivos particularmente peligrosos aquellos que son:

  • importantes: se toman grandes decisiones basándose en sus resultados.
  • secretos: el público desconoce cómo funcionan.
  • destructivos: pueden causar daño irreparable.

La pega es que su blog está en inglés, ante lo cual procedo a traducir uno de sus últimos artículos donde habla del último modelo que ha logrado el dudoso honor de ser denominado como Arma de Destrucción Matemática: el modelo Norteamericano de estudio de la FEMA (que se traduciría al castellano como Agencia Federal de Gestión de Emergencias) sobre la pandemia del COVID-19.

Weapons of Math Destruction: different elements of mtah diagrams forming a skull

He escrito extensamente sobre los peligros que surgen cuando las autoridades se basan en algoritmos para tomar decisiones evitando conversaciones públicas. A menudo, sus modelos estadísticos descuidados acaban costando vidas y medios de vida. Tristemente, esto parece ser precisamente lo que sucederá con el modelo de COVID-19 que está empleando la administración de Trump.

El gobernador de Arizona Doug Ducey ha anunciado planes para permitir la reapertura de negocios tras consultar el nuevo modelo de predicción de pandemia de la Agencia Federal de Gestión de Emergencias (FEMA), el cual no se ha hecho público. Este movimiento ha sido toda una conmoción, puesto que un equipo de expertos de universidades – que han desarrollado el modelo a petición del estado – han recomendado esperar hasta el final de Mayo, para evitar la saturación del sistema de hospitales.

En mi libro, “Armas de destrucción matemática”, identifiqué las 3 propiedades que hacen un algoritmo predictivo particularmente peligroso: debe ser importante, secreto y destructivo. El nuevo modelo de la FEMA las tiene todas.

– Si puede persuadir a un gobernador de levantar las restricciones permanecer en casa durante una pandemia, es importante.

– En el momento de escribir esto, sus detalles continúan siendo secretos.

– Y mientras lo que pudiese suceder en Arizona queda por verse, tiene potencial para destruir muchas vidas al justificar una mala decisión.

Dichos modelos no surgen accidentalmente. Aparecen cuando hay personas que quieren evitar una conversación difícil, especialmente si esta incluye luchas históricas, dinero o decisiones complejas. Ejemplos ilustrativos incluyen los modelos algorítmicos que juzgaban el trabajo de profesores de escuelas públicas, o el de “puntuación de riesgo de reincidencia” que decide, entre otras cuestiones, quién va a prisión antes del juicio. Ambos han sido modelos estadísticos con graves defectos de resultados vergonzosos, que intentaban evitar cuestiones difíciles, como definir qué hace a un profesor bueno, o quién debe ser encarcelado. Aun así, empresas y gobiernos continúan usando modelos de caja negra, porque la gente – por temor a las matemáticas o falta de información – rara vez los cuestiona.

Si alguna vez ha habido un tema que requiera conversación pública difícil, la respuesta al COVID-19 lo es. ¿A cuántas personas estamos dispuestos a dejar morir para que los negocios continúen funcionando? Al crear un modelo secreto para informar de tales decisiones, la administración de Trump está retirando estas cuestiones de las esferas públicas y científicas, reemplazando el debate en función de los datos por una herramienta pseudo-matemática. Esta es una mala noticia para la ciencia, y potencialmente una noticia horrible para los residentes de Arizona.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios .