Es más fácil arreglar algoritmos sesgados que personas prejuiciosas

En un artículo para el New York Times, Sendhil Mullainathan plantea una provocación: es más fácil reconocer sesgos en los algoritmos que “arreglar” a personas sesgadas. Ya hemos hablado por aquí sobre este tipo de problemas en la tecnología que, en última instancia, tienen más que ver con la especie humana que con una inteligencia artificial en sí; lo cual, sin embargo, no significa que el problema sea menor. En realidad, para Mullainathan, es mayor.

El periodista toma como referencia un estudio publicado hace 15 años, cuando dos personas solicitaron un empleo. Sus currículos eran similares, uno se llamaba Jamal y el otro Brendan. Este año, dos pacientes buscaron atención médica, ambos con diabetes y presión alta, pero uno era blanco y el otro negro. En ambos estudios observamos la cuestión de la injusticia racial: mientras que en el primero el candidato con un nombre asociado a un individuo negro recibió menos invitaciones a entrevistas, en el segundo, el paciente negro recibió una peor atención.

La diferencia radica en un elemento crucial: en el primer caso, el problema fue la contratación de gerentes que toman decisiones sesgadas; en el segundo, el problema fue un programa informático. Mullainathan, casualmente, es coautor de ambos estudios y, en ese sentido, ve dos lecciones que aprender: una centrada en los humanos y otra en los algoritmos.

En el primer estudio, los investigadores querían responder a la pregunta de si Greg y Emily serían más empleables que Lakisha y Jamal. La respuesta, como ya habrás previsto, fue que sí: mucho más empleables. “El simple hecho de tener un nombre de persona blanca aumentó las probabilidades de obtener entrevistas de trabajo en un 50%”, escribe Mullainathan.

En el estudio publicado en octubre, centrado en el caso de los pacientes del sistema de salud estadounidense, los principales algoritmos utilizados fueron el objeto de estudio. En este caso, dichos programas fueron creados para ayudar a los centros médicos a gestionar la gran cantidad de datos que permiten a los empleados saber qué paciente tiene más urgencia y está más enfermo. “Encontramos en estos algoritmos un sesgo racial ya integrado. Con niveles similares de enfermedad, los pacientes negros fueron considerados menos urgentes que los pacientes blancos. La magnitud de la distorsión era inmensa: al eliminar el sesgo algorítmico, sería posible duplicar el número de pacientes negros que recibirían ayuda adicional. El problema reside en la sutil elección de ingeniería: para medir el ‘nivel de enfermedad’ utilizaban la mayor parte de los datos disponibles, los gastos en planes de salud. Pero como la sociedad gasta menos en pacientes negros que en pacientes blancos igualmente enfermos, el algoritmo subestimó las necesidades del paciente negro”, explica el autor del estudio.

Ahora bien, la manera de abordar estos dos problemas es diferente. Según el investigador, el primer estudio parecía más una operación de infiltración que una investigación académica propiamente dicha. Todo el trabajo logístico de buscar vacantes, enviar faxes con los currículos y hacer llamadas para luego analizar los comportamientos discriminatorios de un grupo particular, en este caso gerentes de RR. HH., fue mucho más difícil que el diagnóstico del sesgo en el algoritmo del sistema de salud. “Fue un ejercicio estadístico, el equivalente a preguntarle al algoritmo ‘¿qué harías con este paciente?’ cientos de miles de veces y mapear las diferencias raciales. El trabajo fue técnico y rutinario, sin requerir ningún tipo de discreción o recursos”.

En otras palabras, es mucho más difícil tratar con humanos que con algoritmos. Nuestras explicaciones sobre nuestro comportamiento cambian constantemente y se adaptan cultural y socialmente. Medir el racismo en las personas requiere la creación de circunstancias controladas en el mundo real en las que solo el factor racial importe. En cambio, en el caso de un algoritmo, es posible crear escenarios controlados simplemente utilizando los datos específicos y observando su comportamiento.

Además, los humanos también se comportan de forma diferente respecto a qué hacer con estos sesgos. En la primera investigación, los autores encontraron dificultades para resolver el problema, porque detectar la discriminación no significa necesariamente que toda la empresa sea discriminatoria y, por otro lado, cambiar la mentalidad de una persona no es algo fácil. Como mucho, una capacitación puede demostrar algunos cambios, pero es quizás el mejor escenario posible.

En el caso del algoritmo, los investigadores desarrollaron un prototipo para ayudar a las empresas, en este caso el sistema de salud estadounidense, a identificar este sesgo y corregir su programa de gestión de forma gratuita. Muchos centros médicos aceptaron, lo que demuestra que no era intencional que aquello ocurriera allí. Y, en ese sentido, es posible ver cómo cambiar algoritmos es más fácil que cambiar personas, ya que el software solo necesita una actualización, pero la mente de las personas es muy diferente a eso.

Pero, en cuanto a los algoritmos, es posible pensar, por ejemplo, en un tipo de regulación, como propone un artículo publicado en 2018. “Con una mejor regulación, mejores algoritmos pueden ayudar a certificar que las personas tengan un trato justo en la sociedad, aunque esto no resuelva los sesgos profundos y estructurales que siguen afectando a Estados Unidos. Arreglar los sesgos de la sociedad no es más fácil que arreglar los sesgos de las personas”.