COMUNICACIÓN E
INNOVACIÓN DE IMPACTO
INNOVACIÓN DE IMPACTO
Somos cada vez más conscientes sobre el tema de los sesgos en la tecnología, ya sea cuando esta traduce de manera equivocada la cuestión de género o cuando reproduce el racismo estructural como parte integrante de sus algoritmos. Más recientemente, supimos no solo cómo la aplicación FaceApp era una amenaza a la privacidad de sus usuarios que se sumaron a la moda del filtro de envejecimiento, sino también que ese mismo programa ofrece un filtro embellecedor llamado “hot” que, sin embargo, termina aclarando la piel de personas negras.
Por otro lado, lo que vemos con la reciente publicación del sitio Real Life es un extenso y profundo artículo de autoría de Abeba Birhane, en el cual describe cómo tecnologías como la inteligencia artificial están llegando al continente africano con sesgos individualistas y capitalistas que no concuerdan con el contexto sociocultural de esos países.
Tal como describe la autora, la edición más reciente de la CyFyAfrica 2019, Conferencia sobre Tecnología, Innovación y Sociedad, brindó un encuentro dinámico, vibrante y diverso del que formaron parte legisladores, delegados de la ONU, ministros, gobiernos, diplomáticos, medios de comunicación, representantes de empresas tecnológicas y académicos provenientes de más de 65 países, siendo estos en su mayoría africanos seguidos de asiáticos. Su objetivo principal fue defender un discurso global partiendo del continente africano, con el fin de resaltar la importancia de amplificar las voces africanas, para que sus problemas sociales, educativos, de salud, económicos y financieros ganen más protagonismo en la industria. Por lo tanto, la conferencia sirvió como una plataforma de conexión entre el continente y el resto del mundo.
Al igual que en Brasil o en América Latina en su conjunto, también existen en África diferentes polos equivalentes al Silicon Valley estadounidense. Birhane cita como ejemplo el Sheba Valley en Adís Abeba, el Yabacon Valley en Lagos y la Silicon Savannah en Nairobi: todos estos son centros africanos que están desarrollando innovación de vanguardia en sectores como el sistema bancario, financiero, salud y educación.
“El continente, de hecho, se beneficia de estos diversos desarrollos tecnológicos y de inteligencia artificial: los agricultores etíopes, por ejemplo, pueden usar datos de financiación colectiva para predecir y obtener mejores cosechas. Y estos datos pueden mejorar los servicios en los sectores de la educación y la salud, como este el boletín de la Organización Mundial de la Salud detalla. Los datos pueden ayudar a resolver grandes desigualdades que afectan a todas las esferas sociales, políticas y económicas. Al revelar disparidades de género generalizadas en cargos fundamentales, por ejemplo, los datos también pueden ayudar a poner las desigualdades en evidencia y, así, respaldar reformas sociales y estructurales”.
A pesar de esto, ese no es el punto de Birhane en su texto para Real Life. Al fin y al cabo, como señala la autora, ya existen muchos entusiastas de la tecnología que creen que el continente tendría todos sus problemas resueltos si simplemente adoptaran cualquier solución que incluya las etiquetas “IA”, “smart”, “inteligente” o “basado en datos”. Es decir, cada vez que entramos en el tema de la innovación tecnológica, inevitablemente nos enfrentamos a la defensa de que la digitalización de todas las cosas es la mejor solución para todo. Esta es una realidad bastante común en el resto del mundo y que tampoco dejó de aparecer en las presentaciones realizadas durante el CyFyAfrica 2019, lo que significa que toda la industria tecnológica está condenada a aceptar ciegamente todo lo que tenga como premisa las palabras de moda “innovación” y “disrupción” sin ningún tipo de escepticismo o crítica. “No hace falta ir mucho más allá de las presentaciones que hacen en las mayores conferencias sobre IA o aprendizaje automático que tienen lugar en el continente: las consideraciones éticas, la privacidad de los datos o una IA sin consecuencias imprevistas son raramente un tema en estos eventos. La próxima conferencia Deep Learning Indaba es un ejemplo típico”, critica Birhane.
Por lo tanto, ya es posible abrir un espacio para una visión crítica sobre estos discursos y, así, ahorrarle a África tener que vivir en la práctica los lados oscuros de la tecnología que ya se observan en aplicaciones fuera del continente. Aunque los datos y la inteligencia artificial pueden funcionar como una posible y rápida solución para problemas sociales complejos, estas mismas tecnologías también se están utilizando en todo el mundo como parte de procesos de toma de decisiones en áreas como seguros, banca móvil, salud y educación. Esta tendencia también se refleja en suelo africano con startups como Printivo, de Nigeria, y Mydawa, de Kenia. Del mismo modo, estas empresas también tienen como objetivo obtener la mayor cantidad de datos posible para analizar, inferir y deducir diversos comportamientos y hábitos de los usuarios de sus aplicaciones, sistemas y herramientas.
Sin embargo, señala Birhane, en esta carrera por el desarrollo de la herramienta más innovadora, estas startups terminan perdiendo de vista a las personas detrás de los datos que se están recopilando.
“Los ‘datos’ son tratados como algo que debe ser recolectado, algo que, sin lugar a dudas, pertenece a las empresas de tecnología y a los gobiernos, borrando así a los individuos por completo. Esto facilita la posibilidad de ‘manipular el comportamiento’ o ‘molestar’ a las personas, a menudo con el objetivo de generar ganancias para las empresas y no para las personas. A medida que los mecanismos de ‘molestia’ se vuelven comunes para ‘corregir’ el comportamiento de las personas, ya sea por sus hábitos de alimentación o de ejercicio, los ingenieros del sector privado terminan desarrollando sistemas automatizados que tienen como finalidad decidir qué es lo ‘correcto’. En este proceso, los individuos que no encajan en las imágenes estereotipadas de lo que es, por ejemplo, un ‘cuerpo en forma’ o ‘hábitos de alimentación saludable’ terminan siendo castigados o forzados aún más a la marginación. Los derechos del individuo, los impactos sociales de este sistema a largo plazo y sus consecuencias, previstas o no, afectan especialmente a los más marginados, si es que llegan a formar parte de esta discusión, después de todo”.
De este modo, Birhane aporta una perspectiva más didáctica sobre palabras de moda como big data o inteligencia artificial para entender cómo atraviesan diferentes disciplinas y cómo pueden aparecer bajo diferentes disfraces en nuestra vida cotidiana. Es decir, estas tecnologías pueden referirse tanto a los robots que utilizan los algoritmos de Facebook para dominar nuestras líneas de tiempo como a nuestras neveras “inteligentes”. Tanto los investigadores del área como los reporteros de tecnología son responsables del bombo publicitario creado en torno a estas cuestiones, señala Birhane. Fue así como pasamos, en términos generales, a creer que la inteligencia artificial podría tener una especie de “superpoder” que llega a colocarla en un nivel divino. Sin embargo, investigadoras como Melanie Mitchell ya han dicho antes que estamos muy lejos de esa “superinteligencia”. De manera similar, recuerda Birhane, también Jeff Bigham comentó sobre cómo estos supuestos sistemas autónomos, ya sean robots o algoritmos de reconocimiento de voz, son a menudo producto de trabajo humano que, además, está muy mal remunerado.
“La exageración de las capacidades de los sistemas de inteligencia artificial disuelve la atención sobre las amenazas reales que ofrecen, las cuales son mucho más invisibles, con matices y gradaciones que cualquier cosa como ‘robots asesinos’. Las herramientas de IA se presentan a menudo como objetivas y sin valor intrínseco. De hecho, algunos sistemas automatizados utilizados para contratar personas o vigilar ya han sido descartados debido a la acusación explícita de que estas herramientas eliminan el sesgo humano. Los sistemas automatizados, al fin y al cabo, aplican las mismas reglas a todas las personas. Pero este es uno de los engaños más dañinos y erróneos sobre los sistemas automatizados. Como explica la matemática de Harvard Cathy O’Neil en Weapons of Math Destruction, ‘los algoritmos son opiniones insertadas en códigos’. Bajo el disfraz de ‘IA’ o ‘basado en datos’, los sistemas se presentan como políticamente neutros, pero debido a la naturaleza inherentemente política con la que los datos se interpretan, recopilan y utilizan para producir ciertos resultados (que se alinean con estos datos analizados y controladores), estos sistemas alteran el tejido social, refuerzan estereotipos y causan aún más desventaja a aquellos que ya están en las posiciones más bajas de la jerarquía social”.
En otras palabras, es necesario rescatar la noción de que estos sistemas, por muy automatizados que puedan llegar a ser, son sistemas, en primera instancia, creados por humanos y, por lo tanto, somos responsables de ellos de la misma manera que de cualquier otra herramienta. Estos sistemas, por tanto, presentan y reflejan nuestras inconsistencias, limitaciones, sesgos y deseos políticos y emocionales. “Cómo vemos el mundo y cómo elegimos representarlo se refleja en estos modelos algorítmicos del mundo que construimos. Así, quién construye estos sistemas y selecciona los tipos y las fuentes de los datos utilizados afectará profundamente la influencia que estos sistemas poseen. Los resultados que producen los sistemas basados en IA reflejan social y culturalmente los estereotipos, no las verdades objetivas”, defiende Birhane.
En consecuencia, Birhane observa que el uso de la tecnología en la esfera social termina, a menudo, de forma intencional o accidental, centrándose en prácticas punitivas, ya sea al predecir quién cometerá el próximo delito o quién no podrá pagar la próxima cuota del préstamo de su casa. Por eso, la autora comenta que las preguntas constructivas y rehabilitadoras sobre por qué las personas cometen delitos o qué se puede hacer para rehabilitar y apoyar a aquellos que acaban de salir de prisión son preguntas que casi nunca se hacen. “Los desarrollos tecnológicos creados y aplicados con el objetivo de traer ‘seguridad’ y ‘orden’ a menudo apuntan al castigo y no a la rehabilitación. Además, estas tecnologías incluyen necesariamente prácticas crueles, discriminatorias e inhumanas para algunos. El trato cruel a los uigures en China y la injusta desventaja de los pobres son ejemplos en este sentido. De manera similar, a medida que ciudades como JohannesburgoyKampala se introduce el uso de la tecnología de reconocimiento facial, la discriminación injusta y persecutoria contra grupos minoritarios se vuelve inevitable”, comenta la investigadora. Anticipándose a problemas como estos, ciudades como San Francisco, por ejemplo, ya han prohibido el uso de reconocimiento facial en sus cámaras de seguridad.
Por lo tanto, no resulta ventajoso desde el punto de vista comercial que las empresas de inteligencia artificial asuman los sesgos de sus productos. Cuando esto ocurre, la culpa suele recaer en algunos “usuarios” en específico, “como si las personas solo existieran como objetos para ser manipulados”, reflexiona Birhane. De este modo, estas mismas empresas dan por sentado que dichos datos serán automáticamente de su propiedad, lo que demuestra cuán inconsecuente es el discurso y la práctica de la minería de datos o del contenido basado en datos desde esta perspectiva. Para la autora, el propio término “minería” ya es una reminiscencia de la actitud colonizadora que declara que los humanos son materia prima; sus datos son, por tanto, solo un despliegue más de las posibilidades de explotación del individuo. “A medida que dejamos las decisiones sobre problemas sociales en manos de sistemas automatizados desarrollados por corporaciones enfocadas en el lucro, no solo permitimos que nuestras preocupaciones sociales sean dictadas por incentivos corporativos, sino que también permitimos que cuestiones morales complejas sean gestionadas por el mundo empresarial”.
Así pues, cuando tenemos un servicio personalizado basado en el estudio del comportamiento de los usuarios, lo que tenemos es, en otras palabras, la “extracción, simplificación e instrumentalización de la experiencia humana con fines capitalistas”, algo que Shoshana Zuboff detalla en su libro La era del capitalismo de vigilancia. Curiosamente, este tipo de cosas parece banal frente a las especulaciones distópicas de la ciencia ficción, que imagina a la humanidad erradicada por máquinas asesinas venidas del futuro; sin embargo, Birhane señala que lo más aterrador es cómo nuestros sistemas actuales, aun siendo tan poco inteligentes y automatizados, ya son capaces de eliminar la autonomía de las personas al tratarlas como meros datos a procesar. “Las inferencias que hacen los modelos algorítmicos de comportamiento no reflejan un estado neutro del mundo ni ofrecen ninguna explicación causal profunda; al contrario, refuerzan injusticias sociales e históricas ya profundamente arraigadas”.
“La tecnología nunca es neutra ni objetiva; es un espejo que refleja sesgos sociales e injusticias. Por ejemplo, durante la conferencia, un delegado de la ONU hizo referencia a un trabajo que se está desarrollando para combatir el terrorismo en línea, pero lamentablemente se centró explícitamente en grupos islámicos, proyectando así una imagen irreal y peligrosa del terrorismo digital: en los últimos nueve años, hubo 350 ataques terroristas de extremistas blancos en Europa, Australia y América del Norte; un tercio de todos los ataques de este tipo en ese mismo periodo en Estados Unidos fue perpetrado por extremistas blancos. Esto ilustra el punto preocupante de las visiones estereotipadas que perciben un problema y determinan qué tipo de tecnología desarrollamos en respuesta. Nos damos cuenta entonces de que, a través del espejo de la tecnología, hay evidencias de nuestras intuiciones sesgadas que refuerzan aún más los estereotipos”.
Birhane menciona a algunas empresas clave de la industria tecnológica, como Microsoft y DeepMind de Google, así como núcleos académicos como el MIT como iniciativas que han comenzado a crear núcleos de ética para poder lidiar con las posibles consecuencias catastróficas que sus productos pueden generar en la sociedad. Se dirigen diferentes miradas en este sentido, pero esta multiplicidad es, en realidad, una fortaleza y no una falla: es realmente necesario, como señala la autora, que se utilicen diferentes “remedios” para abordar los problemas éticos, sociales y económicos que la inteligencia artificial puede generar en distintos contextos y culturas. Sin embargo, a menudo estos marcos éticos o los principales guías de ética en inteligencia artificial terminan enfocándose en el statu quo como referencia, por lo que las soluciones se concentran en una sola vía. “Insistir en un marco generalista para la IA, como aconsejó uno de los académicos participantes en la conferencia, no solo es inalcanzable, sino que podría empeorar los problemas que debería resolver en contextos que no pudieron ser anticipados”.
Por consiguiente, en el contexto africano, el continente no solo intenta seguir el ritmo de las innovaciones tecnológicas globales, sino que también se esfuerza por proteger a sus ciudadanos más vulnerables de las consecuencias que estas nuevas tecnologías pueden causar. Al reforzar la misión de proteger y respetar los derechos, libertades y privacidad de los africanos, CyFyAfrica puso sobre la mesa lo que debe priorizarse en el continente. Y esto no significa solo salvaguardar los derechos individuales y la libertad, sino también incluir voces críticas que puedan formar parte de la narrativa tecnológica. Según Birhane, el evento dio espacio a críticos en sus paneles, pero esas pocas voces fueron atropelladas por la cantidad abrumadora de entusiastas de la tecnología.
Aun así, tras el evento, los ponentes tuvieron la oportunidad de compartir más de sus reflexiones en una publicación semiacadémica patrocinada por la Observer Research Foundation, en la que Birhane también participó como autora. Curiosamente, la investigadora comenta que, en la primera versión enviada, los evaluadores consideraron que su tono era demasiado crítico y, por tanto, no encajaba en la línea editorial de la publicación. “Irónicamente, la plataforma que dice dar voz a los jóvenes africanos solo lo hace cuando esa voz se alinea con las narrativas y los motivos de las poderosas empresas tecnológicas, legisladores y gobiernos”, critica la investigadora.
“La cuestión de la ‘tecnologización’ y digitalización del continente es una cuestión sobre en qué tipo de sociedad queremos vivir. La juventud africana está resolviendo sus propios problemas al decidir que queremos amplificarnos y mostrarnos al resto del mundo. Esto también significa no importar los sistemas de aprendizaje automático más recientes ni ninguna otra herramienta de IA sin cuestionar cuál es su propósito inherente, quién se beneficia y quién puede salir perjudicado con la implementación de estas herramientas.
Además, a medida que la juventud africana lidera el sector de la IA, esto implica crear más programas y bases de datos que sirvan a diversas comunidades locales, en lugar de importar ciegamente sistemas de IA occidentales fundados en objetivos individualistas y capitalistas. Esto significa también que investigaremos los sistemas que nosotros mismos desarrollamos para establecer estándares éticos que sirvan a propósitos específicos, en lugar de aceptar las perspectivas occidentales como el estándar. En un continente donde muchas de las narrativas son anuladas por imágenes negativas como la migración, la sequía y la pobreza, el uso de la IA para resolver nuestros problemas significa usar la IA de la manera que queremos, para entender quiénes somos y cómo queremos ser entendidos y percibidos: un continente en el que los valores de la comunidad triunfan y nadie se queda atrás”.
