A los algoritmos los carga el diablo. O eso parece. También en Twitter, donde han visto este fin de semana que su sistema de recorte y previsualización de imágenes parecía favorecer sistemática y sospechosamente a los hombres blancos sobre el resto.
El efecto salía a la luz a partir de una crítica sobre otro algoritmo de procesado de imagen, esta vez en Zoom. Al compartir la imagen videollamada con su jefe –de piel negra–, Colin Madland, usuario de Twitter, vio como la aplicación de videoconferencias únicamente previsualizaba la parte de la imagen en la que aparecía él –de piel blanca–.
¿Un sesgo sistemático?
Tras el ejemplo, Madland subió variaciones de la imagen, volteándola horizontalmente para comprobar si había sido casualidad o no. Múltiples intentos comenzaban a apuntar que el algoritmo tenía un cierto sesgo hacia las caras blancas. Y así continuaron con las pruebas decenas de usuarios.
Subiendo imágenes de dos personas, a izquierda y a derecha o arriba y abajo, pero lo suficientemente alejadas como para que la selección del encuadre tuviera que elegir entre una y otra, se veían ciertas diferencias en estos primeros casos. Son muchos los ejemplos, desde los realizados con fotografías de políticos a usuarios generados mediante inteligencia artificial.
El caso es tan sorprendente que incluso afecta a algunos personajes de la ficción, como es a Lenny y Carl de Los Simpsons... eligiendo en varias configuraciones de la imagen a Carl:
I wonder if Twitter does this to fictional characters too.
Lenny Carl pic.twitter.com/fmJMWkkYEf
— Jordan Simonovski (@_jsimonovski) September 20, 2020
En filtrado de este tipo puede aplicarse sobre todo tipo de personajes, obligando a que Twitter actúe como una suerte del pulpo Paul de la era digital, o proyectando preguntas sobre perspectivas de género:
The ultimate twitter AI bias meme crossover? pic.twitter.com/CYFWp5YrGp
— Daniel Rourke 📉 (@therourke) September 20, 2020
Algunos investigadores se han lanzado a la red social, no obstante, para comprobar de una forma más sistemática si existe un sesgo racista o misógino, es decir, si tiene respaldo estadístico o si más bien se está dando un exceso de visibilidad a los casos más extremos y polémicos. El investigador Vinay Prabhu encontró que, de un test repetido con 92 pares de imágenes, en 52 de ellas se seleccionaba la cara negra. Esto es, cerca de un 57% de las veces, indicando que el problema del que hablamos no sea probablemente tal:
(Results update)
White-to-Black ratio: 40:52 (92 images)
Code used: https://t.co/qkd9WpTxbK
Final annotation: https://t.co/OviLl80Eye
(I've created @cropping_bias to run the complete the experiment. Waiting for @Twitter to approve Dev credentials) pic.twitter.com/qN0APvUY5f— Vinay Prabhu (@vinayprabhu) September 20, 2020
Esta vez, el reconocimiento facial no tiene la culpa
Hace varios años que Twitter realiza un procesado para intentar detectar cuál es la zona más 'interesante' de las imágenes que se suben a la red social. De esta forma, cuando se suben fotos fuera del formato tradicional, se muestra una previsualización que mejora los niveles de interacción, al mostrar, o intentarlo, una parte más representativa de lo que veremos en su totalidad cuando se pulsa en un tweet concreto.
No obstante, no se introduce ningún algoritmo de reconocimiento facial en este proceso. O, mejor dicho, ya no. Así lo reafirma Zehan Wang, investigador en Twitter que apunta a que desde 2017 este tipo de procesado no se lleva acabo, y que entonces se realizó una prueba sobre los sesgos de imagen de estos.
Twitter ya explicó en 2018 cómo llevaría a cabo el recorte de sus imágenes. En lugar de usar reconocimiento facial –una técnica basada en IA a menudo criticada por sesgos y fallos–, pues no todas las imágenes contienen caras, se pasaba a un enfoque centrado en la prominencia o 'saliencia' de las imágenes. El algoritmo se entrena con datos procedentes de sistemas de seguimiento ocular, y responde a las zonas con mayor contraste, caras, animales o texto, pero no busca estos parámetros de forma activa en sí mismos.
La red social se apoya en una implementación sobre redes neuronales, y en un estudio de 2014 publicado por investigadores de la Universidad de Tubinga, en Alemania. Utilizando una nueva implementación, junto a redes neuronales más modernas y compactas –lo que las hace más rápidas, o baratas–, en Twitter mejoraron la selección de estas zonas. Si fue suficiente es algo que todavía está por ver, y desde la red social ya se han comprometido a echarle otro vistazo: "No se encontró ningún sesgo significativo. Revisaremos este estudio para ver si necesitamos extenderlo".