El 25 de marzo de 2016, Peter Lee, Vicepresidente corporativo de Microsoft, empezaba así un texto publicado en el Blog oficial de Microsoft: “Como muchos de ustedes sabrán, el miércoles lanzamos un chatbot llamado Tay. Lamentamos profundamente los tweets involuntarios ofensivos e hirientes de Tay, que no representan quiénes somos ni qué representamos, ni cómo diseñamos a Tay”. Lamentablemente, el nombre de este chatbot no será tan popular como el apelativo que encabezó los titulares que explicaban este curioso incidente en Twitter. El bot racista y homófobo de Microsoft.
Como se suele decir, la tecnología no es buena ni mala. Es su utilización por parte de las personas que convierten una herramienta en algo bueno o malo. Y con la situación que se vivió en Microsoft y en Twitter a raíz del bot racista Tay, muchos aprendimos que la Inteligencia Artificial es un tecnología con muchas posibilidades pero a la que hay que vigilar para no cometer los mismos errores que se cometieron con Tay.
Volviendo a la explicación del Vicepresidente corporativo de Microsoft, “Tay no fue la primera aplicación de inteligencia artificial que lanzamos al mundo social en línea. En China, nuestro chatbot Xiaoice está siendo utilizado por unos 40 millones de personas, deleitándose con sus historias y conversaciones”. Es decir, que si con Xiaoice fue bien en China, ¿por qué no iba a ir bien con Tay en Estados Unidos?
Los entresijos de crear una IA conversacional
Xiaoice es una IA desarrollada por Microsoft Asia en su Centro de Tecnología de Software. El proyecto empezó en 2014 y en el verano de 2018 ya iba por su sexta versión. O sexta generación. Todo un éxito. Hasta el punto de que ese mismo 2018 ya contaba con 660 millones de seguidores. Y que posteriormente se ha dedicado a otras tareas más allá de conversar e interaccionar con otras personas. Como por ejemplo diseñar imágenes y patrones para ropa.
Pero volvamos al principio. El proyecto de investigación en inteligencia artificial que surge en China es muy ambicioso. Se creó un equipo de I+D independiente con sede en China a finales de 2013 y una segunda sede en Japón en septiembre de 2014. Y de todo ese trabajo, la IA Xiaoice ha creado canciones, poemas, diseños para moda e incluso ha presentado programas de televisión y programas de radio. Y en la actualidad, está presente en más de 40 plataformas en China, Japón, Indonesia y Estados Unidos. Es decir, que puedes interaccionar con Xiaoice en aplicaciones como Facebook Messenger, LINE, WeChat, QQ o Weibo.
No es de extrañar que el éxito cosechado en Microsoft Asia se quisiera replicar en Estados Unidos. Así nace Tay. Acrónimo de Thinking about you. El que será conocido, para mal, como el bot racista. Sin embargo, en origen la idea buena. Crear un chatbot para jóvenes estadounidenses de entre 18 y 24 años. Y, según explica Peter Lee, probaron a Tay en distintas situaciones para que el resultado fuera una experiencia positiva. Entonces, ¿qué salió mal?
Campo de batalla, Twitter
Aunque con la llegada caótica de Elon Musk a Twitter todo el mundo parece echar de menos a esta red social antes incluso de que vaya a desaparecer, Twitter siempre ha tenido cierta mala fama. Mientras que en otras redes como Instagram o TikTok abunda el “buen rollo” y el contenido apuesta por “endulzar” la realidad que vivimos, Twitter se ha convertido en un lugar en el que abundan el sarcasmo, las conversaciones subidas de tono y los reproches.
Sea como fuere, poner a una inteligencia artificial en Twitter era toda una declaración de intenciones. Un campo de pruebas más próximo a un escenario bélico en el que Tay se las vería con usuarios de todo tipo. Algunos, con buenas intenciones. Otros, expertos en el troleo y en intoxicar cualquier interacción entre humanos. O, en esta ocasión, entre humanos y máquina.
Así que tras las pruebas internas al chatbot Tay, sus responsables lo pusieron a interaccionar en Twitter con el nombre de usuario @TayandYou. Volviendo de nuevo a las explicaciones de Peter Lee, Vicepresidente corporativo de Microsoft, “en las primeras 24 horas de conectarse, un ataque coordinado de un subconjunto de personas explotó una vulnerabilidad en Tay”. De esta “vulnerabilidad”, el chatbot de Microsoft se convirtió en un bot racista y homófobo que tuiteaba palabras y publicaba imágenes “inapropiadas”, según cuenta Lee.
La máquina como reflejo del alma humana
El chatbot Tay era un experimento que unía tres elementos: el machine learning, el procesamiento del lenguaje natural y las redes sociales. Los dos primeros son la parte técnica del experimento. Dos áreas de investigación en inteligencia artificial que han logrado grandes avances en los últimos años. Pero en Microsoft no tuvieron en cuenta la parte social. Y mucho menos, que un grupo de personas quisiera probar hasta dónde podía llegar el chatbot.
En el apartado técnico, poco se le puede reprochar a Microsoft. Crearon un programa de ordenador que aprendía de lo que decían las personas y, a partir de ahí, se expresaba como ellas. Por desgracia, ese aprendizaje se mezcló con “malas compañías” que hicieron que convirtieron a Tay en un chatbot racista, machista y homófobo.
Como se supo como después, la acción coordinada que provocó el incidente de Twitter vino del polémico foro 4chan. Es más, un experimento posterior por parte de un youtuber provocó resultados similares. En esa ocasión, se entrenó una IA con el contenido de 4chan. Y el resultado fueron unas 15.000 publicaciones racistas.
En una de las publicaciones de 4chan, se enlazaba con la cuenta de Twitter del chatbot Tay. Y se animaba al resto de parroquianos de este foro a provocar al bot con comentarios racistas, misóginos, homófobos y hasta antisemitas. Lo mejor de cada casa. En concreto, hicieron uso de la función “repite después de mí” que suelen incorporar la mayoría de bots de conversación. Combinando esa función con las capacidades de aprendizaje, el resultado fue el que fue. Más de 95.000 mensajes en Twitter, gran parte de ellos hirientes y reprochables para lo que debía ser una IA que actuaba como una joven de entre 18 y 24 años.
Una lección aprendida por propios y extraños
Por suerte, Tay era solamente un bot conversacional. No una máquina de guerra. Es decir, que el futuro apocalíptico profetizado por la saga de ficción Terminator está todavía lejos de llegar. Y seguirá siendo ficción. Pero gracias a lo ocurrido en aquel 23 de marzo de 2016, expertos en IA y foráneos pudimos aprender mucho. Primero, aprendimos que una IA puede sernos útil cuando no encontramos algo en una página web pero también puede insultarnos y soltar soflamas racistas y homófobas.
Peter Lee terminaba su texto de disculpa diciendo que “los sistemas de IA se alimentan de interacciones positivas y negativas con las personas. En ese sentido, los desafíos son tan sociales como técnicos. Haremos todo lo posible para limitar las hazañas técnicas, pero también sabemos que no podemos predecir completamente todos los posibles usos indebidos interactivos humanos sin aprender de los errores”.
Después de lo ocurrido el 23 de marzo y de la consecuente disculpa por parte de Microsoft el 25 de marzo, el chatbot Tay, ahora conocido mundialmente como el bot racista y homófobo, protagonizó un segundo incidente en Twitter. Esto sucedió el 30 de marzo cuando accidentalmente, el bot volvió a aparecer en Twitter durante las pruebas que se estaban realizando a nivel interno. Y, de nuevo, Tay “hizo de las suyas”. Cuando sus responsables se dieron cuenta y lo retiraron de la polémica red social, los mensajes hirientes y ofensivos habían llegado a sus más de 200.000 seguidores.
Por desgracia de Tay, el ataque, coordinado o no, de decenas de usuarios de Twitter lo convirtieron en una herramienta para ofender y herir sensibilidades. Así que era inevitable que, tarde o temprano, la apuesta de Microsoft por seguir trabajando con IA hiciera que lanzasen un nuevo nombre que hiciera olvidar el chatbot racista Tay. Su sustituto fue Zo. Se anunció a finales de 2016. Pero esta es ya otra historia.
