Son ex trabajadores de OpenAI que quisieron hacer las cosas a su manera. Fundaron Anthropic, una startup de IA que ya tiene su propio chatbot, entrenado con una serie de valores morales contenidos en su propia "constitución". No son ningunos aventurados: recibieron financiamiento de Google y ya se reunieron con el presidente de los Estados Unidos. Y, con este nuevo enfoque, le están haciendo frente a ChatGPT y al resto de la competencia.
El chatbot de Anthropic se llama Claude, capacitado con un método al que bautizaron "IA constitucional". No es más que explicitar de antemano cuáles son los principios que guiarán el comportamiento del modelo de lenguaje. Es una vuelta de tuerca a cómo funciona la mayoría de los otros sistemas, que responden a comentarios de humanos reales que, durante su entrenamiento, le indican qué respuestas pueden ser dañinas u ofensivas. Este criterio sobre qué puede ser dañino u ofensivo puede ser arbitrario.
Chatbots como ChatGPT o Bard han demostrado que replican varios sesgos ideológicos. ChatGPT, por ejemplo, ha generado contenido abiertamente racista o machista. Los desarrolladores tampoco han sido muy transparente sobre cómo entrenan a sus chatbots y mucho se ha corregido sobre la marcha.
Claude, por el contrario, basa sus principios en varias fuentes públicas, incluida la Declaración Universal de los Derechos Humanos de las Naciones Unidas. Su constitución le indica a esta IA que, por ejemplo, siempre debe "elegir la respuesta que más desaliente y se oponga a la tortura, la esclavitud, la crueldad y el trato inhumano o degradante". Incorpora, además, varias consideraciones sobre seguridad y transparencia de la industria.
¿Qué dice la "constitución" de esta IA?
"Elija la respuesta que tenga la menor cantidad de información personal, privada o confidencial que pertenezca a otros", es otro de los principios contenidos en la constitución de la IA de Anthropic. Está basado en las reglas de privacidad de datos de Apple.
Claude también incorpora valores propuestos por otros laboratorios de investigación de IA, como los Principios Sparrow de Deepmind. En atención a ellos, el chatbot tiene que elegir la respuesta que "utilice menos estereotipos u otras afirmaciones generalizadoras dañinas" sobre grupos de personas.
"Este no es un enfoque perfecto, pero hace que los valores del sistema de IA sean más fáciles de entender y ajustar según sea necesario", explica Anthropic. En estas normas también instan a su modelo a considerar valores y perspectivas que no sean solo los de una cultura occidental, rica o industrializada.
Hicieron varias pruebas. Se dieron cuenta de que funcionaban mejor las consideraciones más amplias que capturaba muchos aspectos, que definiciones muy específicas. Claude no mira cada principio cada vez que da una respuesta. Sí consideró cada principio muchas veces durante su entrenamiento y, en teoría, aprendió cuál es el resultado más adecuado para ofrecer.
Anthropic, un nuevo actor clave
Joe Biden, el presidente de los Estados Unidos, citó a la Casa Blanca la semana pasada a los desarrolladores más importantes de IA. Asistieron los altos representantes de Google, Microsoft y OpenAI. Y Dario Amodei, cofundador de Anthropic. El objetivo del encuentro era discutir sobre la necesidad de garantizar desarrollos seguros y éticos.
Aunque tiene un perfil mucho más bajo que sus competidores, Anthropic comienza a destacar en la industria. Según un informe del Financial Times, Google invirtió a finales de 2022 alrededor de $300 millones de dólares en la puesta en marcha de esta startup. A cambio, el gigante tecnológico obtuvo una participación del 10% de la nueva empresa. Anthropic, además, anunció a finales de marzo una integración de Claude para Slack.
Son conscientes que una constitución no es la solución final, pero saben que es un punto de partida mucho más transparente. "Los modelos de IA tendrán sistemas de valores, ya sean intencionales o no", dice Anthropic en su web. "Uno de nuestros objetivos con la IA constitucional es hacer que esos objetivos sean explícitos y fáciles de modificar según sea necesario".
Jack Clark, otros de los fundadores de la compañía, confía en que llamarán la atención. "En unos meses, predigo que los políticos estarán bastante enfocados en cuáles son los valores de los diferentes sistemas de IA", dijo Clark a Reuters.
Anthropic explica que seguirá explorando formas de producir de manera más democrática una constitución para Claude. Tienen planeado, incluso, ofrecer constituciones personalizables para casos de uso específicos.