ChatGPT y otras IA generativas se preparan para desplazar algunos empleos en el mundo. Mientras que OpenAI y Goldman Sachs han publicado informes sobre el impacto de esta tecnología en el campo laboral, un nuevo estudio va más allá. De acuerdo con investigadores de ciencias políticas de la Universidad de Zúrich, ChatGPT podría reemplazar a los trabajadores que entrenan los modelos de inteligencia artificial.

El estudio comparó el rendimiento de ChatGPT frente al de anotadores de Mechanical Turk, una plataforma de crowdsourcing de Amazon donde se ofrecen trabajos simples y de pocos ingresos. Las empresas de IA utilizan estos sitios para subcontratar empleados que moderan y ponen a punta su modelo. Por un puñado de dólares, un trabajador etiqueta contenido potencialmente dañino para filtrarlo del conjunto de datos de entrenamiento.

Para medir la eficacia de ChatGPT en tareas de anotación y clasificación, los investigadores utilizaron una muestra de 2.382 tweets. El contenido debía etiquetarse por relevancia, postura, tema y dos tipos de detección de marcos. El estudio también consideró la consistencia al considerar el acuerdo entre codificadores, que es porcentaje de tweets al que se le asignó la misma etiqueta tras realizar dos ejecuciones de ChatGPT.

La precisión de cero disparo de ChatGPT supera la de los trabajadores en cuatro de cinco tareas, mientras que el acuerdo entre codificadores de ChatGPT supera al de los trabajadores y anotadores capacitados en todas las tareas.

En términos económicos, usar ChatGPT para tareas de anotación como las del experimento es mucho más barato que pagarle a un empleado de MechanicalTurk. Las cinco tareas de clasificación, equivalentes a 25.264 anotaciones, costaron 68 dólares utilizando el chatbot. Por otro lado, el empleado humano cobró 657 dólares por 12.632 anotaciones.

El estudio aborda una terrible realidad sobre ChatGPT y los modelos de IA

Un robot impulsado por ChatGPT, la IA de OpenAI

Tras obtener los resultados, los investigadores determinaron que ChatGPT es hasta veinte veces más barato que un humano. «A este coste, sería posible anotar muestras completas o crear grandes conjuntos de capacitación para el aprendizaje supervisado», mencionaron. El trabajo realizado por la IA no solo ahorra dinero a las empresas, sino que es más preciso y consistente que el de un humano.

El estudio abre la puerta a prescindir del personal encargado de etiquetar y clasificar el contenido de los modelos, un trabajo deprimente y mal pagado. De acuerdo con un reporte de Time, OpenAI pagó entre $1,32 y $2 dólares la hora a trabajadores de Kenia por detectar contenido potencialmente dañino en su IA. Los empleados estuvieron expuestos a leer descripciones de situaciones de homicidio, tortura, incesto, abuso sexual infantil o suicidios durante su jornada laboral.

OpenAI no es la única que se aprovecha de las condiciones precarias en países subdesarrollados. Google y Microsoft han utilizado los servicios de empresas de outsourcing para realizar tareas similares. En todos los casos, los empleados no solo tienen que lidiar con los bajos sueldos, sino también con el estrés que podría causar la exposición a este tipo de contenido.

"Escribir se trata de juicio, no solo de generar palabras"

Pese a que los investigadores consideran que ChatGPT y LLM tendría un efecto disruptivo en MechanicalTurk y otros mercados, los usuarios de la plataforma se mantienen confiados. En una entrevista con Motherboard, Krystal Kauffman, trabajadora de MTurk y defensora de los derechos de otros empleados, dijo que no cree que el chatbot pueda reemplazarlos.

«ChatGPT genera texto, pero un humano todavía tiene que leerlo para decidir si es un BUEN texto. (es decir, no contiene violencia ni racismo)», dijo Kauffman. La activista también mencionó otras inconsistencias en el estudio, como la falta de una revisión por pares o los resultados al usar GPT-4. «Hay demasiadas preguntas sin respuesta en este momento para que podamos confiar en las capacidades de ChatGPT sobre los anotadores humanos», mencionó.

Recibe cada mañana nuestra newsletter. Una guía para entender lo que importa en relación con la tecnología, la ciencia y la cultura digital.

Procesando...
¡Listo! Ya estás suscrito

También en Hipertextual: