ChatGPT se ha vuelto el aliado de estudiantes, abogados y profesionistas que han visto en la inteligencia artificial una oportunidad de mejorar su trabajo. No obstante, algunos han aprovechado las ventajas de la IA generativa para hacer trampa. Eso podría revertirse con el trabajo de científicos de la Universidad de Kansas, quienes desarrollaron una herramienta capaz de detectar documentos generados por ChatGPT con precisión.

Los investigadores mencionaron que si bien existen algoritmos para identificar textos generados por una IA, estos no se desempeñan bien en todos los escenarios. Un campo que preocupa a la comunidad científica son los documentos académicos. "Muchos de los rasgos diferenciadores clave entre los humanos y ChatGPT, no son rasgos que los científicos académicos suelen mostrar en la escritura formal" indican en el estudio publicado en la revista Cell Reports Physical Science.

Heather Desaire, profesora de la Universidad de Kansas y autora del estudio, dijo que uno de los mayores problemas con ChatGPT es que reúne texto de muchas fuentes y no hay forma de verificarlo. Para resolverlo, el equipo entrenó un algoritmo de aprendizaje automático usando artículos conocidos como "perspectivas", que ofrecen una descripción general de los temas de investigación escritos por científicos.

Tomando como base 64 perspectivas, el equipo generó 128 textos con ChatGPT sobre los mismos temas de investigación. Al compararse con los documentos escritos por humanos, los resultados fueron sorprendentes. El algoritmo pudo identificar con alta precisión los artículos del chatbot gracias a un indicador: ChatGPT produce contenido menos complejo que los científicos.

ChatGPT genera textos menos complejos que un humano

chatgpt, openai

Según el estudio, ChatGPT genera un menor número de oraciones y palabras por párrafo cuando se compara con un texto escrito por un investigador. Los humanos prefieren variar las estructuras de sus enunciados y utilizan con mayor frecuencia guiones, paréntesis, dos puntos y otros signos de puntuación. La IA de OpenAI utiliza frases cortas y comillas simples en textos con poca variedad.

Otro diferenciador es que los científicos utilizan más números y alternan el uso de mayúsculas y minúsculas al incluir nombres propios o acrónimos. ChatGPT tampoco es bueno refiriéndose al trabajo de terceros. Los documentos académicos escritos por un humano suelen mencionar el nombre del investigador al que describen, mientras que la IA opta por palabras como "otros" e "investigadores".

El modelo obtuvo una tasa de precisión del 100% al eliminar los artículos de perspectiva completa generados por una IA. Al identificar párrafos individuales dentro de un documento académico, la tasa de precisión es del 92%. Si bien los resultados son sorprendentes, los investigadores de la Universidad de Kansas mencionaron que su trabajo no aplica para todos.

Los cuatro indicadores para diferenciar una IA de un humano solo funcionan en un tipo específico de textos, por lo que el modelo no puede considerarse universal. "Es posible que estas características no sean útiles para autenticar a un autor humano en ejemplos de escritura informal, pero probablemente sean útiles para una variedad de escritos académicos", indican.

El estudio es una prueba de concepto y se requiere un conjunto de datos más extensos que incluya diferentes tipos de escritura científica. También debemos considerar que la IA avanza a pasos agigantados, por lo que ChatGPT resolvería esta clase de inconvenientes a futuro.

Recibe cada mañana nuestra newsletter. Una guía para entender lo que importa en relación con la tecnología, la ciencia y la cultura digital.

Procesando...
¡Listo! Ya estás suscrito

También en Hipertextual: