Investigadores del Brigham and Women's Hospital, una institución sanitaria que depende de la Facultad de Medicina de Harvard, encontraron importantes errores en ChatGPT, concretamente en las respuestas del chatbot a consultas sobre el cáncer y sus tratamientos. En un estudio publicado en la revista JAMA Oncology, notaron que, frente a esos casos, el servicio de OpenAI arrojó información falsa.
Los especialistas observaron que ChatGPT exhibió una tendencia a mezclar datos correctos e incorrectos. De tal modo, en lugar de despejar dudas —un aspecto esencial en temáticas de salud— el sistema dificulta a los usuarios la identificación de la información certera.
Según un informe de Bloomberg, que divulgó las conclusiones del estudio, los autores quedaron sorprendidos ante los repetidos errores de ChatGPT al repasar tratamientos para el cáncer. “Nos ha sorprendido el grado en que la información incorrecta se mezclaba con la correcta. Eso hace que sea especialmente difícil detectar errores, incluso para los expertos”, comentó una de las autoras, la doctora Danielle Bitterman.
Los errores de ChatGPT son de sumo riesgo cuando se trata de la salud y medicina
ChatGPT es uno de los servicios más populares en esta nueva era de la inteligencia artificial conversacional. Al igual que Google Bard, aprende por medio del entrenamiento por refuerzo y supervisado, y es capaz de realizar tareas que hasta hace poco parecían imposibles de realizar por una máquina. Por ejemplo, redacta textos en forma automatizada, resuelve problemas matemáticos, y puede mantener conversaciones naturales.
Cabe notar que los errores de ChatGPT pueden resultar triviales en ciertas áreas, pero no deberían serlo en aspectos relacionados con la salud. En función de ello, los especialistas subrayan la importancia de adoptar una posición crítica frente a estas tecnologías, y siempre acudir al asesoramiento de los profesionales.
“Los modelos de lenguaje grandes son entrenados para proporcionar respuestas que suenan muy convincentes. Pero no están diseñados para brindar ayuda médica precisa”, advirtió Bitterman. “La tasa de error y la inestabilidad de las respuestas son cuestiones críticas. Esto deberá abordarse en el ámbito clínico”, añadió.
Los sistemas de inteligencia artificial no reemplazarán a los médicos, de momento
Las alamas frente a los errores de ChatGPT al abordar temáticas de salud no se condicen con otro estudio divulgado en mayo, que elogió al sistema. Basado en casi 200 preguntas al bot, concluyó que sus respuestas sobre enfermedades y tratamientos son más empáticas que las ofrecidas por los médicos. El examen fue publicado en el foro AskDocs de Reddit, y realizado por investigadores de diversas instituciones de Estados Unidos, entre ellas la Universidad de California, en San Diego, y la Universidad Johns Hopkins.
Recientemente, un científico de Harvard aseguró que GPT-4 —el lenguaje con el que funciona ChatGPT— es capaz de aprobar el examen de licencia médica. Además, sugirió que el programa tiene mejor criterio que algunos profesionales humanos.
En contra de tales conclusiones, es poco probable que los sistemas automatizados reemplacen a los médicos en el corto plazo. Volviendo al estudio publicado en JAMA, los errores de ChatGPT al responder sobre salud son manifiestos. En esa línea, los investigadores subrayaron que el 12,5 % de las respuestas de ChatGPT fueron literalmente inventadas. Además, dijeron que era más probable que el chatbot presentara información incorrecta cuando se le preguntaba sobre tratamientos localizados para enfermedades avanzadas o inmunoterapia.
ChatGPT y Bard no son infalibles
En julio, la Comisión Federal de Comercio de Estados Unidos (FTC) anunció una investigación para determinar si ChatGPT de OpenAI publica información errónea. Según contamos en la ocasión, un problema común del programa es su tendencia a inventar hechos y sustentarlos con estudios inexistentes.
Dicha investigación se dio a conocer luego de una queja interpuesta en marzo por el Centro de IA y Política Digital (CAIDP). En ella se exhiben los errores de ChatGPT y se indica que representa un riesgo para la seguridad pública. Según el CAIDP, esa tecnología viola la ley federal de protección al consumidor, pues no cuenta con evaluaciones independientes.
Los errores de ChatGPT podrían ser peores tras la rebelión de los medios
La información errónea —divulgada intencionalmente, por omisiones, falencias, etcétera— es una problemática acuciante en la escena digital. Ya hemos visto las consecuencias de ello en las redes sociales, y los errores de ChatGPT vuelven a encender esas alarmas. La popularidad del bot no hace más que profundizar el problema. Lanzado en noviembre del año pasado, en el inicio de 2023 ya superaba los 100 millones de usuarios activos.
Tal como observó Business Insider, la inteligencia artificial generativa es propensa a sufrir “alucinaciones”. Los problemas no terminan en ChatGPT. Bard de Google también arroja, en ocasiones, respuestas incorrectas. Por ejemplo, falló recientemente al brindar información sobre el Telescopio Espacial James Webb de la NASA.
Naturalmente, las empresas que desarrollan estas tecnologías se cubren las espaldas. Por su parte, OpenAI admite en sus términos y condiciones —el texto es largo, pero es bueno leerlo- que los errores de ChatGPT son posibles. Además, advierte que su modelo no está diseñado para brindar información médica. “No debe usarse para servicios de diagnóstico o tratamientos para afecciones médicas”, dicen.
En este contexto, es posible que famoso bot pierda gradualmente su nivel de precisión. Tal como contamos en Hipertextual, en las últimas horas sitios web y publicaciones reconocidas bloquearon el acceso de OpenAI a sus artículos. De esta forma, GPTBot —un rastreador web que ChatGPT utiliza para recopilar información— tendrá menos terreno para rastrillar y así perderá datos valiosos para el entrenamiento del programa.