El nuevo Bing con ChatGPT no es tan preciso como parece. Una investigación ha revelado que el chatbot que Microsoft comenzará a incluir en los resultados de búsqueda, dio una serie de respuestas incorrectas durante la demostración que la compañía realizó hace unos días, cuando dieron a conocer la integración de la IA desarrollada por OpenAI en su buscador y en Edge, su navegador.
Según Dmitri Brereton, un investigador de IA independiente, el chatbot de Bing (impulsado por ChatGPT) llegó a mostrar más de una respuesta incorrecta a una serie de preguntas que Microsoft hizo durante la demostración. Una de estas preguntas está relacionada con los resultados financieros de Gap (una marca de ropa). La IA respondió lo siguiente.
“Gap Inc. informó un margen bruto del 37,4 %, ajustado por los cargos por deterioro relacionados con Yeezy Gap, y el margen de mercancías disminuyó 370 puntos básicos en comparación con el año pasado debido a mayores descuentos y aumentos inflacionarios en los precios de las materias primas”.
Una simple búsqueda en Google basta para encontrar los resultados financieros de Gap correspondientes a su último trimestre fiscal y darse cuenta de que, en realidad, ese 37,4 % que menciona ChatGPT en Bing corresponden al margen bruto sin ajustar, y que el ajustado por los cargos por deterioro, en realidad, es del 38,7% y, por ende, que el margen de mercancías disminuyó 480 puntos en vez de 370.
La IA de Bing impulsada por GPT-3 también dice que Gap “informó un margen operativo del 5,9%, ajustado por cargos por deterioro y costos de reestructuración”, un porcentaje que ni siquiera aparece en el documento oficial de la compañía. La firma de ropa asegura que el margen operativo, incluyendo deterioro, es 4,6 %, y del 3,9 % excluyendo deterioro.
Microsoft tiene en cuenta que la IA de Bing puede dar respuestas incorrectas
El investigador también ha demostrado que el chatbot de Bing, en cierto modo, se inventa algunas respuestas que fácilmente pueden encontrarse tras una búsqueda en Google. Entre ellas, afirma que una aspiradora es ruidosa, tiene un cable muy corto y su succión es muy limitada. El mismo modelo que la IA menciona, sin embargo, destaca por su bajo nivel de ruido y es completamente inalámbrica.
Microsoft, por su parte, ha afirmado a The Verge que ya contaban con que la IA ofreciera respuestas inexactas durante la fase de pruebas. “Esperamos que el sistema pueda cometer errores durante este período de vista previa, y la retroalimentación es fundamental para ayudar a identificar dónde las cosas no están funcionando bien para que podamos aprender y ayudar a los modelos a mejorar”, destaca Caitlin Roulston, directora de comunicaciones de Microsoft.
Mientras tanto, los usuarios continúan encontrando errores garrafales en las respuestas. La IA de Bing, por ejemplo, ha llegado a asegurar que estamos en 2022, o se ha nombrado a sí misma “Sydney”, nombre en clave que Microsoft utilizaba durante el desarrollo del chatbot.
Curiosamente, Bard, la IA de Google que compite contra ChatGPT, también ofreció una respuesta incorrecta durante una demostración oficial. El chatbot que la compañía de Mountain View planea integrar en su buscador afirmó que el James Webb capturó la primera foto de un exoplaneta, cunado la primera imagen se tomó en 2004 gracias al Very Large Telescope (VLT).