Un nuevo estudio del Centro Tow para el Periodismo Digital ha revelado serias deficiencias en la forma en que ChatGPT cita y atribuye contenido periodístico, incluso cuando los medios tienen acuerdos de licencia con OpenAI.
Un panorama preocupante
La investigación, realizada en la Escuela de Periodismo de Columbia, examinó cómo ChatGPT maneja las citaciones de contenido periodístico. Los resultados son alarmantes: de 200 citas analizadas, el chatbot proporcionó información incorrecta o parcialmente incorrecta en 153 ocasiones.
Metodología del estudio
Los investigadores seleccionaron fragmentos de texto de 20 medios diferentes, incluyendo tanto publicaciones que tienen acuerdos con OpenAI, como el Financial Times, como otras que han bloqueado sus rastreadores, como The New York Times. Para cada medio, se analizaron 10 citas diferentes, creando una muestra total de 200 fragmentos.
"Elegimos citas que, al buscarlas en Google o Bing, devolvían el artículo fuente entre los tres primeros resultados", explicaron las investigadoras Klaudia Jaźwińska y Aisvarya Chandrasekar.
Hallazgos principales
El estudio reveló varios problemas críticos:
- ChatGPT raramente admite su incapacidad para encontrar una fuente, prefiriendo inventar citaciones
- Solo en 7 ocasiones el sistema reconoció no poder proporcionar una respuesta precisa
- Las respuestas varían considerablemente al realizar la misma consulta múltiples veces
- El sistema puede atribuir erróneamente contenido plagiado como fuente original
Implicaciones para los medios
Los resultados son especialmente preocupantes para los medios de comunicación que han firmado acuerdos con OpenAI. El estudio sugiere que permitir el acceso a los rastreadores de la empresa no garantiza que el contenido sea citado correctamente.
"Los editores tienen poca agencia significativa sobre lo que sucede con su contenido cuando ChatGPT lo procesa", señalan los investigadores, destacando que el sistema trata el periodismo como "contenido descontextualizado".
Respuesta de OpenAI
Ante estos hallazgos, OpenAI defendió su producto argumentando que el estudio realizó una "prueba atípica de nuestro producto". La empresa aseguró que "apoya a editores y creadores ayudando a 250 millones de usuarios semanales de ChatGPT a descubrir contenido de calidad a través de resúmenes, citas, enlaces claros y atribución".
Conclusiones
El estudio, aunque limitado en escala, plantea serias preguntas sobre la fiabilidad de ChatGPT como herramienta de citación y referencia. Los investigadores sugieren que se necesitan pruebas más rigurosas, pero los resultados preliminares indican que ni los acuerdos de licencia ni el bloqueo de rastreadores garantizan un tratamiento adecuado del contenido periodístico.
Esta investigación llega en un momento crucial, cuando más editores están firmando acuerdos de licencia con OpenAI, planteando importantes interrogantes sobre el futuro de la relación entre la inteligencia artificial y el periodismo.
