A finales del año pasado, medios de comunicación de todo el mundo alertaron sobre los supuestos niveles preocupantes de retardantes de llama vinculados al cáncer en utensilios de cocina de plástico negro. Pronto se descubrió que el riesgo había sido exagerado debido a un error matemático en el estudio original: un cálculo incorrecto sugería que un químico clave excedía el límite seguro cuando, en realidad, estaba diez veces por debajo. Este incidente ha inspirado el nacimiento de dos proyectos que utilizan inteligencia artificial para detectar errores en la literatura científica.
El nacimiento de un movimiento con propósito
El incidente del «utensilio de plástico negro» ha servido como catalizador para el desarrollo de dos iniciativas pioneras: Black Spatula Project y YesNoError. Ambos proyectos utilizan modelos de lenguaje extenso (LLM) para identificar errores en artículos científicos antes de que lleguen a las publicaciones o después de haber sido publicados.
Black Spatula Project es una herramienta de código abierto que ha analizado alrededor de 500 artículos en busca de errores. El grupo, que cuenta con aproximadamente ocho desarrolladores activos y cientos de asesores voluntarios, no ha hecho públicos los errores encontrados; en su lugar, contacta directamente con los autores afectados.
«Ya está detectando muchos errores», afirma Joaquin Gulloso, investigador independiente de IA basado en Cartagena, Colombia, quien ayuda a coordinar el proyecto. «Es una lista enorme. Es una locura».
Por su parte, YesNoError, financiado por su propia criptomoneda dedicada, fue inspirado por Black Spatula Project, según comenta su fundador y empresario de IA Matt Schlicht. Esta iniciativa ha establecido objetivos aún más ambiciosos: «Pensé, ¿por qué no analizamos todos los artículos?», explica Schlicht. Según afirma, su herramienta de IA ha examinado más de 37.000 artículos en dos meses. Su sitio web marca los artículos en los que ha encontrado fallos, aunque muchos de estos hallazgos aún no han sido verificados por humanos.
Cómo funcionan estas herramientas de detección
Tanto Black Spatula Project como YesNoError emplean modelos de lenguaje extenso (LLM) para identificar una amplia gama de errores en los artículos, incluyendo errores fácticos, de cálculo, metodológicos y de referenciación.
El proceso comienza con la extracción de información, incluyendo tablas e imágenes, de los artículos. Luego, los sistemas elaboran un conjunto de instrucciones complejas, conocidas como «prompt», que le indican a un modelo de «razonamiento» —un tipo especializado de LLM— qué está analizando y qué tipos de errores debe buscar. El modelo puede analizar un artículo múltiples veces, ya sea buscando diferentes tipos de errores en cada ocasión o para verificar los resultados mediante comprobaciones cruzadas.
El coste de analizar cada artículo varía entre 15 céntimos (unos 14 céntimos de euro) y unos pocos dólares (aproximadamente 2,80 euros), dependiendo de la extensión del artículo y la serie de prompts utilizados.
Alcance y desafíos actuales
Uno de los mayores desafíos que enfrentan estos proyectos es la tasa de falsos positivos: casos en los que la IA afirma haber encontrado un error donde no existe ninguno. Actualmente, el sistema de Black Spatula Project se equivoca en aproximadamente el 10% de los casos, según Gulloso. Cada supuesto error debe ser verificado con expertos en la materia, y encontrarlos es el mayor cuello de botella del proyecto, según Steve Newman, el ingeniero de software y empresario que fundó Black Spatula Project.
Por su parte, el equipo de YesNoError ha cuantificado los falsos positivos en solo alrededor de 100 errores matemáticos que la IA encontró en un lote inicial de 10.000 artículos. De los autores que respondieron a Schlicht (el 90%), todos menos uno estuvieron de acuerdo en que el error detectado era válido. Eventualmente, YesNoError planea trabajar con ResearchHub, una plataforma que paga a científicos con doctorado en criptomonedas para realizar revisiones por pares. Cuando la IA haya verificado un artículo, YesNoError activará una solicitud para verificar los resultados, aunque este proceso aún no ha comenzado.
Entre la cautela y el optimismo
Ambos proyectos tienen como objetivo que los investigadores utilicen sus herramientas antes de enviar trabajos a revistas científicas, y que las propias revistas las utilicen antes de publicar, con la idea de evitar que los errores, así como el fraude, lleguen a la literatura científica.
Los proyectos han recibido un apoyo tentativo de investigadores especializados en integridad científica. Sin embargo, también existen preocupaciones sobre los riesgos potenciales. Michèle Nuijten, investigadora en metaciencia de la Universidad de Tilburg en los Países Bajos, advierte: «Si empiezas a señalar a personas y luego resulta que no había ningún error, podría haber daño reputacional».
Otros añaden que, aunque existen riesgos y los proyectos deben ser cautelosos con lo que afirman, el objetivo es acertado. «Es mucho más fácil producir artículos de mala calidad que retirarlos», señala James Heathers, metacientífico forense de la Universidad Linnaeus en Växjö, Suecia, quien ha actuado como consultor para el Black Spatula Project. Como primer paso, la IA podría utilizarse para clasificar artículos para un escrutinio más detallado, sugiere Heathers. «Son los primeros días, pero apoyo estas iniciativas», añade.
El futuro de la verificación científica automatizada
Muchos investigadores han dedicado sus carreras a detectar problemas de integridad en artículos, y ya existen herramientas para verificar ciertos aspectos de los papers. Sin embargo, los defensores de estas nuevas tecnologías esperan que la IA pueda realizar una gama más amplia de verificaciones de una sola vez y manejar un mayor volumen de artículos.
La tasa de falsos positivos sigue siendo un obstáculo importante. YesNoError está planeando trabajar con ResearchHub, una plataforma que paga a científicos con doctorado en criptomonedas para realizar revisiones por pares. Cuando la IA haya comprobado un artículo, YesNoError activará una solicitud para verificar los resultados, aunque este proceso aún no ha comenzado.
A pesar de los desafíos, estos proyectos representan un paso significativo hacia la automatización de aspectos del proceso de revisión científica. Si logran refinar sus algoritmos y reducir la tasa de falsos positivos, podrían convertirse en herramientas estándar para investigadores y editores por igual.
Como señala Heathers, es mucho más fácil producir artículos de mala calidad que retirarlos una vez publicados. Con herramientas como Black Spatula Project y YesNoError, la comunidad científica podría estar mejor equipada para detectar errores antes de que lleguen a la literatura publicada, mejorando así la calidad e integridad de la investigación científica en general.
El incidente del utensilio de plástico negro, que inicialmente causó alarma injustificada, podría terminar teniendo un efecto positivo inesperado: catalizar un movimiento que utiliza la IA para fortalecer la integridad científica en la era digital.
