En un suceso poco común que pone de relieve los crecientes riesgos del uso de la inteligencia artificial en el ámbito legal, un juez de distrito federal de Estados Unidos se ha visto obligado a retirar por completo una de sus decisiones judiciales. La medida se tomó después de que los abogados de una de las partes identificaran «una serie de errores» en el documento, incluyendo citas de casos inexistentes y la tergiversación de precedentes legales, fallos característicos de las llamadas «alucinaciones» de herramientas como ChatGPT.
El incidente, ocurrido en un tribunal de Nueva Jersey, aviva el debate sobre la fiabilidad de los modelos de lenguaje grande (LLM) y la necesidad de establecer protocolos estrictos para su uso en profesiones donde la precisión y la veracidad son absolutamente cruciales.
Un fallo judicial retirado por «una serie de errores»
El protagonista de esta historia es el juez Julien Xavier Neals, del distrito de Nueva Jersey. Según informa el medio especializado en tecnología The Verge, el juez Neals retiró su propio fallo en un caso de valores que enfrentaba a la empresa biofarmacéutica CorMedix. La decisión original del juez denegaba la solicitud de la compañía de desestimar la demanda en su contra.
La alarma saltó cuando el abogado Andrew Lichtman, en representación de una de las partes, envió una carta al tribunal en la que detallaba los problemas encontrados. En la misiva, Lichtman señalaba que la opinión del juez contenía «numerosos casos» de citas inventadas que se atribuían falsamente a otras decisiones judiciales. Además, el escrito tergiversaba los resultados de al menos tres casos anteriores, presentando conclusiones que no se correspondían con la realidad de dichos fallos.
En respuesta a esta comunicación, el registro judicial se actualizó con un breve pero contundente aviso: «esa opinión y orden se ingresaron por error». El tribunal añadió que «una opinión y orden posteriores seguirán».
Aunque es relativamente habitual que los tribunales emitan correcciones menores en sus fallos para subsanar errores gramaticales o tipográficos, la fuente destaca que una modificación tan sustancial como la retirada completa de una decisión es un hecho extremadamente «raro». Esta acción subraya la gravedad de los errores detectados y el impacto que tuvieron en la fundamentación de la resolución judicial.
La sombra de la «alucinación» de la IA en los tribunales
El artículo de The Verge es claro al señalar que, de momento, «no hay confirmación de que se utilizara IA en este caso». Sin embargo, la naturaleza de los errores es tan específica que apunta directamente a un fenómeno bien conocido en el mundo de la inteligencia artificial: las «alucinaciones».
Una «alucinación» de IA ocurre cuando un modelo de lenguaje, entrenado para predecir la siguiente palabra más probable en una secuencia, genera información que es incorrecta, inventada o que no tiene base en los datos de entrenamiento, pero la presenta con la misma seguridad y estilo que si fuera un hecho verificado. En el ámbito legal, esto se traduce en la creación de precedentes judiciales ficticios, la invención de citas y la redacción de argumentos basados en premisas falsas. Los errores detectados en el fallo del juez Neals encajan a la perfección con este patrón.
Este fenómeno representa uno de los mayores desafíos para la adopción de la IA en campos de alto riesgo. Mientras que un error factual en una conversación casual puede ser trivial, en un documento legal puede llevar a decisiones judiciales injustas, anulación de procesos y una grave pérdida de confianza en el sistema.
Un problema creciente en la profesión legal
El caso del juez Neals no es un hecho aislado, sino el último de una serie de incidentes que exponen los peligros de confiar ciegamente en la IA para tareas legales complejas. Como señala la publicación, los abogados recurren cada vez más a herramientas como ChatGPT para acelerar la investigación y la redacción de documentos, a menudo sin la debida verificación humana.
Los ejemplos se acumulan y demuestran un patrón preocupante:
- A principios de este mes, los abogados que defendían al fundador de MyPillow, Mike Lindell, fueron sancionados económicamente por presentar un escrito que incluía múltiples citas de casos inexistentes, todas ellas generadas por una IA.
- En una situación casi paradójica, la propia empresa de inteligencia artificial Anthropic tuvo que admitir un «embarazoso» error después de que su propio chatbot, Claude, inventara una cita en un documento legal que la compañía presentó durante una batalla legal contra editoriales de música.
Estos casos, entre muchos otros, ilustran una tensión fundamental: la promesa de eficiencia de la IA choca frontalmente con los estándares de rigor y precisión que exige la ley.
Implicaciones para la confianza en el sistema judicial
La retirada de un fallo judicial por errores tan básicos y, a la vez, tan graves, tiene implicaciones que van más allá del caso CorMedix. Socava la confianza en la integridad del proceso judicial y plantea preguntas incómodas sobre la carga de trabajo de los jueces y su posible dependencia de asistentes tecnológicos no verificados.
Este incidente sirve como una llamada de atención para todo el sector legal. La conclusión, como sugiere The Verge, es que la tecnología actual de IA, a pesar de sus avances, no está preparada para reemplazar el juicio crítico, la ética y la meticulosa verificación de hechos que definen a un buen profesional del derecho.
Mientras la tecnología evoluciona, el sistema judicial se enfrenta al desafío de adaptarse, creando normativas y guías de buenas prácticas que permitan aprovechar los beneficios de la IA sin comprometer los cimientos de la justicia. Hasta entonces, cada documento legal generado con la ayuda de un algoritmo deberá ser tratado con el máximo escepticismo y sometido a una rigurosa supervisión humana.
