Un abogado que representa a la empresa de inteligencia artificial Anthropic se vio obligado a disculparse ante un tribunal después de que se descubriera que utilizó una cita legal errónea generada por Claude, el propio chatbot de IA de la compañía. El incidente ocurrió durante una batalla legal en curso contra editores musicales, según revela un documento judicial presentado el jueves en un tribunal del norte de California.
El incidente de la cita alucinada
Según la presentación judicial, el sistema de IA Claude "alucinó" una cita con "un título inexacto y autores inexactos", como admitió la propia Anthropic. La compañía explicó que su "verificación manual de citas" no detectó este error ni otros varios causados por las alucinaciones de Claude, como informó Bloomberg en primicia.
En el ámbito de la inteligencia artificial, una "alucinación" se refiere a cuando un sistema de IA genera información falsa o inexistente, presentándola como si fuera real. Es uno de los problemas más persistentes en los modelos de lenguaje grandes (LLM) como Claude o ChatGPT.
Anthropic se disculpó por el error, calificándolo como "un error de citación honesto y no una fabricación de autoridad", intentando así minimizar la gravedad del incidente. Sin embargo, la situación resulta particularmente embarazosa considerando que el error se cometió utilizando el propio producto estrella de la compañía.
El contexto del caso legal
El incidente se produjo en el marco de un litigio más amplio entre Anthropic y varias discográficas, incluida Universal Music Group. Esta disputa forma parte de una serie de enfrentamientos legales entre propietarios de derechos de autor y empresas tecnológicas por el supuesto uso indebido de obras protegidas para entrenar herramientas de IA generativa.
A principios de esta semana, los abogados que representan a Universal Music Group y otros editores musicales acusaron a Olivia Chen, testigo experto de Anthropic y empleada de la compañía, de utilizar Claude para citar artículos falsos en su testimonio. Ante estas acusaciones, la jueza federal Susan van Keulen ordenó a Anthropic que respondiera formalmente, lo que llevó a la presentación del documento donde la empresa admite el error.
Un problema recurrente en el ámbito legal
Este caso no es un incidente aislado, sino parte de un patrón preocupante de profesionales legales que utilizan herramientas de IA en su trabajo sin la debida verificación. Apenas unos días antes, un juez de California criticó duramente a dos bufetes de abogados por presentar "investigación falsa generada por IA" en su tribunal.
En enero de este año, un abogado australiano fue descubierto utilizando ChatGPT para preparar documentos judiciales, y el chatbot produjo citas jurídicas completamente falsas que fueron presentadas ante el tribunal.
Estos casos plantean serias preocupaciones sobre la confiabilidad de las herramientas de IA en contextos donde la precisión y la veracidad son fundamentales, como en el sistema judicial. La ironía de que un abogado que representa a una empresa líder en IA cometa este error utilizando su propio producto subraya los riesgos inherentes a la tecnología actual.
El futuro de la IA en el sector legal
A pesar de estos tropiezos, la inversión en tecnologías de IA para el sector legal sigue creciendo. Harvey, una startup que utiliza modelos de IA generativa para asistir a abogados, está supuestamente en conversaciones para recaudar más de 250 millones de dólares (aproximadamente 230 millones de euros) con una valoración de 5.000 millones de dólares (unos 4.600 millones de euros).
Esta aparente contradicción refleja la tensión existente en la industria legal: por un lado, hay un entusiasmo considerable por el potencial de la IA para automatizar tareas repetitivas y potencialmente reducir costes; por otro, episodios como el de Anthropic demuestran que la tecnología aún no está preparada para funcionar sin una supervisión humana rigurosa.
Implicaciones para el sector
El incidente de Anthropic plantea importantes preguntas sobre la responsabilidad profesional en la era de la IA. Los abogados tienen el deber ético y legal de verificar la precisión de sus presentaciones ante los tribunales, y la delegación de estas responsabilidades a sistemas de IA sin la debida verificación podría constituir una negligencia profesional.
Además, este caso evidencia un problema fundamental: las empresas que promueven herramientas de IA a menudo subestiman sus limitaciones actuales. Cuando incluso los propios desarrolladores de estas tecnologías caen víctimas de sus fallos, queda claro que existe una brecha entre las capacidades reales de estos sistemas y cómo se presentan al público.
Para el sector legal, estos incidentes deberían servir como una llamada a la cautela. Las herramientas de IA pueden ser valiosos asistentes para los profesionales del derecho, pero no pueden reemplazar el juicio crítico, la verificación rigurosa y la responsabilidad que conlleva la práctica legal.
El caso de Anthropic ilustra perfectamente el estado actual de la IA generativa: impresionante en muchos aspectos, pero aún propensa a cometer errores graves que pueden tener consecuencias significativas en contextos de alta exigencia como los procedimientos judiciales.
