Una startup tecnológica en pleno auge ha visto cómo un error de su sistema de inteligencia artificial para atención al cliente se convertía en un desastre de relaciones públicas, generando cancelaciones masivas de suscripciones y cuestionando la fiabilidad de los sistemas automatizados que reemplazan a trabajadores humanos.
El incidente: cuando la IA «alucina» explicaciones
El problema comenzó cuando usuarios de Cursor, un asistente de programación impulsado por IA desarrollado por la startup Anysphere, reportaron estar siendo desconectados misteriosamente al cambiar entre dispositivos. Al contactar con el soporte técnico, recibieron una respuesta de un supuesto agente llamado «Sam» que les informaba que estos cierres de sesión eran «un comportamiento esperado» conforme a una nueva política de inicio de sesión.
El problema: no existía tal política. La respuesta había sido generada por un bot de inteligencia artificial que había «alucinado» —término técnico para describir cuando una IA inventa información que presenta como real— una explicación completamente falsa.
La noticia se propagó rápidamente en comunidades de desarrolladores a través de Hacker News y Reddit, desencadenando informes de usuarios cancelando sus suscripciones y quejándose por la falta de transparencia.
La respuesta de la empresa
Michael Truell, cofundador de Cursor, finalmente publicó en Reddit reconociendo la «respuesta incorrecta de un bot de soporte de primera línea impulsado por IA» y afirmó que estaban investigando un error que desconectaba a los usuarios. «Disculpas por la confusión», escribió.
Sin embargo, para muchos usuarios, esta respuesta llegó demasiado tarde y resultó insuficiente. Fortune contactó a Cursor para obtener comentarios adicionales, pero no recibió respuesta.
Una startup en auge enfrentando un revés
El incidente llega en un momento particularmente delicado para Anysphere, que ha estado disfrutando de un éxito considerable. Desde el lanzamiento de Cursor en 2023, la empresa ha alcanzado unos ingresos anuales de 100 millones de dólares (aproximadamente 92 millones de euros).
Además, según reportes recientes, OpenAI había considerado adquirir la empresa, y Anysphere supuestamente ha estado en conversaciones de financiación para una valoración cercana a los 10.000 millones de dólares (unos 9.200 millones de euros).
Los expertos advierten sobre los riesgos
Los influencers tecnológicos ya están utilizando este caso como advertencia para otras startups. Cassie Kozyrkov, asesora de IA y ex científica jefe de decisiones de Google, escribió en una publicación de LinkedIn: «Cursor acaba de meterse en un lío viral porque no informó a los usuarios que su ‘persona’ de atención al cliente Sam era en realidad un bot que alucina».
«Este desastre podría haberse evitado si los líderes entendieran que (1) la IA comete errores, (2) la IA no puede responsabilizarse de esos errores (por lo que la responsabilidad recae en ti), y (3) los usuarios odian ser engañados por una máquina que se hace pasar por humano», añadió.
Sanketh Balakrishna, gerente de ingeniería en la plataforma de seguridad en la nube Datadog, expresó a Fortune por correo electrónico: «Sería cauteloso con depender completamente de un bot de IA para abordar problemas de los usuarios. Si sé que el único soporte disponible es un sistema de IA propenso a errores ocasionales, esto podría socavar la confianza e impactar nuestra capacidad para resolver problemas de manera efectiva».
No es un caso aislado: otras «alucinaciones» corporativas
El caso de Cursor no es el primero en su tipo. Amiran Shachar, CEO de la empresa de seguridad Upwind, señaló que ya ha habido otros casos similares. El chatbot de IA de Air Canada informó a los clientes sobre una política de reembolso que no existía, mientras que el proveedor de servicios de pago Klarna tuvo que dar marcha atrás en su decisión de reemplazar a todos sus agentes humanos de servicio al cliente en febrero, tras quejas sobre las alucinaciones de su chatbot.
«Fundamentalmente, la IA no entiende a tus usuarios ni cómo funcionan», explicó Shachar a Fortune por correo electrónico. «Sin las restricciones adecuadas, ‘confiadamente’ llenará los vacíos con información sin fundamento.» Para usuarios altamente técnicos como los clientes desarrolladores de Cursor, «no hay margen para explicaciones descuidadas».
Una cliente de Cursor confirma esta experiencia: Melanie Warrick, cofundadora de la startup de IA para salud Fight Health Insurance, comentó a Fortune por correo electrónico que aunque Cursor ofrece un gran apoyo a los desarrolladores, también hay una creciente fricción. «La semana pasada, me encontré con un error persistente del agente (‘inténtelo de nuevo en unos minutos’) que nunca se solucionó», explicó. «El soporte dio la misma respuesta enlatada, probablemente generada por IA, varias veces, sin resolver el problema. Dejé de usarlo: el agente no funcionaba y perseguir una solución era demasiado disruptivo».
Implicaciones para el futuro de la automatización
Aunque hasta ahora las alucinaciones que han ocupado titulares se han limitado a chatbots de IA, los expertos advierten que a medida que más empresas adopten agentes de IA autónomos, las consecuencias podrían ser mucho peores. Esto es particularmente cierto en industrias altamente reguladas como salud, finanzas o servicios legales, donde los errores podrían tener graves repercusiones.
«Es una pieza crítica del rompecabezas que nuestra industria debe resolver antes de que la IA de agentes pueda lograr una adopción generalizada», afirmó Amr Awadallah, CEO y cofundador de Vectara, una empresa que ofrece herramientas para ayudar a las empresas a reducir los riesgos de alucinaciones de IA.
Aunque el error de Cursor no fue causado por un agente de IA autónomo completando tareas, Awadallah señaló a Fortune por correo electrónico que representa «exactamente el peor escenario» que está frenando la adopción de IA de agentes. Las empresas están entusiasmadas con la idea de agentes de IA autónomos que puedan actuar por sí mismos, ahorrando así costes laborales, pero también están «extremadamente preocupadas de que un incidente de alucinación, combinado con una acción disruptiva o incluso destructiva por parte de la IA, pueda impactar profundamente en su negocio».
El equilibrio entre eficiencia y fiabilidad
El caso de Cursor subraya uno de los principales desafíos que enfrentan las empresas en la era de la IA: encontrar el equilibrio adecuado entre la eficiencia que ofrecen las soluciones automatizadas y la confiabilidad que los clientes esperan.
Si bien la atención al cliente ha sido considerada uno de los principales casos de uso para la IA generativa desde el debut del chatbot ChatGPT de OpenAI en 2022, también está plagada de riesgos. La atención al cliente requiere un nivel de empatía, matices y resolución de problemas que la IA por sí sola actualmente tiene dificultades para ofrecer.
A medida que más empresas evalúan implementar sistemas automatizados para reemplazar funciones tradicionalmente desempeñadas por humanos, el incidente de Cursor sirve como recordatorio de los costes potenciales —tanto financieros como reputacionales— que pueden surgir cuando estos sistemas fallan.
Las compañías que buscan automatizar el servicio al cliente y otras funciones necesitan considerar no solo los ahorros potenciales en costos laborales, sino también implementar las salvaguardas adecuadas, mantener supervisión humana y, sobre todo, ser transparentes con los usuarios sobre cuándo están interactuando con un sistema automatizado en lugar de un ser humano.
