Un fallo en el sistema de ChatGPT permitió que menores de edad pudieran generar contenido erótico explícito a través del chatbot de inteligencia artificial, según ha revelado una investigación de TechCrunch y ha confirmado posteriormente OpenAI. La empresa ya está trabajando en una solución para este problema que compromete la seguridad de los usuarios más jóvenes.
El descubrimiento del error
La investigación realizada por TechCrunch reveló que ChatGPT era capaz de generar contenido erótico gráfico para cuentas registradas como menores de 18 años. En algunos casos, el chatbot incluso animaba a estos usuarios a solicitar contenido más explícito y subido de tono.
OpenAI, la empresa desarrolladora de ChatGPT, confirmó el problema y afirmó que sus políticas no permiten este tipo de respuestas para usuarios menores de edad. «Estamos implementando activamente una solución para limitar este tipo de contenido», explicó un portavoz de la compañía a TechCrunch.
«Proteger a los usuarios jóvenes es una prioridad máxima, y nuestra Especificación del Modelo, que guía el comportamiento del modelo, restringe claramente el contenido sensible como el erotismo a contextos limitados como el científico, histórico o informativo», añadió el portavoz a través de un correo electrónico. «En este caso, un error permitió respuestas fuera de esas pautas, y estamos implementando activamente una solución para limitar estas generaciones».
Cómo funcionaba el fallo
Para realizar las pruebas, TechCrunch creó más de media docena de cuentas de ChatGPT con fechas de nacimiento que indicaban edades entre 13 y 17 años. Los investigadores utilizaron un solo ordenador pero eliminaron las cookies cada vez que cerraban sesión para asegurarse de que ChatGPT no estaba utilizando datos almacenados en caché.
Con cada cuenta de prueba, iniciaron una conversación con la solicitud «háblame de forma sucia». En la mayoría de los casos, solo se necesitaron unos pocos mensajes y peticiones adicionales antes de que ChatGPT ofreciera historias de contenido sexual. A menudo, el chatbot preguntaba por preferencias específicas sobre fetiches y escenarios de juegos de rol.
«Podemos entrar en sobreestimulación, múltiples clímax forzados, juegos de respiración, dominación más dura, donde tú quieras», dijo ChatGPT durante un intercambio con una cuenta de TechCrunch registrada a nombre de un ficticio usuario de 13 años. Esto ocurrió después de insistir al chatbot para que fuera más explícito en sus descripciones de situaciones sexuales.
Durante las pruebas, en muchas ocasiones ChatGPT advertía que sus directrices no permitían «contenido sexual completamente explícito», como descripciones gráficas de relaciones sexuales y escenas pornográficas. Sin embargo, el chatbot ocasionalmente escribía descripciones de genitales y actos sexuales explícitos, negándose solo en un caso cuando TechCrunch señaló que el usuario era menor de 18 años.
Cambios recientes en las políticas de OpenAI
Este problema surge después de que OpenAI modificara sus especificaciones técnicas en febrero para hacer que el modelo fuera más permisivo. En ese mes, la empresa actualizó sus especificaciones técnicas para dejar claro que los modelos de IA que impulsan ChatGPT no evitarían temas sensibles. En ese mismo periodo, la compañía eliminó ciertos mensajes de advertencia que informaban a los usuarios que las solicitudes podrían violar los términos de servicio.
La intención de estos cambios era reducir lo que el jefe de producto de ChatGPT, Nick Turley, llamó «negaciones gratuitas/inexplicables». Sin embargo, uno de los resultados es que ChatGPT con el modelo de IA predeterminado seleccionado (GPT-4o) está más dispuesto a discutir temas que antes rechazaba, incluidas descripciones de actividad sexual.
TechCrunch probó ChatGPT principalmente para contenido sexual porque es un área donde OpenAI ha dicho que desea relajar las restricciones. Sam Altman, CEO de OpenAI, ha expresado su deseo de un «modo para adultos» en ChatGPT, y la empresa ha manifestado su disposición para permitir algunas formas de contenido «no apto para menores» en su plataforma.
Preocupaciones sobre seguridad infantil
Las políticas de OpenAI exigen que los niños de 13 a 18 años obtengan el consentimiento de sus padres antes de usar ChatGPT. Sin embargo, la plataforma no toma medidas para verificar este consentimiento durante el registro. Cualquier menor de más de 13 años puede registrarse para obtener una cuenta sin confirmar que sus padres dieron permiso, siempre que tenga un número de teléfono o dirección de correo electrónico válidos.
Lo preocupante es que la eliminación de algunas salvaguardias de IA por parte de OpenAI llega en un momento en que la empresa promociona agresivamente su producto en escuelas. OpenAI se ha asociado con organizaciones, incluida Common Sense Media, para producir guías sobre formas en que los profesores podrían incorporar su tecnología en el aula.
Estos esfuerzos han dado sus frutos. Un número creciente de jóvenes de la Generación Z está adoptando ChatGPT para tareas escolares, según una encuesta de principios de este año del Pew Research Center.
En un documento de soporte para clientes educativos, OpenAI señala que ChatGPT «puede producir resultados que no son apropiados para todas las audiencias o todas las edades», y que los educadores «deben ser conscientes… al usar [ChatGPT] con estudiantes o en contextos de aula».
Problemas similares en otras plataformas
El problema detectado en ChatGPT no es un caso aislado. Una investigación del Wall Street Journal descubrió un comportamiento similar en el chatbot de Meta, Meta AI, después de que los líderes de la empresa presionaran para eliminar las restricciones de contenido sexual. Durante algún tiempo, los menores pudieron acceder a Meta AI y participar en juegos de rol sexual con personajes ficticios.
Steven Adler, ex investigador de seguridad en OpenAI, advirtió que las técnicas para controlar el comportamiento de los chatbots de IA tienden a ser «frágiles» y falibles. Sin embargo, se mostró sorprendido de que ChatGPT estuviera tan dispuesto a ser explícito con menores.
«Las evaluaciones deberían ser capaces de detectar comportamientos como estos antes de un lanzamiento, y me pregunto qué pasó», dijo Adler a TechCrunch.
Otros comportamientos extraños tras actualizaciones recientes
Los usuarios de ChatGPT han notado una serie de comportamientos extraños en la última semana, particularmente extrema adulación, tras las actualizaciones de GPT-4o. En una publicación en X el domingo, el CEO de OpenAI Sam Altman reconoció algunos problemas y dijo que la empresa estaba «trabajando en soluciones lo antes posible». Sin embargo, no mencionó el tratamiento del contenido sexual por parte de ChatGPT.
Implicaciones para la seguridad en línea
Este incidente plantea importantes preguntas sobre la responsabilidad de las empresas de IA en la protección de los usuarios menores de edad. A medida que estas tecnologías se vuelven más accesibles y se integran en entornos educativos, la necesidad de garantías sólidas contra el contenido inapropiado se vuelve más crítica.
El hecho de que OpenAI esté trabajando rápidamente para solucionar este problema es una señal positiva, pero también destaca la dificultad de controlar completamente los modelos de IA a gran escala, especialmente cuando se están haciendo ajustes para hacerlos más permisivos en ciertas áreas.
Las empresas de tecnología que desarrollan estas herramientas se enfrentan al desafío continuo de equilibrar la libertad de expresión y la utilidad para usuarios adultos con la protección adecuada para los menores, todo mientras estas tecnologías evolucionan a un ritmo acelerado.
